【PySpark】将本地CSV文件读为DataFrame

最新推荐文章于 2024-08-07 19:38:10 发布

J小白Y

最新推荐文章于 2024-08-07 19:38:10 发布

阅读量4.7k

点赞数 2

分类专栏： Python小白的进阶之路文章标签： python

本文链接：https://blog.csdn.net/jarry_cm/article/details/106003791

版权

Python小白的进阶之路专栏收录该内容

54 篇文章 19 订阅

订阅专栏

本篇主要介绍两种将本地文件读为DataFrame的方法。

方法一：

其中，format的第一个参数是固定的，代表读取csv文件，load后面写入自己存储的路径即可

from pyspark import SparkContext 
from pyspark.sql import SQLContext
sc = SparkContext()
sqlContext = SQLContext(sc)
df = sqlContext.read.format('com.databricks.spark.csv').options(header='true', inferschema='true').load('D:/chen_lib工作文档/works/monitor/monitor_warn_hive.csv')

方法二：

借助pandas库，先用pandas读为dataframe，再通过创建dataframe转为pyspark中的dataframe。

from pyspark import SparkContext 
from pyspark.sql import SQLContext 
import pandas as pd 
sc = SparkContext()
sqlContext=SQLContext(sc) 
df=pd.read_csv(r'D:/works/IM/test.csv') 
df_1=sqlContext.createDataFrame(df)

接下来查看数据：