一、本地csv文件读取:
最简单的方法:
importpandas as pd
lines=pd.read_csv(file)
lines_df= sqlContest.createDataFrame(lines)
或者采用spark直接读为RDD 然后在转换
importpandas as pdfrom pyspark.sql importSparkSessionfrom pyspark importSparkContextfrom pyspark.sql importSQLContextfrom pyspark.sql.types import *spark=SparkSession.builder.appName("lz").getOrCreate()
sc=SparkContext.getOrCreate()
lines= sc.textFile('/Users/xdstar/Desktop/test04.csv')
如果你的csv文件有标题 的话,需要剔除首行
header = lines.first()#第一行 print(header)
lines = lines.filter(lambda row:row != header)#删除第一行
/Users/xdstar/PycharmProjects/untitled3/venv/bin/python /Users/xdstar/Desktop/sprak_test/test1.py
打印结果:
序号,省份,所属院线,影院编码,影院名称,场次编码,影片编码,影片名称,发行版本,影厅编码,放映日期,放映时间,总人数,总票房
此时lines 为RDD。如果需要转换成dataframe:
sch