pyspark学习系列（二）读取CSV文件 为RDD或者DataFrame进行数据处理

一、本地csv文件读取：

最简单的方法：

import pandas as pd
lines = pd.read_csv(file)
lines_df = sqlContest.createDataFrame(lines)

或者采用spark直接读为RDD 然后在转换

lines = sc.textFile('file'))

如果你的csv文件有标题 的话，需要剔除首行

header = lines.first()#第一行 
lines = lines.filter(lambda row:row != header)#删除第一行

此时lines 为RDD。如果需要转换成dataframe：

schema = StructType([StructField('HWMC',StringType(),True),StructField('code',StringType(),True)])
lines_df = sqlContest.createDataFrame(lines,schema)

二、hdfs上的csv文件读取：

1，采用先读为RDD再转换的形式

2，采用sqlContext.read.format（），这个有个前提需要提前做好依赖com.databricks.spark.csv

sqlContext = SQLContext(sc)
sqlContext.read.format('com.databricks.spark.csv').options(header='true', inferschema='true').load('file')