pythonspark 写入csv_使用Spark读写CSV格式文件

CSV格式的文件也称为逗号分隔值(Comma-Separated Values，CSV，有时也称为字符分隔值，因为分隔字符也可以不是逗号。在本文中的CSV格式的数据就不是简单的逗号分割的)，其文件以纯文本形式存表格数据(数字和文本)。CSV文件由任意数目的记录组成，记录间以某种换行符分隔；每条记录由字段组成，字段间的分隔符是其它字符或字符串，最常见的是逗号或制表符。通常，所有记录都有完全相同的字段序列。

本篇文章将介绍如何使用

com.databricks

spark-csv_2.10

1.0.3

目前spark-csv_2.10的最新版就是1.0.3。如果我们想在Spark shell里面使用，我们可以在--jars选项里面加入这个依赖，如下： [iteblog@spark $] bin/spark-shell --packages com.databricks:spark-csv_2.10:1.0.3

如果想及时了解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_hadoop

和《Spark SQL整合PostgreSQL》文章中用到的load函数类似，在使用CSV类库的时候，我们需要在options中传入以下几个选项：

1、path：看名字就知道，这个就是我们需要解析的CSV文件的路径，路径支持通配符；

2、header：默认值是false。我们知道，CSV文件第一行一般是解释各个列的含义的名称，如果我们不需要加载这一行，我们可以将这个选项设置为tr