创建
RDD是Spark中的数据集,是只读的
RDD可以从集合,普通文件系统,HDFS文件系统中创建
scala创建RDD的方法
val lines1 = sc.parallelize(List("aa","bb"))
val lines2 = sc.textFile("file:///opt/spark/README.md")
val lines3 = sc.textFile("hdfs://nn.a:9000/afile")
Spark读取hdfs文件系统中的文件需要将hadoop etc目录下的core-site.xml和hdfs-site.xml拷贝到Spark的conf目录下。
Spark1.6.3的Scala API文档:https://spark.apache.org/docs/1.6.3/programming-guide.html
转化操作
对单一RDD常用转化操作
filter():过滤
first():第一行
m