Spark 创建RDD

1、准备本地系统文件

在/home目录里创建test.txt

单词用空格分隔

2、启动HDFS服务

3、上传文件到HDFS

查看文件内容

4.启动Spark Shell 

运行命令：start-all.sh

 

启动Spark Shell

执行命令：spark-shell --master=local[*] 

查看Spark Shell的WebUI界面

5. 创建RDD

（一）从对象集合创建RD

执行命令：val rdd = sc.parallelize(List(1, 2, 3, 4, 5, 6, 7, 8))

2、利用makeRDD()方法创建RDD 

执行命令：val rdd = sc.makeRDD(List(1, 2, 3, 4, 5, 6, 7, 8))

 执行命令：rdd.collect()，收集rdd数据进行显示

行动算子[action operator]collect()的括号可以省略的