一、安装
1.将spark安装包使用sftp从本地上传到虚拟机的spark文件夹中去
在虚拟机对应的文件夹下ls一下,确认有没有传过去
解压到原目录,输入语句tar -xvf 压缩包名字,ls一下,查看解压后的文件夹,我这里的spark-3.3.2-bin-hadoop2文件夹就是解压完成的文件夹。
修改文件夹名字:
配置环境变量,输入vim /etc/profile,键入i进入编辑模式,添加如下两行
配置完成后esc退出编辑模式,然后输入:wq退出配置,输入source /etc/profile保存并运行配置结果
进入hadoop/sbin目录,启动spark,出现这样的结果就是启动成功
2.接下来开始RDD编程
(1)RDD创建
从本地加载数据创建RDD
通过并行集合创建RDD
RDD操作
转换操作
filter(func):筛选出满足函数func的元素,并返回一个新的数据集
map(func)操作将每个元素传递到函数func中,并将结果返回为一个新的数据集
map(func)
flatMap(func)
3.行动操作
持久化操作