1.需要安装 jdk scala 有版本要求
2.下载 解压 配置环境变量
scala 测试
1.查看版本
2.进入 scala 计算 1+1
3.spark 配置
1.进入 conf 修改文件
2.编辑该文件 添加配置
SPARK_MASTER_IP :
SPARK_WORKER_MEMORY : 工作节点内存大小
4.启动
1.直接执行 start-all.sh 和 hdfs 启动冲突,会启动 hdfs
2.需要进入 spark sbin 目录去执行 start-all.sh
5.访问 WEB 页面
也可以 linux 访问 curl http://ruojian01:8080
6.启动 spark shell 窗口 : 执行 spark-shell
7.计算 1+1 底层使用的 scala
8.编写 wordCount 程序 使用算子 先创建 txt 文件
hello java
hello spark
hello scala
sc // sparkContext : 上下文(内置对象)
.textFile("/ruojian/hello.txt") // 读取文件
用一个RDD来接收,把文件转为了RDD
.foreach(println(_)) // 遍历打印
将文件内容拆分 分组 求和 转为数组
sc.textFile("/ruojian/hello.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect
排序
将结果存储到本地文件
sc.textFile("/ruojian/hello.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).sortBy(_._2).saveAsTextFile("/ruojian/hello_out.txt")
9.IDEA 创建 scala 项目 选择指定骨架
10.给 spark01项目 添加 scala sdk
11.创建文件的时候 选择 Object
/**
* @Classname LiuYin
* @Date 2021/3/31 17:15
* @Description
*/
object HelloSpark {
def main(args: Array[String]): Unit = {
println("hello world")
}
}
12.运行 报错
修改 jvm编译版本 原来是1.5(后面运行报错说1.8不是好的选择我换成了1.7)
重新运行
13.创建计算单词数 job
报错显示没有这个方法(参数不对),发现 Maven 依赖中 scala 版本是2.10 我之前安装的是 2.13
重新创建 2.10 的sdk
打开刚刚在 Linux 上安装使用的包,把里面的文件夹复制出来,我放到了D盘下
删除原先的包,点击 +
运行