Spark入门-用Scala编写
1.需要安装 jdk scala有版本要求
2.下载 解压 配置环境变量
scala 测试
1.查看版本
2.进入 scala 计算 1+1
3.spark 配置
1.进入 conf 修改文件
2.编辑该文件 添加配置
SPARK_MASTER_IP :
SPARK_WORKER_MEMORY : 工作节点内存大小
4.启动
1.直接执行 start-all.sh 和 hdfs 启动冲突,会启动 hdfs
2.需要进入 spark sbi...
原创
2021-04-07 17:55:55 ·
933 阅读 ·
0 评论