spark
峰二爷
如果哪天你忘了努力,
我把科比讲给你听!
展开
-
Spark 启动spark shell 命令
启动spark shell本地模式: spark-3.0.1-bin-hadoop3.2/bin/spark-shell 集群模式:启动并指定好master ,worker的内存和核数 7077为RPC通信端口号 spark-3.0.1-bin-hadoop3.2/bin/spark-shell --master spark://linux01:7077 --executor-memory 1g --total-executor-...原创 2020-12-22 22:38:33 · 981 阅读 · 0 评论 -
Spark 新版本( spark-3.0.1-bin-hadoop3.2)本地部署步骤
准备工作:下载新版本(建议使用国内镜像站下载,例如清华大学镜像站等)部署安装步骤如下:1.上传压缩包并解压 ,然后进入spark-3.0.1-bin-hadoop3.2/conf/目录修改配置文件 修改 spark-env.sh.template 名 :mv spark-env.sh.template spark-env.sh 修改 slaves.template 名 :mv slaves.template slaves 2.在spark-3.0.1-bin-hadoo...原创 2020-12-22 22:16:50 · 2355 阅读 · 0 评论