spark的搭建包看包会有手就行

最新推荐文章于 2024-07-09 22:21:42 发布

xlf__young

最新推荐文章于 2024-07-09 22:21:42 发布

阅读量172

点赞数

文章标签： spark

本文链接：https://blog.csdn.net/weixin_45240507/article/details/109341598

版权

1.上传资源并解压

2.配置环境变量

vim /etc/profile
增加export SPARK_HOME=/usr/local/soft/spark-1.6.3-bin-hadoop2.6/
和在path里面加:$SPARK_HOME/bin

3.修改配置

在cd /usr/local/soft/spark-1.6.3-bin-hadoop2.6/conf 里面
有两个样例文件修改名字在修改配置
cp spark-env.sh.template spark-env.sh
cp slaves.template slaves

vim slaves 增加从节点
node1
node2

vim spark-env.sh 增加
export SPARK_MASTER_IP=master
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=1
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=1g
export JAVA_HOME=/usr/local/soft/jdk1.8.0_171

export HADOOP_CONF_DIR=/usr/local/soft/hadoop-2.6.0/etc/hadoop

4.复制到其他节点

在cd /usr/local/soft下执行
scp -r spark-1.6.0-bin-hadoop2.6 node1:`pwd`
scp -r spark-1.6.0-bin-hadoop2.6 node2:`pwd`

5.启动

.在主节点cd /usr/local/soft/spark-1.6.3-bin-hadoop2/sbin下执行命令
start-all.sh
可以访问master:8080

6.两种模式

standalone client模式日志在本地输出，一班用于上线前测试(bin/下执行)
spark-submit --class org.apache.spark.examples.SparkPi --master spark://master:7077 --executor-memory 512m --total-executor-cores 1 ./lib/spark-examples-1.6.3-hadoop2.6.0.jar 100

standalone cluster模式上线使用，不会再本地打印日志
spark-submit --class org.apache.spark.examples.SparkPi --master spark://master:7077 --driver-memory 512m --deploy-mode cluster --supervise --executor-memory 512M --total-executor-cores 1 ./lib/spark-examples-1.6.3-hadoop2.6.0.jar 100

7.整合yarn

停止yarn
stop-yarn.sh
在cd /usr/local/soft/hadoop-2.6.0/etc/hadoop里修改配置
vim yarn-site.xml

加入
<property>
   <name>yarn.nodemanager.pmem-check-enabled</name>
   <value>false</value>
   </property>

   <property>
   <name>yarn.nodemanager.vmem-check-enabled</name>
   <value>false</value>
   </property>

分配到其他节点
scp -r yarn-site.xml node1:`pwd`
scp -r yarn-site.xml node2:`pwd`

启动start-yarn.sh

8.yarn的两个模式

client模式日志在本地输出，一般用于上线前测试
spark-submit --class org.apache.spark.examples.SparkPi --master yarn-client --executor-memory 512M --num-executors 2 ./lib/spark-examples-1.6.0-hadoop2.6.0.jar 100

cluster模式上线使用，不会再本地打印日志减少io
spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster --executor-memory 512m --num-executors 2 --executor-cores 1 ./lib/spark-examples-1.6.3-hadoop2.6.0.jar 100