所需要的安装环境
Hadoop-2.7.7 HA集群安装成功(包含Java8、Zookeeper-1.2.6、hadoop-2.7.7)
Scala可以不安装;
安装过程
解压安装包
将安装包解压到相应的文件夹
修改配置文件
需要修改spark-env.sh、slaves两个配置文件
1.复制spark-env.sh.template并重命名为spark-env.sh,在文件最后添加配置内容
在该配置文件下添加如下内容
2.复制slaves.template成slaves,并在该配置文件中配置从节点的主机名
![在这里插入图片描述](https://img-blog.csdnimg.cn/20191025091942661.png
将安装包分发给其他节点
我设置了四个节点,分别发送到其他三个节点
配置环境变量
分别发送到其他节点
使立刻生效
所有节点都要刷一下
启动
1.启动zookeeper
2.再启动HDFS集群
3.启动spark
由于启动spark的命令:start-all.sh和hadoop的命令重名,所以讲spark的该命令复制重命名成:start-spark.sh
4.单独启动未启动的master
查看进程时,发现只有在启动spark的那个节点有master和worker进程,所以可以分别在其他进程中单独启动master,这样每个节点都分别启动了一个master和一个worker进程,最终只有一个master是alive的
单独启动master的命令如下
验证
1.通过web界面验证
查看Web界面Master状态
其他三个都是STANDBY状态
2.通过执行一个spark程序来验证
直接在hadoop命令行模式
/home/xh/hadoop/spark-2.3.4-bin-hadoop2.7/bin/spark-submit \
--class org.apache.spark.examples.SparkPi \ //jar包的主类名
--master spark://hadoop2:7077 \ //这是alive的那个master,也就是集群协议地址
--executor-memory 500m \ //设定执行程序使用的内存大小
--total-executor-cores 1 \ //设定使用的CPU核数
/home/xh/hadoop/spark-2.3.4-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.3.4.jar \ //执行案例的jar包所在地址
100 //运行程序的一个参数,实验100次
运算结果
启动Spark shell
启动
/home/xh/hadoop/spark-2.3.4-bin-hadoop2.7/bin/spark-shell \
--master spark://hadoop2:7077 \ 指定spark集群地址 如果没有指定则是本地模式
--executor-memory 500m \ 指定每一个worker可以使用的内存大小为500M
--total-executor-cores 1 指定每个这个集群使用的cpu核数
启动后进入如下界面
如果启动spark shell时没有指定master地址,但是也可以正常启动spark shell和执行spark shell中的程序,其实是启动了spark的local模式,该模式仅在本机启动一个进程,没有与集群建立联系。
Spark Shell中已经默认将SparkContext类初始化为对象sc。用户代码如果需要用到,则直接应用sc即可
Spark Shell中已经默认将SparkSQl类初始化为对象spark。用户代码如果需要用到,则直接应用spark即可
在启动过程中报了个错
而后重新先输入如下代码,使集群不要处于安全模式
[xh@hadoop3 ~] hdfs dfsadmin -safemode leave
而后执行启动spark命令,便成功启动了,具体原因不太清楚。
做一个笔记
dfsadmin 命令用于管理HDFS集群,这些命令常用于管理员。
- (Safemode)安全模式
把集群切换到安全模式: hdfs dfsadmin -safemode [enter/get/leave]
enter:进入安全模式
get:获得当前安全模式的状态
leave:离开看全模式
数据节点状态列表: hdfs dfsadmin -report
添加或删除数据节点: hdfs dfsadmin -refreshNodes
打印网络拓扑: hdfs dfsadmin -printTopology
官当网站: http://hadoop.apache.org/docs/r2.8.3/hadoop-project-dist/hadoop-hdfs/HDFSCommands.html#dfsadmin
Spark Shell on Yarn
输入如下命令
[xh@hadoop3 ~] spark-shell --master yarn --deploy-mode client
启动过程很耗时!
再次遇到这个错误:
昨天刚安装时也是这种报错,各种尝试后,执行了hdfs dfsadmin -safemode leave这个命令后正常启动。现在又出现这种问题,不知道是为什么?
在网上查询,说报错原因是:
内存资源给的过小,yarn直接kill掉进程,则报rpc连接失败、ClosedChannelException等错误。
解决方法是:
先停止YARN服务,然后修改yarn-site.xml,增加如下内容
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
<description>Whether virtual memory limits will be enforced for containers</description>
</property>
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>4</value>
<description>Ratio between virtual memory to physical memory when setting memory limits for containers</description>
</property>
但是还是不能正常启动,应该是其他原因。
**对于我的集群,很可能是内存,不够用,因为重新检查进程,发现所有的nodemanager都关闭了,而且两个resourcemanager都是standby状态。