大数据处理 | Spark集群搭建及基本使用

启动Spark集群

如果要使用HDFS的话，在启动Spark集群前需要先启动Hadoop集群，

$cd/usr/local/hadoop/$./sbin/start-all.sh

然后进入Spark目录，启动Spark集群，

$cd/usr/local/spark$./sbin/start-all.sh

需要说明一下，前面配置Hadoop集群是提到，需要配置ssh免密登陆，对于Spark也是同样的道理，如果不配置ssh免密登陆的话，执行./sbin/start-all.sh会提示输入密码。

除了使用./sbin/start-all.sh启动Spark集群外，还可以分开启动，先启动master节点，然后启动slave节点，

$./sbin/start-master.sh$./sbin/start-slaves.sh

如果前面没有完成Master节点配置指定master节点IP，那么执行./sbin/start-slaves.sh时则无法注册master节点的IP，这样集群计算资源则无法使用。除了配置spark-env.sh指定master节点IP外，还可以通过下面方式指定注册的master节点IP，

$./sbin/start-slave.sh10.110.113.132

然后分别在master节点和slave节点执行下面命令会看到分别多出一个Master进程和Worker进程。

Spark基本使用

运行原理