阿里云centOS服务器安装mongoDB以及搭建spark大数据平台

1.安装mongoDB

对于没有系统性学习过Linux的，不熟悉Linux的一些命令，使用终端mongoDB配置环境等方面可能会出现一点问题，这里推荐使用一款Linux面板可以一键傻瓜式安装mongoDB，这就是宝塔面板
打开终端输入命令

yum install -y wget && wget -O install.sh http://download.bt.cn/install/install_6.0.sh && sh install.sh

输入 y 然后回车

安装完成后会打印宝塔面板的默认账号密码，这个要记下来（可以改）

现在已经安装好宝塔面板了，但是因为端口还没有开放，所以还不能访问它
打开你的服务器控制台（这里以阿里云为例）

添加打开8888和888端口
然后看一下你的服务器公网ip是多少，访问它的8888端口即可打开面板


在软件商店你可以傻瓜式的配置你需要的环境，tomcat，php，py都有，当然也不会少了mongoDB
mongoDB安装到此为止，接下来是spark平台的搭建

搭建spark集群

我这里是使用了两台阿里云的学生机（轻量应用服务器）搭建spark，如果没有多的服务器的话理论上一台也是可以的，但是两台方便验证分布式是否搭建成功
spark的搭建可以说是非常的麻烦，首先他是基于hadoop集群的，也就是说你需要先搭建hadoop集群之后才能搭建spark

1.hadoop集群搭建

hadoop集群的搭建是整个spark搭建过程中最为复杂的一步，我觉得我现在没有能力把这个详细的写出教程并且教别人
这里推荐一篇博客[添加链接描述](https://blog.csdn.net/pucao_cug/article/details/71698903)
这篇博客讲的是利用三台服务器搭建gadoop集群，如果你手头没有这么多服务器也是可以的，看懂了这篇博客稍微改改就可以

2.安装spark

前提环境：
1.java 自行安装
2.hadoop hadoop安装教程
3.scala 自行安装
4.zookeeper zookeeper安装教程
这里zookeeper和hadoop的安装我也是根据这两篇博客来的，理解着跟下来是不会有什么问题的

1.官网下载spark安装包：[http://spark.apache.org/downloads.html](http://spark.apache.org/downloads.html) 记得要选择基于hadoop的版本，把你的安装包上传到服务器，这里如果不会命令的话可以使用宝塔提供的图形界面上传
2.解压缩

tar zxvf spark-2.3.1-bin-hadoop2.7.tgz -C /opt/module/

mv spark-2.3.1-bin-hadoop2.7 spark-2.3.1

3.修改配置文件
(1)

[admin@node21 ~]$ cd /opt/module/spark-2.3.1/conf/
[admin@node21 conf]$ ll
total 36
-rw-rw-r-- 1 admin admin  996 Jun  2 04:49 docker.properties.template
-rw-rw-r-- 1 admin admin 1105 Jun  2 04:49 fairscheduler.xml.template
-rw-rw-r-- 1 admin admin 2025 Jun  2 04:49 log4j.properties.template
-rw-rw-r-- 1 admin admin 7801 Jun  2 04:49 metrics.properties.template
-rw-rw-r-- 1 admin admin  870 Jul  4 23:50 slaves.template 
-rw-rw-r-- 1 admin admin 1292 Jun  2 04:49 spark-defaults.conf.template
-rwxrwxr-x 1 admin admin 4861 Jul  5 00:25 spark-env.sh.template

(2)复制spark-env.sh.template并重命名为spark-env.sh
两条命令

cp spark-env.sh.template spark-env.sh

vi spark-env.sh

编辑并在文件末尾添加如下配置内容

#指定默认master的ip或主机名
export SPARK_MASTER_HOST=node21  
#指定maaster提交任务的默认端口为7077    
export SPARK_MASTER_PORT=7077 
#指定masster节点的webui端口       
export SPARK_MASTER_WEBUI_PORT=8080 
#每个worker从节点能够支配的内存数 
export SPARK_WORKER_MEMORY=1g        
#允许Spark应用程序在计算机上使用的核心总数（默认值：所有可用核心）
export SPARK_WORKER_CORES=1    
#每个worker从节点的实例（可选配置） 
export SPARK_WORKER_INSTANCES=1   
#指向包含Hadoop集群的（客户端）配置文件的目录，运行在Yarn上配置此项   
export HADOOP_CONF_DIR=/opt/module/hadoop-2.7.6/etc/hadoop
#指定整个集群状态是通过zookeeper来维护的，包括集群恢复
export SPARK_DAEMON_JAVA_OPTS="      
-Dspark.deploy.recoveryMode=ZOOKEEPER 
-Dspark.deploy.zookeeper.url=node21:2181,node22:2181,node23:2181
-Dspark.deploy.zookeeper.dir=/spark"

（3）复制slaves.template成slaves，并修改配置内容
两条命令

cp slaves.template slaves

vi slaves

修改从节点

node22
node23

（4）将安装包分发给其他节点

scp -r spark-2.3.1 admin@node22:/opt/module/

scp -r spark-2.3.1 admin@node23:/opt/module/

修改node22节点上conf/spark-env.sh配置的MasterIP为SPARK_MASTER_IP=node22
4. 配置环境变量
所有节点均要配置

[admin@node21 spark-2.3.1]$ sudo vi /etc/profile
export  SPARK_HOME=/opt/module/spark-2.3.1
export  PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
[admin@node21 spark-2.3.1]$ source /etc/profile

5.启动集群
启动zookeeper集群

zkServer.sh start

启动hadoop集群

 start-dfs.sh

start-yarn.sh

yarn-daemon.sh start resourcemanager

启动spark集群

sbin/start-all.sh

验证的话也以访问主节点http://node21:8080/来查看Web页面Master状态