hadoop集群配置（spark和mongodb篇）

hadoop集群配置（spark和mongodb篇）：

hadoop集群之spark配置：

1. 将 spark-2.1.1-bin-hadoop2.7.tgz 压缩包导入hadoop集群中（我这里导入到了/opt/software目录下）
   

2. 解压该压缩包：
   tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz -C /opt/module
   

3. . 为了后续方便，将解压后的文件命名为spark

   ![在这里插入图片描述](https://img-blog.csdnimg.cn/2020110411241528.jpg#pic_center)
   

4. 添加环境变量：（在/etc/profile目录下）

    ![在这里插入图片描述](https://img-blog.csdnimg.cn/20201104112414886.jpg#pic_center)
   

5. 修改配置文件：(/spark/conf目录下)

   拷贝一份 spark-env.sh.template  并重新命名为 spark-env.sh	
   

   
   
   在spark-env.sh 文件中添加如下内容：
   
   修改slaves文件：
   
   6.将以上配置全部分发到各个从节点：
   scp /etc/prifile root@slave1:/etc/profile
   进入spark/conf目录下：
   scp spark-env.sh slaves root@slave1:/opt/module/spark/conf
   scp spark-env.sh slaves root@slave2:/opt/module/spark/conf
   7.启动spark集群：
   
   
   
   
   8.启动spark-shell控制台：
   测试案例：WordCount计数测试：(数据源为spark目录下的：README.md)
   
   
   如果出现以上内容，则证明spark集群配置成功。

hadoop集群之mongodb配置：

1. 将mongodb-linux-x86_64-3.4.2.tgz 压缩包导入hadoop集群（我这里导入/opt/software文件夹下）：
2. 解压压缩包：
   tar -zxvf mongodb-linux-x86_64-3.4.2.tgz -C /opt/module
   
3. 为了后续方便，将解压后的文件命名为mongodb
4. 创建数据文件(data)，日志文件(logs)，以及添加配置文件(conf)：
   
   注意：（1）在logs文件下需要创建一个日志文件：
   master.log (主节点)
   slave.log（从节点）
   arbite.log（仲裁节点）
   每个节点的日志文件名都不同
   （2）在conf目录下创建mongodb的配置文件: mongo.conf并添加如下内容：
   主节点：
   dbpath=/opt/module/mongodb/data
   logpath=/opt/module/mongodb/logs/master.log
   pidfilepath=/opt/module/mongodb/mongodb.pid
   directoryperdb=true
   logappend=true
   bind_ip=192.168.29.100
   port=27017
   fork=true
   journal=true
   noprealloc=true
   replSet=test
   oplogSize=2048
   
   
   
   将以上内容保存后，发到其余节点。
   在从节点和仲裁节点需要修改：logpath,bind_ip,port（特别提醒：port只需将端口号修改为：27018,27019）即可。
5. 文件配置好后，在每个虚拟机上执行：
   /opt/module/mongodb/bin/mongod -f /opt/module/mongodb/conf/mongo.conf
   如果都出现以下内容，即为正确：
   
6. 如果以上都成功的话，进入mongodb文件下在主节点上执行：
   bin/mongo 192.168.29.100:27017 (根据自己虚拟机的ip地址和端口号)
   
   如果以上都没有保存则证明mongodb集群的前期配置工作已经完成，然后对集群进行副本集的初始化：
   连接好mongodb后，在主节点执行：
   cfg={_id:‘test’,members:[{_id:0,host:‘192.168.70.128:27017’},{_id:1,host:‘192.168.70.128:27018’}， {_id:2,host:‘192.168.70.128:27019’,arbiterOnly:true } ] }
   
   

执行完后，再输入：rs.initiate(cfg)
如果服务器返回表示成功：

执行rs.status()查看集群信息：




如果出现以上内容，即mongodb集群配置成功。

参考：
https://www.cnblogs.com/hmy-1365/p/13094552.html
https://blog.csdn.net/qiaoshunho/article/details