centOS7+jdk8+hadoop3

1 下载安装 VMware Workstation 15 Pro 和Linux系统ISO镜像（CentOS 7）

指路（建议英文

https://blog.csdn.net/han12398766/article/details/87293532
注：

1. 跳转到官方后（激活账户后下载）：如果是Windows操作系统就选第一个 转至下载
2. 点击立即下载

安装VMware Workstation 15 Pro 顺着下来就行没啥可说的

3. 永久激活秘钥：
   https://blog.csdn.net/kdongyi/article/details/82900243

虚拟机安装步骤看到这里（因为我安装的不是 secureCRT 8.5）：

** 系统安装完成
克隆 （本例克隆一个节点 ）
注意选 创建完整克隆

4. 打开两个虚拟机

• 1. ifconfig 可以查看IP地址
     inet 后面是IP地址
     
• 2. hostname 查看主机名
     hostnamectl set-hostname XXX 修改主机名为XXX（节点2是节点1克隆来的 主机名还是yibo 所以需要 修改为zhan
     修改节点2
     
     关闭终端重开一下
     

• 3. 永久关闭防火墙（两个节点都要关闭）
     systemctl disable firewalld 禁用防火墙 （永久关闭）
     systemctl stop firewalld 停止防火墙（临时有效）
     systemctl status firewalld 查看防火墙状态
     

  4. 关闭selinux（两个节点都要）：
     1 vim /etc/selinux/config
     
     2 将SELINUX=enforcing的enforcing 改为disabled
     
     3 reboot 重启
     

2 连接Linux

直接百度搜 ssh连接工具 下载

1. 下载好之后点击quick connect
2. hostname 是虚拟机的ip地址
3. username是用户名

3 Linux 配置

假设集群只有2个节点：一个master节点（主机名zhan） 一个slave节点（主机名yibo）
** 通过 ifconfig 查看ip地址

主机名	IP地址
yibo	192.168.1.128
zhan	192.168.1.129

1. 配置主机名（以root身份进行
   两个节点分别输入
   
   (1)slave节点（yibo
   
   (2)master节点（zhan
   
2. 分别测试两个节点网络是否连通（root身份进行
   ping 网关
   
   （ 如果不知道网关 ：
   编辑–>虚拟网络编辑器–>
   联通后此命令会一直执行 按 Ctrl+C终止
3. 两节点分别修改hosts文件（root身份操作
   vim /etc/hosts
   打开之后都是这样
   
   清空并添加所有节点的IP地址 主机名
   

4 安装jdk

1. 下载jdk ：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
   我没用过后缀名.rmp的 以防万一建议选.tar.gz！！！！！！

2. 下载好了传输到虚拟机中（两个节点都要）
   1. 打开主目录 右击新建文件夹usr 点开usr 右击新建文件夹java
      
   2. 打开指定目录直接拖过去
      
      
      解压
      
      设置环境变量
      

• • • pwd查看路径 如果不确定java路径的话
      

3. 在文件最后添加两行
   
   ** 生效环境变量
   
   继续配置
   
   同理在最后添加两行
   
   生效
   
   验证 java -version
   

5 ssh免密码登录

以用户身份登录

1. master节点 ssh-keygen -t rsa
   不停回车即可
   
   • 复制公钥文件
     
   • 修改authorized_keys权限
     
   • 将authorized_keys复制到slave节点
     出现提示yes ，输密码
2. 切换到zhan节点
   • 以用户身份登录 在终端生成秘钥
     
   • 将authorized_keys文件移动到.ssh目录下并修改权限
     
   • 测试 在主机输入 ssh zhan 远程登录成功 想退出 exit即可
     
3. 此时可实现主机yibo 免密登录主机zhan 要想使主机zhan 免密登陆主机yibo 需要在zhan节点下
   • 复制公钥文件
     
   • 修改authorized_keys权限
     
   • 将authorized_keys复制到yibo节点 出现提示yes ，输密码
   • 切换到另一个节点将authorized_keys文件移动到.ssh目录下并修改权限
     
   • 测试 在主机输入 ssh yibo 远程登录成功 想退出 exit即可
     

6 安装hadoop

1. 链接http://www.apache.org/dyn/closer.cgi/hadoop/common/
   
   以hadoop-3.2.0为例
   
   
   只传输到节点zhan即可
   和上述传输jdk操作一样 只不过存放目录为/home/bjyx
   
   解压命令 tar -xvf hadoop-3.2.0.tar.gz

2. 配置环境变量 hadoop-env.sh 和yarn-env.sh
   .
   
   两个文件中都添加这一行

3. 配置核心组件core-sire.xml
   

4. 配置hdfs-site.xml
   

5. yarn-site.xml

6. 配置mapred-site.xml
   

7. 配置master节点workers或slaves文件（不同版本的hadoop文件名不一样）
   用 ls查看一下
   vim workers
   把localhost 改成子节点主机名 每个节点对应一行
   

8. 复制 hadoop到yibo节点 scp -r hadoop-3.2.0 yibo:~/ （时间较长

9. root身份登录 vim ~/.bash_profile (以下配置两个节点都要)

10. 修改完 记得 source ~/.bash_profile 生效
    

11. 用户身份登录
    
    修改 生效
    

12. 继续配置
    
    修改
    生效
    

13. 创建工作目录（两个节点都要创建）直接点开home 然后右击创建文件名为hadoopdata 双击hadoopdata再创建三个（如图所示）
    

14. 最后 在主节点上 启动集群（只在主节点集群）
    1. hdfs namenode -format

15. 启动hadoop

    1. start-dfs.sh
    2. start-yarn.sh

16. 验证是否成功
    主节点运行 jps
    
    子节点运行 jps
    

17. 主节点 启动jobhistoryserver
    成功如下

18. 在主节点打开firefox 地址栏输入http://zhan:9870 ,检查namenode和DataNode是否正常启动
    在地址栏输入http://zhan:8088 ,检查yarn是否正常启动

19. 最后运行MapReduce实例
    
    这样算是成功
    

over！！！！！！

常见错误(更新中

1 ssh连接不上

首先看一下