Linux安装完成后至Hadoop配置成功的操作流程

一、配置每台网关、网段、IP

vim /etc/sysconfig/network-scripts/ifcfg-ens33
#重启网卡服务：systemctl restart network

二、配置/etc/hosts 可以通过主机名互ping

vim /etc/hosts 添加内容：192.168.79.12 ducking

三、ssh协议 实现远程免密登录

生成密钥：ssh-keygen（一路回车）
通过ssh-copy-id -i root@xxx

四、配置yum源

新建文件夹：
mkdir /mnt/iso
mkdir /mnt/cdrom mnt用来存放挂载文件

导入镜像文件:
iso目录下新建文件传输（Ctrl+Alt+F）导入文件CentOS-7-x86_64-DVD-1708.iso

挂载：
mount -o loop /mnt/iso/CentOS-7-x86_64-DVD-1708.iso /mnt/cdrom/

配置.repo文件：
将/etc目录下的yum.repos.d作废，然后在新建一个同名文件夹，进入该文件夹创建一个.repo文件，然后进行编辑（如下图）。

[c7-media]
name=CentOS-$releasever - Media
baseurl=file:///mnt/cdrom
gpgcheck=0
enabled=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7

检查是否成功：
yum repolist
可能会用到：
yum clean all 清理之前的
yum makecache 再次安装

五、安装jdk

原JDK卸载：
#查询当前所有安装的jdk版本
[root@node01 ~]# rpm -qa|grep jdk
#如果什么都没有展示说明没有已安装的jdk，则无需卸载，如果出现以下jdk，则卸载之
copy-jdk-configs-2.2-3.el7.noarch
java-1.8.0-openjdk-1.8.0.131-11.b12.el7.x86_64
java-1.8.0-openjdk-headless-1.8.0.131-11.b12.el7.x86_64
#卸载jdk，使用下面的方法卸载即可
[root@node01 ~]# yum -y remove copy-jdk-configs-2.2-3.el7.noarch
#再次查询当前所有安装的jdk版本
[root@node01 ~]# rpm -qa|grep jdk

安装 JDK：
rz导入压缩包，
tar -o loop jdk1.8 解压
vim /etc/profile 配置环境变量 紧接着source /etc/profile
java -version 查看jdk版本是否与你安装的一样，一样的话就对了
安装完成！

六、安装hadoop

rz导入压缩包再解压

分别配置:
vim /opt/hadoop-2.7.7/etc/hadoop/hadoop-env.sh 配置JDK环境
vim /opt/hadoop-2.7.7/etc/hadoop/core-site.xml 核心配置文件
vim /opt/hadoop-2.7.7/etc/hadoop/yarn-site.xml Yarn配置文件
vim /opt/hadoop-2.7.7/etc/hadoop/hdfs-site.xml HDFS配置文件
vim /opt/hadoop-2.7.7/etc/hadoop/mapred-site.xml MapReduce配置文件
vim /opt/hadoop-2.7.7/etc/hadoop/slaves slaves文件
vim /etc/profile 配置环境变量 紧接着source /etc/profile

分发给其他服务器：
scp -r /opt/hadoop-2.7.7 root@node02:/opt/ 文件分发

格式化：
hdfs namenode -format 格式化Hadoop

启动Hadoop：
start-dfs.sh 启动namenode 和datanode
start-yarn.sh 启动resourcemanager 和nodemanager
jps
start-all.sh 启动namenode 和datanode 和resourcemanager 和nodemanager

通过 http://192.168.100.101:50070 地址访问出现以下界面说明配置成功

七、问题汇总

- 防火墙命令

启动： systemctl start firewalld

查看状态： systemctl status firewalld

停止： systemctl disable firewalld

禁用： systemctl stop firewalld

• 虚拟机上不了网

  解决方法

  • 使用ping 命令ping网关是否能通

    能通则进行下一步，不同则说明虚拟网络编辑器中的网关和虚拟机网关配置不一致或者网络没有设置为自动连接

  • 使用ping 命令ping www.baidu.com是否能通

    不同说明网关或者IP地址，或者DNS配置错误

  • 终极解决方法：查看虚拟网络编辑器中的网关和子网掩码是否和虚拟机中配置的网络的网关和子网掩码一致，另外还要查看DNS是否配置正确，再查看IP段是否配置正确。如果全部正确就说明网卡服务或者网络适配器有问题，对应服务重启或者重置再修改即可。

  • 以下命令请掌握：

    more /etc/
    

• 命令不可用

• Hadoop格式化出错

• Windows主机无法通过IP地址访问HDFS