2020-10-07

centos7系统虚拟机的hadoop配置——全是坑

1、linux静态ip配置和secureCRL使用

（1）进入 /etc/sysconfig/network-scripts/ifcfg-ens33:加网关、ip、dns、局域网地址、嗯还有一些其他的东西（可以参考一下别的博客），我的是这么配置的。

BROWSER_ONLY=no
BOOTPROTO=staticTYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
IPADDR=192.168.44.22
NETMASK=255.255.255.0
GATEWAY=192.168.44.2
DNS1=8.8.8.8
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=ef0656c5-33c3-4f7c-865f-6aeed039320c
DEVICE=ens33
ONBOOT=yes

（2）修改和配置hostname

首先，修改主机名（永久）为aaa：systemctl set-hostname aaa （代码应该是这样的，我有点记不清了）

接着，映射主机名和ip：sudo vi /etc/hosts，按i进入编辑模式

192.168.44.22 aaa

按Esc，再按冒号，再输入wq，回车保存。

（3）在windows中，修改hosts文件（在哪百度一下），添加

192.168.44.22 aaa

（4）下载安装secureCRL，连接

hostname：aaa（或者ip地址192.168.44.22）

port：22

username：root

注意：有时候连不上是因为虚拟机的防火墙或者网络服务没开，关闭防火墙（systemctl stop firewalld.service)，

在windows中启动所有VM开头的服务（任务管理器-》服务-》任找一项右键打开服务-》找到VM开头的服务-》右键、启动。

2、hadoop文件配置

（1）下载jdk、hadoop安装包，解压，建议专门找一处地方放解压包，需要先卸载centos自带的jdk（版本太低）

（2）环境变量配置（网上搜吧）

（3）验证

java -version

hadoop version

（4)hadoop名称节点、数据节点、辅助名称节点、资源管理器、节点管理器配置

去官网看说明，或者网上搜一下，不想贴

（5）格式化HDFS hadoop namenode -format(这个是在hadoop环境配置好的前提，不然直接进hadoop解压包的bin下）

（6）启动节点 start-all.sh(这个是在hadoop环境配置好的前提，不然直接进hadoop解压包的sbin下），也可以分成start-dfs.sh和start-yarn.sh分开启动

（7）查看进程数jps(这个是在java环境配置好的前提）

（8）查看文件hadoop fs -ls /

如果显示没有，需要自己创建hadoop fs -mkdir -p /user/centos/data

3、外部浏览器查看

（1）查看端口号netstat -ano | more

凡是  0.0.0.0：端口号 都可以外部查看

（2）直接在虚拟机上打开火狐浏览器输入 localhost：端口号（如localhost:50070)

4、SSH配置（有空再写吧）