hadoop 伪分布式搭建

虚拟机网络配置

1.      虚拟机联网的方式：

桥接： 使用桥接网卡直接连接外网。

NAT： 主机和虚拟机直接通过虚拟网卡连接，进行网络地址转换，和主机共享网络。

HOST_ONLY:主机和虚拟机之间通过虚拟网卡连接，不转换网络地址。

2.      采用虚拟机采用NAT方式连接，方便主机向虚拟机上传文件并连接外网。

3.      固化虚拟机的ip地址。

a)      查看NAT使用网卡的ip地址

b)     修改虚拟机联网配置

命令： vim /etc/sysconfig/network-scripts/ifcfg-eth0

内容：

DEVICE=eth0

ONBOOT=yes

BOOTPROTO=static #使用静态ip

 

TYPE=Ethernet

IPADDR=192.168.61.137 ip地址要和上面看到的网卡的ip地址一致

NETMASK=255.255.255.0

GATEWAY=192.168.61.1 网关要和虚拟网卡的ip一样

IPV6INIT=yes

NAME="Systemeth0"

UUID=5fb06bd0-0bb0-7ffb-45f1-d6edd65f3e03

c)      重启网络使配置生效

命令： servicenetwork restart

d)     测试网络连接

在主机里面：

ping配置的静态ip

4.      关闭虚拟机防火墙

因为hadoop启动用到了大量的端口，所以关闭防火墙配置。

Iptables–F

serviceiptables save

iptables–list

安装JDK

下载jdk 配置环境变量

SSH免密码登录

Hadoop分布模式下启动和关闭进程使用ssh命令来操作，所以都要输入密码。所以配置ssh免密码登录可以避免输入密码。

1.       生成免密码登录的rsa秘钥

ssh-keygen –t rsa –P ‘’ –f  ~/.ssh/id_rsa.pub

2.       拷贝公钥到认证key文件中

cat ~/.ssh/id_rsa.pub >>authorized.keys

使用上述访问时没有密码也可以登录

伪分布模式Hadoop安装

下载hadoop

Wget 地址

tar zxf hadoop-*.*.*.tar.gz

hadoop伪分布模式配置

a)      环境变量配置

设置环境变量 export HADOOP_INSTALL=’hadoop目录’

设置启动的PATH export PATH=$PATH:$HADOOP_INSTALL/bin:$HADOOP_INSTALL/sbin

b)      配置文件修改

所有配置文件均放在HADOOP_INSTALL/etc/hadoop 目录下

1.       修改执行环境的脚本

Vim hadoop-env.sh(改脚本主要做一些环境变量的设置)

export JAVA_HOME=/usr/local/java/jdk1.8.0_131

java环境变量

exportHADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native

exportHADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true-Djava.library.path=${HADOOP_INSTALL}/lib/native"

上两句配置主要解决hadoop运行时可能会找不到本地库的问题

exportHADOOP_ROOT_LOGGER=WARN,console

设置日志的级别 可以设置成debug打印详细信息在安装和排查问题时。

2.      配置文件

core-site.xml

<configuration>

  <property>

         <name>fs.defaultFS</name>

         <value>hdfs://localhost:9000/</value>

         hdfs 访问的路径

  </property>

  <property>

         <name>hadoop.tmp.dir</name>

         <value>/root/hadoop/01_env_build/hadoop-2.7.3/tmp</value>

         hdfs使用的临时文件夹路径默认使用/tmp

  </property>

  <property>

         <name>hadoop.native.lib</name>

         <value>true</value>

  </property>

</configuration>

hdfs-site.xml

<configuration>

  <property>

         <name>dfs.replication</name>

         <value>1</value>

  文件备份数量

  </property>

</configuration>

yarn-site.xml

<configuration>

 

<!--Site specific YARN configuration properties -->

  <property>

   <name>yarn.resourcemanager.hostname</name>

   <value>localhost</value>

  </property>

  <property>

   <name>yarn.nodemanager.aux-services</name>

   <value>mapreduce_shuffle</value>

  </property>

  <property>

         <name>yarn.resourcemanager.webapp.address</name>

         <value>localhost:8088</value>

  </property>

</configuration>

c)      启动、关闭hadoop

初始化 hdfsnamenode -format

start-dfs.sh

start-yarn.sh

关闭

stop-dfs.sh

stop-yarn.sh

d)     查看是否启动成功

Jps使用jps 查看java启动的进程

有NameNode

DateNode

SecondNameNode

Dfs脚本启动

ResourceManager

NodeManager

Yarn脚本启动

代表启动成功

e)      访问webapp
查看启动日志(日志级别调成DEBUG)可以知道

启动的时候使用jetty 部署了很多webapp

使用端口 50070 就可以访问namenode详细信息

使用端口 8088 就可以访问 资源管理器的信息等等

解决端口拒绝外网访问的问题

在 /etc/hosts 中映射配置在core-site.xml 和 yarn-site.xml 等host的ip

192.168.61.137 zh-centos

去掉该名称和127.0.0.1的映射和::1的映射