详细 hadoop伪分布式环境搭建

虚拟机网络

虚拟机网络类型：VMnet1网口对应的是仅主机模式VMnet8网口对应的是NAT模式
VMnet0网口对应的是桥接模式

su - root进入root用户

1、配置ip、hostname

（一）、修改ip

vi /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
IPADDR=xxx.xxx.183.129
NETMASK=255.255.255.0
GATEWAY=xxx.xxx.183.2
DNS1=8.8.8.8

（二）、修改主机名

vi /etc/sysconfig/network

NETWORKING=yes
HOSTNAME=jdb

（三）、vi /etc/hosts

xxx.xxx.183.129 jdb

xxx.xxx.183.129：是自己的虚拟机ip地址
jdb:是自己设置的主机名

2、使用工具连接虚拟机（xshell）

3、安装jdk

（一）打开xftp工具上传本机文件至虚拟机


（二）解压jdk安装包到指定的文件夹
命令：tar -xvf jdk_name -C path
这边使用的path 是 /etc/jdb/tools/
（三）配置系统变量
命令：vi /etc/profile

# java
export JAVA_HOME=/usr/java/jdk1.8.0_144
export JRE_HOME=/usr/java/jdk1.8.0_144/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

修改完后：source /etc/profile 使修改生效

注意：如果配置完系统变量后，未生效
which java 查看java的实际生效路径
which javac 查看javac的实际生效路径

删除当前的java生效路径

rm -rf /usr/bin/java
rm -rf /usr/bin/javac

重新建立连接，使得java/javac生效

ln -s $JAVA_HOME/bin/java /usr/bin/java
ls -s $JAVA_HOME/bin/javac /usr/bin/javac

4、hadoop上传解压（同上jdk上传）

5、配置hadoop的基础运行环境

vi hadoop-env.sh
添加

export JAVA_HOME=/usr/java/jdk1.8.0_144

也就是jdk解压的文件夹

vi /etc/profile
添加

# hadoop
export HADOOP_HOME=/home/jdb/tools/hadoop-3.1.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

6、配置 core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

7、配置hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

8、配置免密登录

逐行运行

 ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
 chmod 0600 ~/.ssh/authorized_keys

9、格式化hdfs

hdfs namenode -format

10、设置hadoop用户名

vi start-dfs.sh
vi stop-dfs.sh
我的这两个文件在 /home/jdb/tools/hadoop-3.1.2/sbin

添加至第一行

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=root
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

11、防火墙

关闭防火墙
service  iptables stop

永久关闭防火墙
chkconfig iptables off

12、启动hdfs

start-dfs.sh

成功启动

13、访问hdfs

http://xxx.xxx.183.129:9870

14、mapreduce on yarn

mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.application.classpath</name>        <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
    </property>
</configuration>

yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

15、设置yarn用户名

vi start-yarn.sh
vi stop-yarn.sh
添加

YARN_RESOURCEMANAGER_USER=root 
HADOOP_SECURE_DN_USER=yarn 
YARN_NODEMANAGER_USER=root

16、启动yarn

start-yarn.sh

成功启动yarn