centos7 安装伪分布式Hadoop

1 修改静态IP
su root   获得权限
cd /etc/sysconfig/network-scripts/
ls   找到类似ifcfg-eno16777736 的文件
vi ifcfg-eno16777736
进行如下修
HWADDR=00:0C:29:E0:EA:C
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
PEERDNS=yes
PEERROUTES=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_PEERDNS=yes
IPV6_PEERROUTES=yes
IPV6_FAILURE_FATAL=no
NAME=eth0
UUID=e3c6c425-21ce-407c-b6f2-caa2e0fad9dd
ONBOOT=yes
IPADDR=192.168.70.22(与ifconfig 中 eth0的ip一致)
NETMASK=255.255.255.0
NM_CONTROLLED=no
GATEWAY=192.168.15.2




保存退出，之后将ifcfg-eno16777736 改为ifcfg-eth0 具体见“centos7系统安装完毕修改网卡名文档” 
2 设置主机名称为 master
sudo hostnamectl set-hostname master


机版以及伪分布式的部署，只需要一个节点即可，首先我们要在在设置主机名，使用vi /etc/sysconfig/network 进行修改并保存
NETWORKING=yes
HOSTNAME=master
3设置主机名与IP映射关系
获得权限后 vi /etc/hosts
#127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
#::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.70.22   localhost  master


4 创建软件目录 用于安装hadoop
mkdir -p /u01/hadoop
chown -R master:master /u01/hadoop/  (本机名为master)
chmod -R 775 /u01/hadoop/
hadoop数据存放目录
mkdir -p /data/hadoop
chown -R master:master /data/hadoop
chmod -R 775 /data/hadoop
5 传文件到linux
安装工具 Vmwaretools   之后将java jdk 传到eclipse
6 安装jdk到指定目录下
(需要先卸载Open JDK)
1 # rpm -qa|grep java   显示当前安装的jdk
2 # rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.51-2.4.5.5.el7.x86_64   
删除显示的jdk
rpm -ivh jdk-7u79-linux-x64.rpm（重新打开终端运行命令）
安装rpm 类型的jdk
（先不配）7 配置jdk环境变量
见文档    配置CentOS7的JAVA开发环境
1  vi /etc/profile
2 （复制上去）
JAVA_HOME=/usr/java/jdk1.7.0_79
CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/rt.jar
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH
3
source /etc/profile
8 配置ssh免密码登陆
前提：使用root登录修改配置文件：vi /etc/ssh/sshd_config  将其中三项 RSAAuthentication YES    PubKeyAuthentication Yes 和AuthorizedKeysFile   Yes  前面的注释去掉
 
继续  ssh-keygen -t dsa  -f ~/.ssh/id_dsa
3 cp ~/.ssh/id_dsa.pub ~/.ssh/authorized_keys
4 chmod 600 ~/.ssh/authorized_keys
5 测试 链接 ssh localhost    
9 hadoop2.2安装与配置
1 tar -zxvf hadoop-2.2.0-x64.tar.gz
2 mv  hadoop-2.2.0 /u01/hadoop/hadoop
3 进入hadoop配置文件目录
cd /u01/hadoop/hadoop/etc/hadoop/
指定JDK的home目录：
#vi hadoop-env.sh
exportJAVA_HOME=/usr/java/jdk1.7.0_79
10 hadoop 配置文件配置
1  配置conre-site.xml
$ vi core-site.xml
<configuration>
  <property>
        <name>fs.default.name</name>
        <value>hdfs://master:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
      <value>/u01/hadooptempfile</value>
        <description>Abase for othertemporary directories.</description>
    </property>
</configuration>
2 $ vi hdfs-site.xml
<configuration>
    <property>
      <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
      <name>dfs.namenode.name.dir</name>
      <value>/u01/hadoop/name</value>
    </property>
    <property>
     <name>dfs.datanode.data.dir</name>
      <value>/u01/hadoop/data</value>
    </property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
    
</configuration>
（注解：dfs.replication指定HDFS文件的备份方式默认3，由于是伪分布式，因此需要修改为1。其他为可选项）
3 vi mapred-site.xml.template
<configuration>
    <property>
      <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
      <name>yarn.app.mapreduce.am.staging-dir</name>
        <value>/data/hadoop/staging</value>
    </property>
</configuration>
(注解：mapreduce.framework.name配置mapreduce框架，其他可选)
重命名 文件
mv mapred-site.xml.template mapred-site.xml
4 配置yarn
vi yarn-site.xml
<configuration>
    <!-- Site specific YARN configurationproperties -->
    <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
    </property>
    <property>
      <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
      <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
      <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
</configuration>
5 配置hadoop环境变量
1  vi /etc/profile
2  复制下面命令覆盖上去
export JAVA_HOME=/usr/java/jdk1.7.0_79
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/rt.jar
export HADOOP_HOME=/u01/hadoop/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH


用 echo $PATH 测试环境变量是否配置成功
6 格式化HDFS文件系统
hadoop namenode -format
7进入Hadoop的sbin目录，启动Hadoop，验证是否安装成功！
# cd /u01/hadoop/hadoop/sbin
# ./start-all.sh


# jps 查看