hadoop2.x配置

hadoop2.x配置

1.独立模式

没有运行的守护程序，所有程序运行在一个JVM中。适合开发期间运行MapReduce程序，源于他的易于测试和调试。

将Hadoop2.x压缩包解压后，配置好环境变量，此时便是独立模式

输入jps指令，发现没有守护进程

root@ubuntu:/mnt/hgfs/Host2VMmare# jps
6518 Jps

输入Hadoop fs -ls / 指令 查看Hadoop文件系统，此时发现并不是分布式的

root@ubuntu:/# hadoop fs -ls /
Found 24 items
drwxr-xr-x   - root root       4096 2016-10-31 11:05 /bin
drwxr-xr-x   - root root       4096 2017-04-08 01:00 /boot
drwxrwxr-x   - root root       4096 2016-10-31 10:34 /cdrom
drwxr-xr-x   - root root       4320 2017-04-08 09:11 /dev
drwxr-xr-x   - root root      12288 2017-04-08 09:34 /etc
drwxr-xr-x   - root root       4096 2016-10-31 11:04 /home
-rw-r--r--   1 root root   45733397 2017-04-08 01:00 /initrd.img
drwxr-xr-x   - root root       4096 2016-10-31 11:05 /lib
drwxr-xr-x   - root root       4096 2016-04-20 15:08 /lib64
drwx------   - root root      16384 2016-10-31 18:32 /lost+found
drwxr-xr-x   - root root       4096 2017-04-08 00:53 /media
drwxr-xr-x   - root root       4096 2017-04-08 01:00 /mnt
drwxr-xr-x   - root root       4096 2016-10-31 11:07 /opt
dr-xr-xr-x   - root root          0 2017-04-08 09:11 /proc
drwx------   - root root       4096 2017-04-08 09:12 /root
drwxr-xr-x   - root root        760 2017-04-09 07:35 /run
drwxr-xr-x   - root root      12288 2016-10-31 11:07 /sbin
drwxr-xr-x   - root root       4096 2016-04-19 07:31 /snap
drwxr-xr-x   - root root       4096 2016-04-20 15:08 /srv
dr-xr-xr-x   - root root          0 2017-04-09 09:02 /sys
drwxrwxrwt   - root root       4096 2017-04-09 08:17 /tmp
drwxr-xr-x   - root root       4096 2017-04-08 09:14 /usr
drwxr-xr-x   - root root       4096 2016-04-20 15:24 /var
-rw-r--r--   1 root root    7013984 2016-10-31 10:34 /vmlinuz

2.伪分布式

首先安装jdk与Hadoop，分别配置环境变量

一.在hadoop/etc 下更改配置

1.core-site.xml : 配置namenode主机名称

<?xml version="1.0"?>
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost/</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
   </property>  
</configuration>

2.hdfs-site.xml : 配置datanode副本数量，默认datanode数量是一，副本数量也是一

<?xml version="1.0"?>
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

3.mapred-site.xml : 配置mapreduce框架为yarn

<?xml version="1.0"?>
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

4.yarn-site.xml ： 配置资源管理器和节点管理器

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>localhost</value>
    </property>

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

二.SSH配置

SSH登陆远程主机，无口令提示

$>sudo apt-get install ssh          //安装SSH(此步骤可能还需要安装依赖)

$>ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa          //生成秘钥

$>cat id_rsa.pub >> ~/.ssh/authorized_keys    //授权

$>ssh localhost                        //第一次yes

$>exit                                     //退出

$>ssh localhost                      //第二次不需要口令

三.格式化文件系统

$>hadoop namenode -format

四.启动hadoop

      $>start-dfs.sh
      $>start-yarn.sh

或者使用start-all.sh

jsp查看进程

root@ubuntu：/# jps
6259 Jps
5929 ResourceManager
5596 DataNode
6045 NodeManager
5774 SecondaryNameNode
5455 NameNode

可以通过 jps -l 查看类名称 从而阅读源代码

root@ubuntu:/# jps -l
13001 sun.tools.jps.Jps
5929 org.apache.hadoop.yarn.server.resourcemanager.ResourceManager
5596 org.apache.hadoop.hdfs.server.datanode.DataNode
6045 org.apache.hadoop.yarn.server.nodemanager.NodeManager
5774 org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode
5455 org.apache.hadoop.hdfs.server.namenode.NameNode

通过web页面查看

http://localhost:50070/  访问namenode节点
http://localhost:8088/    访问资源管理器节点
http://localhost:19888/  访问历史服务器

停止守护程序

$>stop-yarn.sh
$>stop-dfs.sh

3.完全分布式

一.克隆三台虚拟机

s0 (NN+RM)
s1(datanode+NM)
s2(datanode+NM)
s3(secondary NN)

二.分别在每个客户机上配置ssh，使得能够免密码登录到各个客户机。

root@ubuntu:/# ssh

三.分别在每个客户机上修改主机名为s1,s2,s3,s4

root@ubuntu:/# gedit /etc/hostname

四.分别在每个客户机上配置主机名与IP地址对应关系

root@ubuntu:/# gedit /etc/hosts

五.在hadoop/etc 下更改配置

1.core-site.xml : 配置namenode主机名称为s0

<configuration>
   <property>
       <name>fs.defaultFS</name>
       <value>hdfs://s0/</value>
   </property>
   <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
   </property>  
</configuration>

2.hdfs-site.xml : 配置datanode副本数量，默认datanode数量是二，副本数量也是二

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
</configuration>

3.mapred-site.xml : 配置mapreduce框架为yarn

<configuration>
   <property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
   </property>
</configuration>

4.yarn-site.xml ： 配置资源管理器为s0和节点管理器

<configuration>
   <property>
      <name>yarn.resourcemanager.hostname</name>
      <value>s0</value>
   </property>

   <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
   </property>
</configuration>

5.slaves : 配置datanode节点,将文本修改为

s1
s2

四台虚拟机均作以上文件配置更改

六.格式化文件系统

$>hadoop namenode -format

七.启动hadoop

      $>start-dfs.sh
      $>start-yarn.sh

或者使用start-all.sh

jsp查看s0进程

root@s0:~# jps
4219 ResourceManager
4043 SecondaryNameNode
3868 NameNode
4478 Jps
root@s0:~# ssh s1 jps
3683 Jps
3429 DataNode
3549 NodeManager

jsp查看s1进程

root@s0:~# ssh s1 jps
3683 Jps
3429 DataNode
3549 NodeManager

jsp查看s2进程

root@s0:~# ssh s2 jps
3012 NodeManager
2890 DataNode
3146 Jps

jsp查看s3进程

root@s0:~# ssh s3 jps
3480 Jps

配置完成！