hadoop2.x配置
1.独立模式
没有运行的守护程序,所有程序运行在一个JVM中。适合开发期间运行MapReduce程序,源于他的易于测试和调试。
将Hadoop2.x压缩包解压后,配置好环境变量,此时便是独立模式
输入jps指令,发现没有守护进程
root@ubuntu:/mnt/hgfs/Host2VMmare# jps
6518 Jps
输入Hadoop fs -ls / 指令 查看Hadoop文件系统,此时发现并不是分布式的
root@ubuntu:/# hadoop fs -ls /
Found 24 items
drwxr-xr-x - root root 4096 2016-10-31 11:05 /bin
drwxr-xr-x - root root 4096 2017-04-08 01:00 /boot
drwxrwxr-x - root root 4096 2016-10-31 10:34 /cdrom
drwxr-xr-x - root root 4320 2017-04-08 09:11 /dev
drwxr-xr-x - root root 12288 2017-04-08 09:34 /etc
drwxr-xr-x - root root 4096 2016-10-31 11:04 /home
-rw-r--r-- 1 root root 45733397 2017-04-08 01:00 /initrd.img
drwxr-xr-x - root root 4096 2016-10-31 11:05 /lib
drwxr-xr-x - root root 4096 2016-04-20 15:08 /lib64
drwx------ - root root 16384 2016-10-31 18:32 /lost+found
drwxr-xr-x - root root 4096 2017-04-08 00:53 /media
drwxr-xr-x - root root 4096 2017-04-08 01:00 /mnt
drwxr-xr-x - root root 4096 2016-10-31 11:07 /opt
dr-xr-xr-x - root root 0 2017-04-08 09:11 /proc
drwx------ - root root 4096 2017-04-08 09:12 /root
drwxr-xr-x - root root 760 2017-04-09 07:35 /run
drwxr-xr-x - root root 12288 2016-10-31 11:07 /sbin
drwxr-xr-x - root root 4096 2016-04-19 07:31 /snap
drwxr-xr-x - root root 4096 2016-04-20 15:08 /srv
dr-xr-xr-x - root root 0 2017-04-09 09:02 /sys
drwxrwxrwt - root root 4096 2017-04-09 08:17 /tmp
drwxr-xr-x - root root 4096 2017-04-08 09:14 /usr
drwxr-xr-x - root root 4096 2016-04-20 15:24 /var
-rw-r--r-- 1 root root 7013984 2016-10-31 10:34 /vmlinuz
2.伪分布式
首先安装jdk与Hadoop,分别配置环境变量
一.在hadoop/etc 下更改配置
1.core-site.xml : 配置namenode主机名称
<?xml version="1.0"?>
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost/</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>
2.hdfs-site.xml : 配置datanode副本数量,默认datanode数量是一,副本数量也是一
<?xml version="1.0"?>
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
3.mapred-site.xml : 配置mapreduce框架为yarn
<?xml version="1.0"?>
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
4.yarn-site.xml : 配置资源管理器和节点管理器
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
二.SSH配置
SSH登陆远程主机,无口令提示
$>sudo apt-get install ssh //安装SSH(此步骤可能还需要安装依赖)
$>ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa //生成秘钥
$>cat id_rsa.pub >> ~/.ssh/authorized_keys //授权
$>ssh localhost //第一次yes
$>exit //退出
$>ssh localhost //第二次不需要口令
三.格式化文件系统
$>hadoop namenode -format
四.启动hadoop
$>start-dfs.sh
$>start-yarn.sh
或者使用start-all.sh
jsp查看进程
root@ubuntu:/# jps
6259 Jps
5929 ResourceManager
5596 DataNode
6045 NodeManager
5774 SecondaryNameNode
5455 NameNode
可以通过 jps -l 查看类名称 从而阅读源代码
root@ubuntu:/# jps -l
13001 sun.tools.jps.Jps
5929 org.apache.hadoop.yarn.server.resourcemanager.ResourceManager
5596 org.apache.hadoop.hdfs.server.datanode.DataNode
6045 org.apache.hadoop.yarn.server.nodemanager.NodeManager
5774 org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode
5455 org.apache.hadoop.hdfs.server.namenode.NameNode
通过web页面查看
http://localhost:50070/ 访问namenode节点
http://localhost:8088/ 访问资源管理器节点
http://localhost:19888/ 访问历史服务器
停止守护程序
$>stop-yarn.sh
$>stop-dfs.sh
3.完全分布式
一.克隆三台虚拟机
s0 (NN+RM)
s1(datanode+NM)
s2(datanode+NM)
s3(secondary NN)
二.分别在每个客户机上配置ssh,使得能够免密码登录到各个客户机。
root@ubuntu:/# ssh
三.分别在每个客户机上修改主机名为s1,s2,s3,s4
root@ubuntu:/# gedit /etc/hostname
四.分别在每个客户机上配置主机名与IP地址对应关系
root@ubuntu:/# gedit /etc/hosts
五.在hadoop/etc 下更改配置
1.core-site.xml : 配置namenode主机名称为s0
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://s0/</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>
2.hdfs-site.xml : 配置datanode副本数量,默认datanode数量是二,副本数量也是二
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
3.mapred-site.xml : 配置mapreduce框架为yarn
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
4.yarn-site.xml : 配置资源管理器为s0和节点管理器
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>s0</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
5.slaves : 配置datanode节点,将文本修改为
s1
s2
四台虚拟机均作以上文件配置更改
六.格式化文件系统
$>hadoop namenode -format
七.启动hadoop
$>start-dfs.sh
$>start-yarn.sh
或者使用start-all.sh
jsp查看s0进程
root@s0:~# jps
4219 ResourceManager
4043 SecondaryNameNode
3868 NameNode
4478 Jps
root@s0:~# ssh s1 jps
3683 Jps
3429 DataNode
3549 NodeManager
jsp查看s1进程
root@s0:~# ssh s1 jps
3683 Jps
3429 DataNode
3549 NodeManager
jsp查看s2进程
root@s0:~# ssh s2 jps
3012 NodeManager
2890 DataNode
3146 Jps
jsp查看s3进程
root@s0:~# ssh s3 jps
3480 Jps
配置完成!