安装hadoop: hadoop-2.7.3.tar.gz
1、解压hadoop
mkdir /usr/hadoop
tar zxvf hadoop-2.7.3.tar.gz -C /usr/hadoop/
2、修改配置文件 #hadoop2.x的配置文件在/usr/hadoop/etc/hadoop目录下,1.x的配置文件在conf文件夹
cd hadoop-2.7.3
mkdir tmp #在hadoop-2.7.3下创建目录tmp
进入到cd etc/hadoop/
需要修改的配置文件:
(1) hadoop -env.sh #在文件第27行修改
export JAVA_HOME=/usr/java/jdk1.8.0_11
(2) 修改master ,slaves
vim masters
master
vim slaves
slave1
slave2
(3) core-site.xml
<configuration>
<!--指定Hadoop运行时产生文件的存储路径 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop/hadoop-2.7.3/tmp</value>
</property>
<!--指定HDFS老大(namenode)的通信地址-->
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.222.100:9000</value>
</property>
</configuration>
(4) mapred-site.xml.template
需要重命名mv mapred-site.xml.template mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>http://192.168.222.100:9001</value>
</property>
</configuration>
(5)hdfs-site.xml
<configuration>
<--设置hdfs副本数量-->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>
3、将hadoop添加到环境变量
vim ~/.bashrc
export JAVA_HOME=/usr/java/jdk1.8.0_11
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
source ~/.bashrc
4、把hadoop远程拷贝到slave1,slave2中scp -rp 192.168.222.128:/usr/hadoop/
5、格式化HDFS(namenode)
第一次使用要格式化
hdfs namenode -format
6、启动集群
cd sbin
start-all.sh 过时, 使用 start-dfs.sh ; start-yarn.sh
验证:jps
7、访问
HDFS:http://192.168.222.100:50070
Yarn:http://192.168.222.100:8088
注:
通过hostname直接登录master与slave:
vim /etc/hosts
添加:
192.168.222.100 master
192.168.222.128 slave1
192.168.222.129 slave2
永久修改主机名修改 vim /etc/hostname(立即生效hostname master)
在各台机器通过ssh hostname(master,slave1,slave2)可登录到其他机器上。
伪分布式搭建:
http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html
http://www.cnblogs.com/ganchuanpu/p/6079650.html