一,环境准备
本教程使用Ubuntu 14.04 64位的操作系统。
Hadoop的版本是Hadoop-2.6.0。
IP地址:192.168.50.130
主机名:ubuntu
查看IP地址:命令 ifconfig
查看主机名:命令 hostname
在安装其他环境之前,我们先在/etc/host中配置IP和主机名之间的映射,为方便后续操作的访问。
通过命令# vi /etc/hosts
添加如下配置信息:
192.168.50.130 ubuntu
二,JDK 安装
1 去官网http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 下载jdk-8u111-linux-x64.tar.gz,解压到/usr/lib/jdk1.8.0_111。
2 在/root/.bash_profile中添加如下配置:
export JAVA_HOME=/usr/lib/jdk1.8.0_111
export PATH=$JAVA_HOME/bin:$PATH
3 使环境变量生效,#source ~/.bash_profile
4 安装验证
# java -version
出现如下结果表示JDK环境安装成功:
三,配置ssh无密码登陆
如果没有安装ssh,请通过如下命令安装ssh。
# apt-get install openssh-server openssh-client
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
验证ssh,# ssh localhost
不需要输入密码即可登录。
四,安装Hadoop-2.6.0
1,解压并配置环境变量
(1)从官网http://hadoop.apache.org/#Download+Hadoop下载hadoop-2.6.0-tar.gz,复制hadoop-2.6.0-tar.gz到/root/hadoop目录下,然后使用命令
# tar –zvxf hadoop-2.6.0.tar.gz
解压,解压后目录为:/root/hadoop/hadoop-2.6.0
(2)创建目录
在/root/hadoop目录下,建立tmp、hdfs/name、hdfs/data目录,执行命令如下:
# mkdir /root/hadoop/tmp
# mkdir /root/hadoop/hdfs
# mkdir /root/hadoop/hdfs/data
# mkdir /root/hadoop/hdfs/name
文件结构如下:
(3)配置环境变量
#vi ~/.bash_profile
添加以下配置:
# set hadoop path
export HADOOP_HOME=/root/hadoop/hadoop-2.6.0
export PATH=$PATH:$HADOOP_HOME/bin
使环境变量生效,#source ~/.bash_profile
2,Hadoop配置
进入HADOOP_HOME/etc/hadoop目录,配置以下文件:
hadoop-2.6.0/etc/hadoop/hadoop-env.sh
hadoop-2.6.0/etc/hadoop/yarn-env.sh
hadoop-2.6.0/etc/hadoop/core-site.xml
hadoop-2.6.0/etc/hadoop/hdfs-site.xml
hadoop-2.6.0/etc/hadoop/mapred-site.xml
hadoop-2.6.0/etc/hadoop/yarn-site.xml
(1)配置hadoop-env.sh
# The java implementation to use.
#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/usr/lib/jdk1.8.0_111
(2)配置yarn-env.sh
# some Java parameters
# export JAVA_HOME=/home/y/libexec/jdk1.6.0/
export JAVA_HOME=/usr/lib/jdk1.8.0_111
(3)配置core-site.xml
添加如下配置:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
<description>HDFS的URI,文件系统://namenode标识:端口号</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/root/hadoop/tmp</value>
<description>namenode上本地的hadoop临时文件夹</description>
</property>
</configuration>
(4)配置hdfs-site.xml
添加如下配置:
<configuration>
<property>
<name>dfs.name.dir</name>
<value>/root/hadoop/hdfs/name</value>
<description>namenode上存储hdfs名字空间元数据 </description>
</property>
<property>
<name>dfs.data.dir</name>
<value>/root/hadoop/hdfs/data</value>
<description>datanode上数据块的物理存储位置</description>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
<description>副本个数,配置默认是3,应小于datanode机器数量</description>
</property>
</configuration>
(5)配置mapred-site.xml
添加如下配置:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
(6)配置yarn-site.xml
添加如下配置:
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>${yarn.resourcemanager.hostname}:8099</value>
</property>
</configuration>
3,Hadoop启动
(1)格式化namenode
$ bin/hdfs namenode –format
(2)启动NameNode和DataNode守护进程
$ sbin/start-dfs.sh
(3)启动ResourceManager和NodeManager守护进程
$ sbin/start-yarn.sh
当然,这里(2)和(3)可以直接通过sbin/start-all.sh启动所有守护进程。
4,启动验证
(1)执行jps命令,有如下进程,说明Hadoop正常启动。
14141 Jps
13663 ResourceManager
13516 SecondaryNameNode
13787 NodeManager
13332 DataNode
13181 NameNode
(2)在浏览器中输入:http://192.168.50.130:8099/ 即可看到 ResourceManager的界面。
至此,表明Hadoop已安装成功。