一、安装钱准备
a、关闭防火墙和SELinux
service iptables status
service iptables stop
chkconfig iptables off
b、设置静态IP地址
vi /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes # 默认为no,改为yes
NM_CONTROLLED=yes
BOOTPROTO=none # 默认为dhcp,改为none
IPADDR=192.168.247.12 #配置自己的ip地址
NETMASK=255.255.255.0 # 配置自己的子网掩码
GATEWAY=192.168.247.2 # 配置自己的关
DNS1=192.168.1.1 # 配置自己的dns
IPV6INIT=no
USERCTL=no
c、修改HostName
vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=hadoop1
d、IP与HostName绑定
vi /etc/hosts
192.168.247.12 hadoop1
二、安装步骤
1、安装jdk7
#首先检查系统是否安装jdk
rpm -qa|grep jdk
#删除命令
yum remove jdkxxx
#解压jdk到指定目录
tar -zxvf jdk-7u72-linux-x64.tar.gz -C /usr/local/
#切换到/usr/local目录下,并对jdk目录重名(主要是为了方便)
cd /usr/local/
mv jdk1.7.0_72/ jdk
#修改环境变量/etc/profile,添加JAVA_HOME
export JAVA_HOME=/usr/local/jdk
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
使修改生效
source /etc/profile
注:只要涉及修改环境变量,都需要使用soruce命令,使修改立即生效
检查java环境是否配置正确
java -version
2、安装hadoop
#解压安装包到指定目录,这里解压到/usr/local/目录下
tar -zxvf hadoop-2.7.0.tar.gz -C /usr/local/
#重命名解压后的文件夹(仅仅为了方便)
mv hadoop-2.7.0/ hadoop
配置hadoop环境变量
vim /etc/prifile
#添加如下几行
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
修改env配置文件
#涉及到的文件路径:/usr/local/hadoop/etc/hadoop
#涉及的文件包括:hadoop-env.sh,yarn-env.sh,mapred-env.sh;这三个文件需要添加jdk路径
export JAVA_HOME=/usr/local/jdk
修改xml配置文件
#涉及到文件路径:/usr/local/hadoop/etc/hadoop
#涉及的文件包括:core-site.xml,hdfs-site.xml,yarn-site.xml,mapred-site.xml
#core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop1:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/dfs/tmp</value>
</property>
#hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<!-- 作为NameNode使用 -->
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop/dfs/name</value>
</property>
<!-- 作为DataNode 使用-->
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/hadoop/dfs/data</value>
</property>
#yarn-site.xml
<property>
<!-- 作为资源管理节点使用 -->
<name>yarn.resourcemanager.hostname</name>
<value>hadoop1</value>
</property>
<property>
<!-- 作为节点内部管理节点使用-->
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
#mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
3、启动hadoop
#启动顺序,NameNode,DataNode,SecondaryNameNode
#格式化NameNode
./bin/hdfs namenode -foramt
#启动NameNode
./sbin/hadoop-daemon.sh start namenode
#启动DataNode
./sbin/hdoop-daemon.sh start datanode
#启动SecondaryNameNode
./sbin/hadoop-daemon.sh start secondaryname
#启动yarn
./sbin/yarn-daemon.sh start resourcemanager
4、测试伪分布式是否安装成功
#可以用hadoop自带的程序测试
./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar pi 20 20
#该作业是计算pi值的,若成功,会输出如下内容:
Job Finished in 409.583 seconds
Estimated value of Pi is 3.17000000000000000000
#当然,如果取值不是 20 20 计算结果肯定也不一样,取样越大,计算结果越接近3.141592657589.......
5、常用端口
名称 | 地址 | 默认端口 |
---|---|---|
NameNode | http://nn_host:port/ | Default HTTP port is 50070 |
ResourceManager | http://rm_host:port/ | Default HTTP port is 8088 |
MapReduce JobHistory Server | http://jhs_host:port/ | Default HTTP port is 1988 |