Hadoop 2.7.3安装与配置------Hadoop学习（1）

1.JDK1.8.0_101的安装与配置

（1）百度云下载地址链接：http://pan.baidu.com/s/1i5JOCiL 密码：8hyr

（2）下载后在centos6.5中解压路径为/usr/jdk1.8.0_101

（3）将java添加到环境变量中

vi     /etc/profile

添加如下配置

export JAVA_HOME=/usr/jdk1.8.0_101
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
#export HADOOP_HOME=/centos01/hadoop-2.4.1
export JAVA_BIN=$JAVA_HOME/bin
export JAVA_LIB=$JAVA_HOME/lib
export CLASSPATH=.:$JAVA_LIB/tools.jar:$JAVA_LIB/dt.jar
#export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
expor tPATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

（4） #刷新配置
source     /etc/profile 

2.hadoop的相关配置

（1）百度云下载地址链接：http://pan.baidu.com/s/1slMWhFB 密码：16bu

（2）下载后解压路径为/usr/hadoop/hadoop-2.7.3

（3）配置hadoop

      第一个：hadoop-env.sh
vim hadoop-env.sh
#第27行
export JAVA_HOME=/usr/jdk1.8.0_101

第二个：core-site.xml
<!-- 制定HDFS的老大（NameNode）的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://centos01:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/hadoop/hadoop-2.7.3/tmp</value>
        </property>

第三个：hdfs-site.xml
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
        </property>

第四个：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
        </property>

第五个：yarn-site.xml
<!-- 指定YARN的老大（ResourceManager）的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>centos01</value>
        </property>
<!-- reducer获取数据的方式 -->
        <property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
        </property>

（4）配置hadoop的环境变量

    

vi     /etc/profile

添加如下配置

export JAVA_HOME=/usr/jdk1.8.0_101
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
#export HADOOP_HOME=/centos01/hadoop-2.4.1
export JAVA_BIN=$JAVA_HOME/bin
export JAVA_LIB=$JAVA_HOME/lib
export CLASSPATH=.:$JAVA_LIB/tools.jar:$JAVA_LIB/dt.jar
#export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
expor tPATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

执行指令 source /etc/profile

（5）格式化namenode（是对namenode进行初始化）
hdfs namenode -format (hadoop namenode -format)

（6）安装完成后的验证

    执行命令start-all.sh

   [root@centos01 ~]# jps
3093 ResourceManager
3191 NodeManager
2939 SecondaryNameNode
2366 NameNode
5519 Jps

表示安装成功

打开网页http://192.168.3.97:8088/cluster可以正常查看