Hadoop安装及伪分布模式配置

1、安装并配置JDK1.8

【详细描述虚拟机安装JDK并配置环境变量的全过程】

2、下载安装

下载地址：https://pan.baidu.com/s/1jpqwurCjolkHaXHzn618vQ

提取码：m9pj

解压安装

tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz -C /opt/hadoop-2.6

解压到 opt 目录下并改名（为之后使用方便）；这里改名为hadoop-2.6

3、配置环境变量

vi /etc/profile

添加环境配置如下：

export HADOOP_HOME=/opt/hadoop-2.6
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_INSTALL=$HADOOP_HOME
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

注意细节：

配置完成后注意source环境变量；然后查看是否配置成功；

source /etc/profile
java -version
hadoop version

若能查到相应的 jdk 以及 hadoop 版本则配置成功；

4、修改配置文件

4.1、core-site.xml

在 <configuration></configuration> 标签中插入如下内容

  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://192.168.8.125:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoop-2.6/tmp</value>
  </property>

  <property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.native.lib</name>
    <value>false</value>
    <description>Should native hadoop libraries, if present, be used.
    </description>
  </property>

4.2、hdfs-site.xml

在 <configuration></configuration> 标签中插入如下内容

  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>hadoop825:50090</value>
  </property>

4.3、hadoop-env.sh

修改如下图所示内容

4.4、mapred-site.xml

重命名mapred-site.xml.template文件，将.template后缀去掉

mv mapred-site.xml.template mapred-site.xml
vi mapred-site.xml

在 <configuration></configuration> 标签中插入如下内容

  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>192.168.8.125:10020</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>192.168.8.125:19888</value>
  </property>

4.5、yarn-site.xml

在 <configuration></configuration> 标签中添加如下内容

  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop825</value>
  </property>

  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>

  <!-- 日志聚集功能使用 -->
  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
  </property>

  <!-- 日志保留时间设置7天 -->
  <property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
  </property>

5、解压查看历史文件压缩包

解压hadoop-native-64-2.6.0.tar压缩包到/opt/hadoop-2.6/lib/native目录下；然后将解压的内容全部复制到上一级；随后激活历史查看

tar -xvf hadoop-native-64-2.6.0.tar -C /opt/hadoop-2.6/lib/native
cd /opt/hadoop-2.6/lib/native/
cp * ../
#激活历史信息查看
mr-jobhistory-daemon.sh start historyserver

6、伪分布模式

6.1生成秘钥

ssh-keygen

6.2、复制秘钥

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

6.3、分布式复制到本机

ssh hadoop825			#主机名
exit					#完成后退出

7、格式化NameNode

修改完hadoop配置文件后启动hadoop需要格式化NameNode；

格式化之前必须先删除/opt/hadoop-2.6目录下的tmp文件夹；

cd /opt/hadoop-2.6
rm -rf tem
hadoop namenode -format

8、验证安装

启动关闭命令

start-all.sh				#启动hadoop
stop-all.sh					#关闭hadoop

启动成功输入jps查看进程

浏览器输入ip地址:50070

浏览器输入ip地址:8088

浏览器输入ip地址:19888

以上界面成功展示说明Hadoop安装及伪分布模式配置完成！！！