hadoop秘籍-hadoop安装配置

准备工作

Oracle VM VirtualBox工具下搭建的linux系统
ssh工具：MobaXterm.11.0
jdk版本：jdk 1.8
hadoop安装包

安装步骤

1、解压hadoop安装包
（1）．把下载好的安装包，拖拽到/software目录中
这里的software目录是我新建的，后面会把解压的文件放到opt文件夹中，也可以直接在opt文件夹下操作，直接把压缩包放到opt文件夹下

（2）．下载解压缩工具
由于我的压缩包中有zip格式的，所以下载unzip解压工具，输入指令：yum install -y unzip
（3）．输入：cd /software 进入安装包目录，输入ll可以查看目录中的文件

（4）．解压包
解压文件，把解压好的文件移到opt文件夹中。注意一下这里的压缩包zip格式的只能在本目录下解压后在移动，其它格式的直接在后面写上 -C /opt可直接移动到opt文件夹下
（5）．移动和改名
我这里是为了方便后面的操作，也可以不改，我这里只改了一个

2、生成秘钥：
输入指令：
ssh-keygen -t rsa -P “”(会有提示信息，直接回车就行)

在输入：cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

3、 配置主机名
输入指令：vi /etc/hostname
把原来的内容删掉写入新的主机名，我的改为hadoop01。(更改之后不要忘了保存，后面也是)
4．修改主机列表
输入指令：vi /etc/hosts
在第三行插入数据：ip地址(我的是192.168.56.120) 主机名。

5、 配置JDK环境变量
这个我以前的博客有，这里和那里的差不多，这里就不多说了。
6、配置Hadoop
输入指令：cd /opt/hadoop/etc/hadoop/
1、输入vi hadoop-env.sh,找到如下位置插入以下代码，即jdk的安装目录。
export JAVA_HOME=/opt/jdk1.8.0_221
2、输入vi core-site.xml

<configuration>
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://192.168.56.120:9000</value>
</property>
<property>
   <name>hadoop.tmp.dir</name>
   <value>/opt/hadoop/tmp</value>
</property>
<property>
   <name>hadoop.proxyuser.root.hosts</name>
   <value>*</value>
 </property>
<property>
   <name>hadoop.proxyuser.root.groups</name>
   <value>*</value>
 </property>
</configuration>

3、输入vi hdfs-site.xml

<configuration>
<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>
<property>
  <name>dfs.namenode.secondary.http-address</name>
  <value>hadoop01:50090</value>
</property>
<property>
  <name>dfs.permissions.enabled</name>
  <value>false</value>
</property>
</configuration>

4、输入cp mapred-site.xml.template mapred-site.xml改名，在输入vi mapred-site.xml

<configuration>
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>
<!--
以上mapreduce.framework.name配置可以改为下面mapreduce.job.tracker配置，可自行选择
<property>
      <name>mapreduce.job.tracker</name>
      <value>hdfs://192.168.116.120:8001</value>
      <final>true</final>
</property>
-->
<property>
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop01:10020</value>        
</property>
<property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop01:19888</value>
</property>
</configuration>

5、输入vi yarn-site.xml

<configuration>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop01</value>
</property>
<!--以下配置为可选项-->
<property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>
<!-- Site specific YARN configuration properties -->

</configuration>

6、输入vi ./slaves
改为你的主机名
7、hadoop环境变量配置
1、输入vi /etc/profile
代码第一行为你的hadoop安装路径,其他都一样。

export HADOOP_HOME=/opt/hadoop   
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

2、输入source /etc/profile
8、格式化HDFS
输入hadoop namenode -format
9、启动hadoop
输入start-all.sh
输入mr-jobhistory-daemon.sh start historyserver启动历史服务
10、访问Hadoop
http://192.168.56.120:50070 HDFS页面(注意改ip地址，后面也一样)
http://192.168.56.120:8088 YARN的管理界面
http://192.168.56.120:19888/