Ubantu20虚拟机下hadoop安装教程--详细

Ubantu20下Hadoop伪分布安装

注意：防火墙一定要关闭！，也可以不关闭 ，需要放行你需要的端口！

1、准备安装包上传到/opt目录下

• 配置jdk，将jdk上传到/opt目录下

上传失败执行

sudo chmod 777 /opt

hadoop获取连接，在/opt目录下输入

sudo wget --no-check-certificate https://mirrors.bfsu.edu.cn/apache/hadoop/common/hadoop-2.10.1/hadoop-2.10.1.tar.gz

• 将两者解压到/usr/local下

sudo tar -zxvf /opt/hadoop-2.10.1.tar.gz -C /usr/local/           
sudo tar -zxvf jdk-8u131-linux-x64.tar.gz -C /usr/local/

• 编辑sudo vim /etc/profile，vim没有该命令自行百度(JDK和hadoop环境变量一起)

export JAVA_HOME=/usr/local/jdk1.8.0_131
export HADOOP_HOME=/usr/local/hadoop-2.10.1
exportPATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH:$HOME/bin

• 保存退出执行 source /etc/profile

• 检测是否成功，分别输入

java -version
hadoop

2、hadoop配置

• hadoop-env.sh文件的配置

​ 配置文件所在目录，在解压的hadoop目录下：hadoop/hadoop-2.10.1/etc/hadoop。

sudo vim  hadoop-env.sh

这个目录改Jdk的安装目录，不用到bin目录下，到安装目录即可

/usr/local/jdk1.8.0_131

• core-site.xml文件配置

sudo vim core-site.xml

<configuration>
      <property>
            <name>fs.defaultFS</name>
            <value>hdfs://localhost:9000</value>
            </property>
            <property>
             <name>hadoop.tmp.dir</name>
          <value>/home/icloudy/hadoop/hadoop-2.10.1/tmp</value>
     </property>

</configuration>

可根据自己情况更改。

• 配置hdfs-site.xml

sudo vim hdfs-site.xml

<configuration>
                <property>
                        <name>dfs.replication</name>
                        <value>1</value>
                </property>
</configuration>

• mapred-site.xml文件配置

目录下是没有该文件的只有一个模板，将mapred-site.xml.template复制一份改名即可。

cp mapred-site.xml.template mapred-site.xml

sudo vim mapred-site.xml

<configuration>
        <property>
                  <name>mapreduce.framework.name</name>
                 <value>yarn</value>
        </property>
</configuration>

• yarn-site.xml文件配置

sudo vim yarn-site.xml

    <property>
             <name>yarn.nodemanager.aux-services</name>
             <value>192.168.66.123:9001</value>
    </property>

    <property>
             <name>yarn.resourcemanager.address</name>
             <value>192.168.66.123:8032</value>
    </property>

• 配置ssh免密登录

进入 /etc下

sudo chmod 777 hosts

sudo vim /etc/hosts

完成主机ip映射之后使用密码实现主机间的切换：ssh root@[主机映射名称]。

cd ~/.ssh/

#完成主机ip映射之后使用密码实现主机间的切换：ssh root@[主机映射名称]
ssh root@icloudy

输入yes后会让你输入密码：

如上图已经成功切过去了。

此时是需要密码的，每次输入密码是很不方便的，也不能实现集群的自动化，接下来需要配置ssh免密登录。

在root用户下输入ssh-keygen -t rsa 三次回车

@符前面是当前用户名，@后面是要登录的用户名

• 格式化分布式文件系统HDFS

该文件系统是hadoop自动下载的的，格式化命令：hdfs namenode -format。只能格式化一次，若第一未成功需要删除上面配置的tmp目录重新格式化。

• **启动集群start-dfs.sh**中途要输入一个yes：

• 使用jps检查

这一步你比我少一个正常，你还没启动完。

namenode节点后台管理地址ip+端口号[50070/50090]

http://192.168.66.123:50070/

• http://192.168.66.123:50090

• yarn作为集群的管理者，启动yarn的命令为：start-yarn.sh：

也可以输入ip+[yarn端口号]进入yarn管理中心,这是在之前yarn-site.xml配置的

如图，就是成功了，伪分布安装！

• http://192.168.66.123:8088