Linux下Hadoop的安装

系列文章目录

只有已完成的部分
Hadoop Local模式的配置
Hadoop伪分布式模式的配置(已完成)
Hadoop分布式模式的配置


提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档


前言

这是Hadoop的安装指南,你可以在系列文章目录中找到其他模式的配置


以下是本篇文章正文内容

一、Hadoop是什么?

官网的介绍
Hadoop是一个使用java编写的Apache开放源代码框架,它允许使用简单的编程模型跨大型计算机的大型数据集进行分布式处理。Hadoop框架工作的应用程序可以在跨计算机群集提供分布式存储和计算的环境中工作。Hadoop旨在从单一服务器扩展到数千台机器,每台机器都提供本地计算和存储。

二、安装步骤

1.官网下载安装包解压至本地

Apache Hadoop官网下载页面
在这里插入图片描述
以Hadoop2.7.5版本为例
准备好安装文件
上传至服务器
解压安装包

tar -zxvf hadoop-2.7.5.tar.gz

执行完后,在当前的目录下会出现一个名为 hadoop-2.7.5 的文件目录,这个目录就是 hadoop 的安装目录。

在 Hadoop 中包含了 3 个技术组件,分别是:

  • 分布式存储技术 - HDFS
  • 分布式资源管理技术 - Yarn
  • 分布式计算技术 - MapReduce

那么,我们常说的 Hadoop 安装,实际上就包含了 HDFS 的安装、Yarn 的安装以及 MapReduce 的安装,我们接下来分别配置安装。

2.JDK安装

使用如下命令直接安装

sudo apt-get install openjdk-8-jdk #ubuntu
sudo yum install openjdk-8-jdk #如果你使用yum,用它

这是最省事的方式,但这样安装你会使用默认配置(这意味着你以后配置JAVA_HOME时会有点麻烦)
检查jdk版本,是否安装成功

java -version

查看jdk版本
成功后如上图。

刚说了这种方式安装找安装目录会有些麻烦,你可以看我的这篇文章
=>Linux中定位JAVAHOME

3.Hadoop的安装

把Hadoop放到/usr/local下,并创建软连接

sudo mv hadoop-2.7.5 /usr/local
sudo ln -snf /usr/local/hadoop-2.7.5/ /usr/local/hadoop

给Hadoop文件夹赋予权限(生产环境不推荐)

chmod -R 777 hadoop-2.7.5/

配置环境变量

  • 局部环境变量:~/.bashrc
  • 全局环境变量:/etc/profile
    用vim去打开文件配置,这个东西不用赘述了
    这里我图方便配置全局了
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:./:$JAVA_HOME/bin

#JAVA_HOME
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib

配置后生效一下

source /etc/profile

输入Hadoop的命令,你将看到
Hadoop版本
说明Hadoop安装好了,现在开始配置伪分布式

4.伪分布式配置

配置Hadoop运行环境

$HADOOP_HOME/conf/目录下

  1. 修改hadoop_env.sh

    # The java implementation to use.
    #export JAVA_HOME=${JAVA_HOME}
    export JAVA_HOME=$JAVA_HOME
    
  2. 修改core-site.xml

    <configuration>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://192.168.59.140:9000</value>
        </property>
    </configuration>
    
  3. hdfs-site.xml

    <configuration>
            <property>
                    <name>dfs.nameservices</name>
                    <value>hadoop-cluster</value>
            </property>
            <property>
                    <name>dfs.namenode.name.dir</name>
                    <value>file:///data/hadoop/hdfs/nn</value>
            </property>
            <property>
                    <name>dfs.namenode.checkpoint.dir</name>
                    <value>file:///data/hadoop/hdfs/snn</value>
            </property>
            <property>
                    <name>dfs.namenode.checkpoint.edits.dir</name>
                    <value>file:///data/hadoop/hdfs/snn</value>
            </property>
            <property>
                    <name>fs.datanode.data.dir</name>
    #注意这里的name中dfs少了开头的d,正常来说是dfs,但是只有换成fs才能成功,不知为何
                    <value>file:///data/hadoop/hdfs/dn</value>
            </property>
    </configuration>
    
    
  4. mapred-site.xml
    在hadoop的相关目录中没有此文件,但是有一个mapred-site.xml.template文件,将该文件复制一份为mapred-site.xml

    cp mapred-site.xml.template mapred-site.xml
    

    编辑mapred-site.xml

    <configuration>
            <property>
                    <name>mapreduce.framework.name</name>
                    <value>yarn</value>
            </property>
    </configuration>
    
    
  5. yarn-site.xml

    <configuration>
            <!-- 指定ResourceManager的地址-->
            <property>
                    <name>yarn.resourcemanager.hostname</name>
                    <value>192.168.59.140</value>
            </property>
            <!-- 指定reducer获取数据的方式-->
            <property>
                    <name>yarn.nodemanager.aux-services</name>
                    <value>mapreduce_shuffle</value>
            </property>
            <property>
                    <name>yarn.nodemanager.local-dirs</name>
                    <value>file:///data/hadoop/yarn/nm</value>
            </property>
    </configuration>
    
    
  6. 创建相关目录

    sudo mkdir -p /data/hadoop/hdfs/nn
    sudo mkdir -p /data/hadoop/hdfs/dn
    sudo mkdir -p /data/hadoop/hdfs/snn
    sudo mkdir -p /data/hadoop/yarn/nm
    

    同时给予权限

    sudo chmod -R 777 /data/
    
  7. 对HDFS集群进行格式化,HDFS集群是用来存储数据的。

    hdfs namenode -format
    

    format

三、启动集群

  1. 启动HDFS集群

    hadoop-daemon.sh start namenode #启动主节点
    hadoop-daemon.sh start datanode #启动从节点
    

    在这里插入图片描述

  2. 启动YARN集群

    yarn-daemon.sh start resourcemanager
    yarn-daemon.sh start nodemanager
    

    启动

  3. 启动作业历史服务器

    mr-jobhistory-daemon.sh start historyserver
    

    在这里插入图片描述

上述命令也可以用start-all.sh(新版本中已弃用)或者start-dfs.sh加上start-yarn.sh代替

jps可以查看是否启动成功
下面的,一个都不能少

hengxing@hengxing:/usr/local/spark/sbin$ jps
58307 NameNode
58473 ResourceManager
58796 JobHistoryServer
58733 NodeManager
58878 Jps
58399 DataNode

也可以在浏览器的ui界面查看,网址见截图

Hadoop的ui界面
正常情况下是有一个Datanode的
datanodealive
用自带的圆周率程序测试一下

yarn jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.jar pi 4 100

圆周率输出


总结

安装的时候要万分注意自己的环境变量和其中各种IP端口号的配置,这些是决定服务是否成功的关键

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值