Hadoop集群搭建

最新推荐文章于 2024-09-11 22:16:31 发布
最新推荐文章于 2024-09-11 22:16:31 发布
阅读量290 收藏
点赞数
分类专栏： 大数据 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wslyk606/article/details/83652683
版权

Hadoop集群搭建

1. Hadoop集群运行基础环境

Hadoop集群搭建需要jdk和ssh工具。

1.1 安装jdk

Hadoop是用java语言开发的，Hadoop需要运行在jdk平台上；

  1. 我这里用的是jdk-8u144-linux-x64.tar.gz，在官网下载https://www.oracle.com/technetwork/java/javase/downloads/index.html

  2. 解压压缩包，目录可以自己定，后面配置的时候配置自己的目录即可，我这里的解压目录为 /usr/java，命令为：tar -xzvf jdk-8u144-linux-x64.tar.gz，解压后为/usr/java/jdk1.8.0_144

  3. 配置环境变量

    vi  /etc/profile

    添加以下

    export JAVA_HOME=/usr/java/jdk1.8.0_144
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH
export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin
export PATH=$PATH:${JAVA_PATH}

    为了使配置的环境变量生效，执行：

    source /etc/profile

  4. 查看是否配置成功

    java -version
显示如下：
java version "1.8.0_144"
Java(TM) SE Runtime Environment (build 1.8.0_144-b01)
Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)

    说明成功。

  5. 三台机器上都要进行相同的配置，可以直接通过scp命令远程拷贝到其他节点。

1.2 设置ssh免密登录
  1. 设置集群ip
   vi /etc/hosts

在主节点上通过

hostname master 命令修改服务器名称为master

其他两个节点同理：

hostname slave1

hostname slave2

根据准备的集群环境的ip添加以下内容：

   101.10.113.61 master
   101.10.113.62 slave1
   101.10.113.63 slave2

  1. 设置ssh

    在三台机器上分别执行

    ssh-keygen -t rsa

    按提示一直回车即可。

    然后在主节点上将生成的公钥复制到其他节点

    ssh-copy-id -i ~/.ssh/id_rsa.pub master
ssh-copy-id -i ~/.ssh/id_rsa.pub slave1
ssh-copy-id -i ~/.ssh/id_rsa.pub slave2

    执行完之后可以ssh到slave节点试一试。

2. 安装Hadoop

2.1 下载Hadoop

官网地址，http://hadoop.apache.org/，我下载的是hadoop-2.8.5.tar.gz版本

下载完后解压到 /usr目录下，可以重命名为hadoop，安装好的Hadoop目录为

/usr/hadoop；

2.2 配置Hadoop环境变量

同样是配置/etc/profile文件，通过vi /etc/profile命令，修改后执行source /etc/profile命令保存

export JAVA_HOME=/usr/java/jdk1.8.0_144
export HADOOP_HOME=/usr/hadoop

export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH
export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin
export PATH=$PATH:${JAVA_PATH}:$HADOOP_HOME/bin

配置成功后执行 hadoop 命令可以发现以下提示:

Usage: hadoop [--config confdir] [COMMAND | CLASSNAME]
  CLASSNAME            run the class named CLASSNAME
 or
  where COMMAND is one of:
  fs                   run a generic filesystem user client
  version              print the version
  jar <jar>            run a jar file
                       note: please use "yarn jar" to launch
                             YARN applications, not this command.
  checknative [-a|-h]  check native hadoop and compression libraries availability
  distcp <srcurl> <desturl> copy file or directories recursively
  archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop archive
  classpath            prints the class path needed to get the
                       Hadoop jar and the required libraries
  credential           interact with credential providers
  daemonlog            get/set the log level for each daemon
  trace                view and modify Hadoop tracing settings

Most commands print help when invoked w/o parameters.

说明配置成功。

2.3 Hadoop配置

hadoop的配置建议根据版本参考官网的集群配置，之前在网上我参照了别人的配置，导致slave节点的nodemanager起不来，后面根据官网进行了配置文件的设置才正常。

官网链接：http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/ClusterSetup.html

版本变动的时候可能会失效，失效的话直接去官网http://hadoop.apache.org/，点击Getting started即可。

这里我们配置下重要的配置文件：

etc/hadoop/core-site.xml, etc/hadoop/hdfs-site.xml, etc/hadoop/yarn-site.xml and etc/hadoop/mapred-site.xml

  1. 配置core-site.xml

    <configuration>
     <property>
            <name>fs.defaultFS</name>
            <value>hdfs://master:9000</value>
     </property>

    <property>
         <name>io.file.buffer.size</name>
         <value>131072</value>
       </property>

        <!-- 指定hadoop临时目录,自行创建 -->
        <property>
           <name>hadoop.tmp.dir</name>
           <value>/usr/hadoop/tmp</value>
        </property>
</configuration>

如没有配置hadoop.tmp.dir参数，此时系统默认的临时目录为：/tmp/hadoo-hadoop。而这个目录在每次重启后都会被干掉，必须重新执行format才行，否则会出错。

  1. 配置hdfs-site.xml

    <configuration>
    <property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>master:50090</value>
    </property>
    <property>
      <name>dfs.replication</name>
      <value>2</value>
    </property>
    #目录要自己建
    <property>
      <name>dfs.namenode.name.dir</name>
      <value>file:/usr/hadoop/name</value>
    </property>
    <property>
      <name>dfs.datanode.data.dir</name>
      <value>file:/usr/hadoop/data</value>
    </property>
</configuration>

  2. 配置yarn-site.xml

    <configuration>
     <property>
          <name>yarn.nodemanager.aux-services</name>
          <value>mapreduce_shuffle</value>
     </property>
     <property>
           <name>yarn.resourcemanager.address</name>
           <value>master:8032</value>
     </property>
     <property>
          <name>yarn.resourcemanager.scheduler.address</name>
          <value>master:8030</value>
      </property>
     <property>
         <name>yarn.resourcemanager.resource-tracker.address</name>
         <value>master:8031</value>
     </property>
     <property>
         <name>yarn.resourcemanager.admin.address</name>
         <value>master:8033</value>
     </property>
     <property>
         <name>yarn.resourcemanager.webapp.address</name>
         <value>master:8088</value>
     </property>
</configuration>

  3. 配置maped-site.xml

    <configuration>
 <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
     <name>mapreduce.jobhistory.address</name>
     <value>master:10020</value>
  </property>
  <property>
      <name>mapreduce.jobhistory.address</name>
      <value>master:19888</value>
  </property>
</configuration>
2.4 复制hadoop到其他节点

配置完成后，可以通过scp命令直接把配置好的hadoop复制到其他节点上

scp -r /usr/hadoop root@101.10.113.62:/usr
scp -r /usr/hadoop root@101.10.113.63:/usr

注意目录保持一致。

3. 启动hadoop集群

  1. 格式化namenode

    在master节点上执行：

    hdfs namenode -format

  2. 启动

    切换到/usr/hadoop/sbin目录下，在mster节点上执行：

    ./start-all.sh

    显示如下：

    This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
Starting namenodes on [master]
master: starting namenode, logging to /usr/hadoop/logs/hadoop-root-namenode-master.out
slave2: starting datanode, logging to /usr/hadoop/logs/hadoop-root-datanode-slave2.out
slave1: starting datanode, logging to /usr/hadoop/logs/hadoop-root-datanode-slave1.out
Starting secondary namenodes [master]
master: starting secondarynamenode, logging to /usr/hadoop/logs/hadoop-root-secondarynamenode-master.out
starting yarn daemons
starting resourcemanager, logging to /usr/hadoop/logs/yarn-root-resourcemanager-master.out
slave2: starting nodemanager, logging to /usr/hadoop/logs/yarn-root-nodemanager-slave2.out
slave1: starting nodemanager, logging to /usr/hadoop/logs/yarn-root-nodemanager-slave1.out

    通过 jps命令在master节点上查看：

    2449 NameNode
2664 SecondaryNameNode
3118 Jps
2847 ResourceManager

    slave1、slave2节点上通过jps命令查看：

    2389 NodeManager
2281 DataNode
2543 Jps

    说明配置启动成功。

jack-life
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop_集群搭建02-安装jdk安装hadoop
__init__的博客
02-18 199
hadoop_集群搭建02-安装jdk安装hadoop 前提：hadoop_集群搭建01_mac_parallelsdesktop_centos68 克隆虚拟机 修改克隆虚拟机的静态ip 修改主机名 关闭防火墙 创建user02用户 配置user02用户具有root权限 本文：单台机器安装jdk和安装hadoop 在/opt文件夹下新建文件夹 1）在/opt文件夹下创建module、software文件夹 [user02@hadoop102 opt]$ sudo mkdir module [user0
Hadoop大数据技术原理与应用课后习题答案汇总
热门推荐
m0_46182119的博客
12-31 2万+
Hadoop大数据技术原理与应用
学习笔记 3.2 Hadoop部署模式
qq_62847100的博客
10-28 1207
hadoop
【Hadoop集群】-集群搭建踩的那些坑之hadoop篇
航帆远洋
12-09 3575
       上篇文章说了在集群搭建的时候首先要开启ssh的公钥验证，只有开启了公钥验证后才能够使用公钥登录，但是在开启并生成公钥后还需要对秘钥文件进行授权处理，一般生成的authorized_keys可能文件的归属并不是ssh权限，所以在使用公钥验证的时候无法访问该文件，需要修改文件的归属权。        ssh公钥互相通信搭建好后，这只是第一步，第二步就需要安装配置hadoop和对应的had...
hadoop集群准备---centos7安装jdk8
@dongyu的博客
03-02 401
    学习大数据之前需要安装VMware,在vm中安装centos7，然后新建三个虚拟机master、node01、node02。创建虚拟机完成后，确保虚拟机可以连接到外网，然后打开xshell，使用xshell连接三台虚拟机进行操作。要求三台虚拟机都安装jdk8，所以，打开xshell后，可以点击工具-发送键输入到所有会话。   &n...
hadoop集群搭建
progammer10086的博客
10-25 556
hadoop集群搭建
3.基于hadoop集群搭建hbase
06-17
### 基于Hadoop集群搭建HBase集群详解 #### 一、引言 随着大数据技术的迅猛发展，海量数据的高效存储与处理成为企业关注的重点。Hadoop作为一款能够处理大量数据的基础框架，被广泛应用于各类场景之中。然而，在...
Hadoop大数据集群搭建（超详细）_hadoop集群搭建
2401_84181070的博客
04-27 1018
打开C:\Windows\System32\drivers\etc下的hosts文件,添加以下内容（注：如果没有notepad++这类软件，可以通过记事本保存在其他位置，然后拖动到该文件夹下）同样通过mobaxterm的上的SFTP功能（或其他工具）上传到/export/software目录下，然后解压到/export/servers目录下。传完之后要在hadoop02和hadoop03上分别执行 source /etc/profile 命令，来刷新配置文件。在hadoop01上执行。
hadoop集群搭建(超级详细)
10-11
在大数据领域，Hadoop是一个广泛使用的开源框架，用于存储和处理海量数据。本文将详细讲解如何搭建一个...这个超详细的教程覆盖了从零开始到集群搭建完成的全过程，按照步骤执行，可以轻松掌握Hadoop集群搭建技术。
hadoop集群搭建_centos7配置静态IP
01-07
1.网络配置 设为NAT模式 虚拟机中选中节点,设置–>虚拟机设置—>网络适配器—>NAT模式 2.网络配置 打开虚拟机 ,选中需要修改的节点,步骤如下: 编辑—>虚拟网络编辑器—>VMnet8(NAT模式)—>移除...如果是集群配置,其
Hadoop大数据集群搭建（超详细）_hadoop集群搭建(1)
2401_84181070的博客
04-27 1044
打开C:\Windows\System32\drivers\etc下的hosts文件,添加以下内容（注：如果没有notepad++这类软件，可以通过记事本保存在其他位置，然后拖动到该文件夹下）Hadoop的JAVA_HOME版本设置未更改，例如未去掉注释等，三台虚拟机全都改好后重启hdfs和yarn。Hadoop的JAVA_HOME版本设置未更改，例如未去掉注释等，三台虚拟机全都改好后重启hdfs和yarn。执行该程序（参考下文中可能遇到的问题，问题1、2为必现问题，建议直接修改）
【搭建Hadoop集群】hadoop运行环境的搭建篇——安装JDK和Hadoop（看一篇成高手系列02）
攻城狮Kevin
11-18 1895
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wx1528159409 目录 一、安装JDK 1. 卸载现有JDK 2. 在Xshell中将JDK导入/opt/software目录下 3. 进入JDK安装包路径 /opt/software，查看是否导入成功 4. 解压安装JDK到/opt/module目录下   5. 配置JDK...
hadoop集群搭建-（三台机器）
可行的code
07-26 8940
目录 安装jdk 安装hadoop 配置ssh 配置集群 集群启动及测试 附录 Hadoop组成 HDFS架构概述 YARN架构概述 MapReduce架构概述 大数据技术生态体系 小二是一名学生，他在研究大数据，那么hadoop是必不可少要去学习的。他没有多余的linux机器，只能用自己的笔记本安装VMware虚拟机程序，他克隆了三台centOS6.6版...
WPF中依赖属性或附加属性的继承
weixin_42253874的博客
09-11 368
WPF 中的许多控件使用定义控件的结构和外观，因为它可以将控件的外观和功能区分开来。重新定义可以极大地更改控件的外观。例如，假设需要在标签或左上角显示一个小圆点，以不同颜色表示状态。由于Label使用控件模板定义外观，因此很容易重新定义以符合该控件的要求，从而使用Label来制作交通信号灯。尽管有些时候可以使用，但在某些时候，光有还不够。定义控件内容的外观。当外观要求与默认外观存在很大差异，有必要重新定义。一般情况下，用于定义控件的内容（或数据），用于定义控件的构成方式。
如何解决在idea中的hadoop日志错误
ABU009的博客
09-11 124
#hadoop#idea中解决hadoop日志报错问题#log4j配置文件
[hadoop全分布部署]安装Hadoop、配置Hadoop 配置文件②_core-site
2401_86367100的博客
09-08 317
加入社区》https://bbs.csdn.net/forums/4304bb5a486d4c3ab8389e65ecb71ac0。既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上Go语言开发知识点，真正体系化！加入社区》https://bbs.csdn.net/forums/4304bb5a486d4c3ab8389e65ecb71ac0。
Hadoop
最新发布
Casual_Lei的博客
09-11 571
Hadoop 是处理大规模数据的强大工具，它通过 HDFS 提供分布式存储，通过 MapReduce 实现分布式计算，通过 YARN 管理资源，构成了一个高度可扩展的分布式系统。尽管 Hadoop 由于其批处理特点不适用于所有场景，但它在大数据领域依然具有不可替代的重要地位，尤其是在数据湖和批处理任务中。
Centos7 Hadoop 单机版安装教程（图文）
猿小白的博客
09-11 286
本章教程，主要记录如何在Centos7中安装Hadoop单机版。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值