Hadoop集群搭建

最新推荐文章于 2025-04-28 22:41:25 发布
最新推荐文章于 2025-04-28 22:41:25 发布
阅读量326 收藏
点赞数
分类专栏： 大数据 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wslyk606/article/details/83652683
版权

Hadoop集群搭建

1. Hadoop集群运行基础环境

Hadoop集群搭建需要jdk和ssh工具。

1.1 安装jdk

Hadoop是用java语言开发的，Hadoop需要运行在jdk平台上；

  1. 我这里用的是jdk-8u144-linux-x64.tar.gz，在官网下载https://www.oracle.com/technetwork/java/javase/downloads/index.html

  2. 解压压缩包，目录可以自己定，后面配置的时候配置自己的目录即可，我这里的解压目录为 /usr/java，命令为：tar -xzvf jdk-8u144-linux-x64.tar.gz，解压后为/usr/java/jdk1.8.0_144

  3. 配置环境变量

    vi  /etc/profile

    添加以下

    export JAVA_HOME=/usr/java/jdk1.8.0_144
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH
export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin
export PATH=$PATH:${JAVA_PATH}

    为了使配置的环境变量生效，执行：

    source /etc/profile

  4. 查看是否配置成功

    java -version
显示如下：
java version "1.8.0_144"
Java(TM) SE Runtime Environment (build 1.8.0_144-b01)
Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)

    说明成功。

  5. 三台机器上都要进行相同的配置，可以直接通过scp命令远程拷贝到其他节点。

1.2 设置ssh免密登录
  1. 设置集群ip
   vi /etc/hosts

在主节点上通过

hostname master 命令修改服务器名称为master

其他两个节点同理：

hostname slave1

hostname slave2

根据准备的集群环境的ip添加以下内容：

   101.10.113.61 master
   101.10.113.62 slave1
   101.10.113.63 slave2

  1. 设置ssh

    在三台机器上分别执行

    ssh-keygen -t rsa

    按提示一直回车即可。

    然后在主节点上将生成的公钥复制到其他节点

    ssh-copy-id -i ~/.ssh/id_rsa.pub master
ssh-copy-id -i ~/.ssh/id_rsa.pub slave1
ssh-copy-id -i ~/.ssh/id_rsa.pub slave2

    执行完之后可以ssh到slave节点试一试。

2. 安装Hadoop

2.1 下载Hadoop

官网地址，http://hadoop.apache.org/，我下载的是hadoop-2.8.5.tar.gz版本

下载完后解压到 /usr目录下，可以重命名为hadoop，安装好的Hadoop目录为

/usr/hadoop；

2.2 配置Hadoop环境变量

同样是配置/etc/profile文件，通过vi /etc/profile命令，修改后执行source /etc/profile命令保存

export JAVA_HOME=/usr/java/jdk1.8.0_144
export HADOOP_HOME=/usr/hadoop

export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH
export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin
export PATH=$PATH:${JAVA_PATH}:$HADOOP_HOME/bin

配置成功后执行 hadoop 命令可以发现以下提示:

Usage: hadoop [--config confdir] [COMMAND | CLASSNAME]
  CLASSNAME            run the class named CLASSNAME
 or
  where COMMAND is one of:
  fs                   run a generic filesystem user client
  version              print the version
  jar <jar>            run a jar file
                       note: please use "yarn jar" to launch
                             YARN applications, not this command.
  checknative [-a|-h]  check native hadoop and compression libraries availability
  distcp <srcurl> <desturl> copy file or directories recursively
  archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop archive
  classpath            prints the class path needed to get the
                       Hadoop jar and the required libraries
  credential           interact with credential providers
  daemonlog            get/set the log level for each daemon
  trace                view and modify Hadoop tracing settings

Most commands print help when invoked w/o parameters.

说明配置成功。

2.3 Hadoop配置

hadoop的配置建议根据版本参考官网的集群配置，之前在网上我参照了别人的配置，导致slave节点的nodemanager起不来，后面根据官网进行了配置文件的设置才正常。

官网链接：http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/ClusterSetup.html

版本变动的时候可能会失效，失效的话直接去官网http://hadoop.apache.org/，点击Getting started即可。

这里我们配置下重要的配置文件：

etc/hadoop/core-site.xml, etc/hadoop/hdfs-site.xml, etc/hadoop/yarn-site.xml and etc/hadoop/mapred-site.xml

  1. 配置core-site.xml

    <configuration>
     <property>
            <name>fs.defaultFS</name>
            <value>hdfs://master:9000</value>
     </property>

    <property>
         <name>io.file.buffer.size</name>
         <value>131072</value>
       </property>

        <!-- 指定hadoop临时目录,自行创建 -->
        <property>
           <name>hadoop.tmp.dir</name>
           <value>/usr/hadoop/tmp</value>
        </property>
</configuration>

如没有配置hadoop.tmp.dir参数，此时系统默认的临时目录为：/tmp/hadoo-hadoop。而这个目录在每次重启后都会被干掉，必须重新执行format才行，否则会出错。

  1. 配置hdfs-site.xml

    <configuration>
    <property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>master:50090</value>
    </property>
    <property>
      <name>dfs.replication</name>
      <value>2</value>
    </property>
    #目录要自己建
    <property>
      <name>dfs.namenode.name.dir</name>
      <value>file:/usr/hadoop/name</value>
    </property>
    <property>
      <name>dfs.datanode.data.dir</name>
      <value>file:/usr/hadoop/data</value>
    </property>
</configuration>

  2. 配置yarn-site.xml

    <configuration>
     <property>
          <name>yarn.nodemanager.aux-services</name>
          <value>mapreduce_shuffle</value>
     </property>
     <property>
           <name>yarn.resourcemanager.address</name>
           <value>master:8032</value>
     </property>
     <property>
          <name>yarn.resourcemanager.scheduler.address</name>
          <value>master:8030</value>
      </property>
     <property>
         <name>yarn.resourcemanager.resource-tracker.address</name>
         <value>master:8031</value>
     </property>
     <property>
         <name>yarn.resourcemanager.admin.address</name>
         <value>master:8033</value>
     </property>
     <property>
         <name>yarn.resourcemanager.webapp.address</name>
         <value>master:8088</value>
     </property>
</configuration>

  3. 配置maped-site.xml

    <configuration>
 <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
     <name>mapreduce.jobhistory.address</name>
     <value>master:10020</value>
  </property>
  <property>
      <name>mapreduce.jobhistory.address</name>
      <value>master:19888</value>
  </property>
</configuration>
2.4 复制hadoop到其他节点

配置完成后，可以通过scp命令直接把配置好的hadoop复制到其他节点上

scp -r /usr/hadoop root@101.10.113.62:/usr
scp -r /usr/hadoop root@101.10.113.63:/usr

注意目录保持一致。

3. 启动hadoop集群

  1. 格式化namenode

    在master节点上执行：

    hdfs namenode -format

  2. 启动

    切换到/usr/hadoop/sbin目录下，在mster节点上执行：

    ./start-all.sh

    显示如下：

    This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
Starting namenodes on [master]
master: starting namenode, logging to /usr/hadoop/logs/hadoop-root-namenode-master.out
slave2: starting datanode, logging to /usr/hadoop/logs/hadoop-root-datanode-slave2.out
slave1: starting datanode, logging to /usr/hadoop/logs/hadoop-root-datanode-slave1.out
Starting secondary namenodes [master]
master: starting secondarynamenode, logging to /usr/hadoop/logs/hadoop-root-secondarynamenode-master.out
starting yarn daemons
starting resourcemanager, logging to /usr/hadoop/logs/yarn-root-resourcemanager-master.out
slave2: starting nodemanager, logging to /usr/hadoop/logs/yarn-root-nodemanager-slave2.out
slave1: starting nodemanager, logging to /usr/hadoop/logs/yarn-root-nodemanager-slave1.out

    通过 jps命令在master节点上查看：

    2449 NameNode
2664 SecondaryNameNode
3118 Jps
2847 ResourceManager

    slave1、slave2节点上通过jps命令查看：

    2389 NodeManager
2281 DataNode
2543 Jps

    说明配置启动成功。

Hadoop大数据技术原理与应用课后习题答案汇总
m0_46182119的博客
12-31 2万+
Hadoop大数据技术原理与应用
【Hadoop集群】-集群搭建踩的那些坑之hadoop篇
航帆远洋
12-09 3634
       上篇文章说了在集群搭建的时候首先要开启ssh的公钥验证，只有开启了公钥验证后才能够使用公钥登录，但是在开启并生成公钥后还需要对秘钥文件进行授权处理，一般生成的authorized_keys可能文件的归属并不是ssh权限，所以在使用公钥验证的时候无法访问该文件，需要修改文件的归属权。        ssh公钥互相通信搭建好后，这只是第一步，第二步就需要安装配置hadoop和对应的had...
hadoop_集群搭建02-安装jdk安装hadoop
__init__的博客
02-18 224
hadoop_集群搭建02-安装jdk安装hadoop 前提：hadoop_集群搭建01_mac_parallelsdesktop_centos68 克隆虚拟机 修改克隆虚拟机的静态ip 修改主机名 关闭防火墙 创建user02用户 配置user02用户具有root权限 本文：单台机器安装jdk和安装hadoop 在/opt文件夹下新建文件夹 1）在/opt文件夹下创建module、software文件夹 [user02@hadoop102 opt]$ sudo mkdir module [user0
学习笔记 3.2 Hadoop部署模式
qq_62847100的博客
10-28 1267
hadoop
Hadoop期末复习试题和答案
m0_68556773的博客
12-28 5012
期末复习试题
3.基于hadoop集群搭建hbase
06-17
### 基于Hadoop集群搭建HBase集群详解 #### 一、引言 随着大数据技术的迅猛发展，海量数据的高效存储与处理成为企业关注的重点。Hadoop作为一款能够处理大量数据的基础框架，被广泛应用于各类场景之中。然而，在...
Hadoop大数据集群搭建（超详细）_hadoop集群搭建
2401_84181070的博客
04-27 1295
打开C:\Windows\System32\drivers\etc下的hosts文件,添加以下内容（注：如果没有notepad++这类软件，可以通过记事本保存在其他位置，然后拖动到该文件夹下）同样通过mobaxterm的上的SFTP功能（或其他工具）上传到/export/software目录下，然后解压到/export/servers目录下。传完之后要在hadoop02和hadoop03上分别执行 source /etc/profile 命令，来刷新配置文件。在hadoop01上执行。
hadoop集群搭建(超级详细)
10-11
在大数据领域，Hadoop是一个广泛使用的开源框架，用于存储和处理海量数据。本文将详细讲解如何搭建一个...这个超详细的教程覆盖了从零开始到集群搭建完成的全过程，按照步骤执行，可以轻松掌握Hadoop集群搭建技术。
hadoop集群搭建_centos7配置静态IP
01-07
1.网络配置 设为NAT模式 虚拟机中选中节点,设置–>虚拟机设置—>网络适配器—>NAT模式 2.网络配置 打开虚拟机 ,选中需要修改的节点,步骤如下: 编辑—>虚拟网络编辑器—>VMnet8(NAT模式)—>移除...如果是集群配置,其
hadoop集群准备---centos7安装jdk8
@dongyu的博客
03-02 439
    学习大数据之前需要安装VMware,在vm中安装centos7，然后新建三个虚拟机master、node01、node02。创建虚拟机完成后，确保虚拟机可以连接到外网，然后打开xshell，使用xshell连接三台虚拟机进行操作。要求三台虚拟机都安装jdk8，所以，打开xshell后，可以点击工具-发送键输入到所有会话。   &n...
【搭建Hadoop集群】hadoop运行环境的搭建篇——安装JDK和Hadoop（看一篇成高手系列02）
攻城狮Kevin
11-18 1966
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wx1528159409 目录 一、安装JDK 1. 卸载现有JDK 2. 在Xshell中将JDK导入/opt/software目录下 3. 进入JDK安装包路径 /opt/software，查看是否导入成功 4. 解压安装JDK到/opt/module目录下   5. 配置JDK...
hadoop集群搭建-（三台机器）
可行的code
07-26 9149
目录 安装jdk 安装hadoop 配置ssh 配置集群 集群启动及测试 附录 Hadoop组成 HDFS架构概述 YARN架构概述 MapReduce架构概述 大数据技术生态体系 小二是一名学生，他在研究大数据，那么hadoop是必不可少要去学习的。他没有多余的linux机器，只能用自己的笔记本安装VMware虚拟机程序，他克隆了三台centOS6.6版...
hadoop集群搭建（超详细版）
热门推荐
code__online的博客
05-03 10万+
1.准备好需要安装的软件 虚拟机VMware12.pro 操作系统CentOS 6.5 远程控制虚拟机的终端SecureCRT8.1 2.在虚拟机中安装CentOS操作系统 安装好虚拟机，图形界面如下图 创建新的虚拟机，选择自定义（高级），点击下一步 虚拟机硬件兼容性默认，浏览需要安装的CentOS6.5镜像文件 自定义用户名和密码（用于登录） 设置虚...
Hadoop伪分布式模式搭建全攻略：从环境配置到实战测试
weixin_75145375的博客
04-28 892
伪分布式模式下，Hadoop 的各个组件（如 HDFS、YARN、MapReduce）以独立进程运行，但所有服务均部署在单台机器上，模拟多节点集群的行为。：AWS、Azure 等云厂商推出托管 Hadoop 服务（如 EMR），但 Hadoop 本地部署市场份额受云存储（如 S3）冲击。：Hadoop 与云原生技术（如 Kubernetes）、实时计算（Flink）结合，适应现代数据湖架构。：Spark（内存计算）、Flink（流处理）等框架崛起，部分替代 MapReduce。
【jceks】使用keytool和hadoop credential生成和解析jceks文件（无密码storepass）
lisacumt的专栏
04-28 240
必须指定storepass，即jceks文件的密码。命令生成的jceks的密码是NONE，就是没有密码。koltin语言编写。
Spark和hadoop的区别与联系
最新发布
2401_87076452的博客
04-28 675
实时数据处理（如 Spark Streaming）、交互式查询（如 Spark SQL）、机器学习（MLlib）、图计算（GraphX）等多场景。组合使用：实际场景中常采用“Hadoop存储数据 + Spark处理数据”的架构，充分利用两者的优势，例如在HDFS上存储原始数据，通过Spark进行实时分析和复杂计算。总之，Hadoop是大数据领域的“地基”，而Spark是构建在其上的“多功能工具”，两者共同推动了大数据技术的发展和应用。二、Spark和Hadoop的区别。1. 同属大数据生态体系。
Hadoop和Spark大数据挖掘与实战
xdpcxq的专栏
04-28 1118
本篇博客深入探讨了数据分析与挖掘的核心技术，涵盖了大数据分析流程、数据挖掘算法和特征工程的实际应用。通过具体案例，详细解析了数据挖掘算法如何从复杂的数据中提取有价值的洞察，特征工程如何优化数据特征以提升模型性能，以及大数据分析如何高效处理海量数据，揭示其中潜在的趋势和模式。
hadoop 集群搭建
03-29
<think>好的，用户想了解如何搭建Hadoop集群的详细步骤和配置。首先，我需要回忆之前学过的Hadoop集群搭建知识，确保步骤正确。记得Hadoop集群通常分为完全分布式模式，需要多台机器，比如hadoop102、hadoop103、hadoop104这样的命名。用户提供的引用里提到了设置这些节点，并测试SSH连接，还有上传安装包。可能这些是关键的步骤。 接下来，我应该按照逻辑分步骤讲解。首先准备环境，包括服务器、Java安装、主机名和hosts文件的配置，以及SSH免密登录的设置。这些都是搭建集群的基础。然后，安装Hadoop，解压安装包，配置环境变量。接下来是核心的配置文件修改，比如hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml以及workers文件。每个配置文件的作用需要简要说明，比如core-site.xml设置NameNode地址，hdfs-site.xml配置副本数等。 配置完成后，需要同步到其他节点，这里可以用scp命令或者rsync。然后初始化HDFS，启动集群，最后验证是否成功，比如jps查看进程，或者访问Web界面。可能用户在实际操作中会遇到问题，比如SSH连接失败，端口占用，或者配置文件错误，这些常见问题应该提及解决方案。 另外，用户的问题可能涉及到具体的配置参数，比如副本数设置成多少合适，或者资源管理器的配置，这些需要根据集群规模给出建议。比如小型集群副本数可以设为2，但生产环境通常3。还有安全模式的问题，可能需要关闭防火墙或者配置SELinux。 需要确保所有的命令和路径都是正确的，比如JAVA_HOME的路径是否正确，Hadoop的安装目录是否一致。同时，用户可能需要知道如何验证集群是否正常工作，比如运行一个测试的MapReduce作业，或者检查日志文件。 最后，生成相关问题的时候，应该围绕用户可能进一步关心的问题，比如配置参数优化、添加节点、安全配置、性能调优等。这些能帮助用户更深入理解集群管理和维护。</think>### Hadoop集群搭建步骤详解 #### 一、环境准备（3节点示例） 1. **服务器规划** - hadoop102（NameNode + DataNode） - hadoop103（ResourceManager + DataNode） - hadoop104（SecondaryNameNode + DataNode） 2. **基础配置** - 所有节点安装JDK 8+并配置环境变量： ```bash export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 ``` - 配置主机名和/etc/hosts文件： ```bash 192.168.1.102 hadoop102 192.168.1.103 hadoop103 192.168.1.104 hadoop104 ``` - 配置SSH免密登录： ```bash ssh-keygen -t rsa ssh-copy-id hadoop102 ssh-copy-id hadoop103 ssh-copy-id hadoop104 ``` #### 二、Hadoop安装与配置 1. **解压安装包** ```bash tar -zxvf hadoop-3.3.6.tar.gz -C /opt/module/ ``` 2. **配置环境变量** ```bash export HADOOP_HOME=/opt/module/hadoop-3.3.6 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 3. **修改核心配置文件** - `etc/hadoop/hadoop-env.sh`： ```bash export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 ``` - `etc/hadoop/core-site.xml`： ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop102:8020</value> </property> </configuration> ``` - `etc/hadoop/hdfs-site.xml`： ```xml <configuration> <property> <name>dfs.replication</name> <value>3</value> </property> </configuration> ``` #### 三、集群同步与启动 1. **分发配置到所有节点** ```bash scp -r /opt/module/hadoop-3.3.6 hadoop103:/opt/module/ scp -r /opt/module/hadoop-3.3.6 hadoop104:/opt/module/ ``` 2. **初始化HDFS** ```bash hdfs namenode -format ``` 3. **启动集群** ```bash start-dfs.sh # 启动HDFS start-yarn.sh # 启动YARN ``` #### 四、验证集群状态 1. **进程验证** ```bash jps # hadoop102应显示NameNode/DataNode # hadoop103应显示ResourceManager/NodeManager ``` 2. **Web界面验证** - HDFS状态：`http://hadoop102:9870` - YARN状态：`http://hadoop103:8088` #### 五、常见问题解决 1. **SSH连接失败** - 检查防火墙状态：`systemctl stop firewalld` - 验证公钥是否完整复制到`~/.ssh/authorized_keys` 2. **端口冲突** - 使用`netstat -tunlp | grep 8020`检查默认端口占用情况 3. **HDFS无法格式化** - 删除所有节点的`/tmp/hadoop-*`目录后重试[^1]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值