Centos 安装hadoop集群

已于 2023-07-20 13:44:53 修改
阅读量1.1k 收藏 13
点赞数 2
分类专栏： linux 大数据 文章标签： centos hadoop java
于 2023-07-20 09:24:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jiumingmao1991/article/details/131810346
版权

目录

一、前置条件

二、安装包下载

三、配置文件更改

四、启动集群

        最近公司需要开发大数据相关项目，已经很久没用hadoop了，研究了一下hadoop，发现hadoop都更新到了3.x版本了，在此做下记录：

Hadoop集群角色
Hadoop生态体系中总共会出现如下进程角色：

Hadoop HDFS的管理角色：Namenode进程（仅需1个即可（管理者））
Hadoop HDFS的工作角色：Datanode进程（多个（工人，越多越好，一个机器启动一个））
Hadoop YARN的管理角色：ResourceManager进程（仅需1个即可（管理者））
Hadoop YARN的工作角色：NodeManager进程（多个（工人，越多越好，一个机器启动一个））
Hadoop 历史记录服务器角色：HistoryServer进程（仅需1个即可（功能性进程））
Hadoop 代理服务器角色：WebProxyServer进程（仅需1个即可（功能性进程））

我这里准备了三台机器：一台主机 node12  ip：192.168.1.12，2台从机 node13 ip：192.168.1.13，node15 ip：192.168.1.15

node12安装：Namenode、Datanode、ResourceManager、NodeManager、HistoryServer、WebProxyServer
node13安装:Datanode、NodeManager
node15安装:Datanode、NodeManager

一、前置条件

JDK、SSH免密、关闭防火墙、配置主机名映射

由于hadoop是基于java开发，所以linux需要jdk环境，jdk安装这里不再赘述

        配置SSH免密：

        在node12执行

# 生成秘钥
ssh-keygen
# 复制秘钥到其他机器
ssh-copy-id node13
ssh-copy-id node15

       同理在node13，node15机器上执行此命令

         关闭SELINUX防火墙：

 vi /etc/selinux/config

       修改 SELINUX=disabled

       可通过sestatus 命令查看selinux是否禁用成功

~# sestatus
SELinux status:                 disabled

         配置主机名映射：

        修改host文件 

vi /etc/hosts

         我这都是内网机器，分别12、 13、 15添加ip对应host名字

192.168.1.12    node12
192.168.1.13    node13
192.168.1.15    node15

二、安装包下载

hadoop 3.2.4官网下载：hadoop 3.2.4

下载好后解压文件

tar -zxvf hadoop-3.2.4.tar.gz

复制到/usr/local下

mv hadoop-3.2.4    /usr/local/

 进入hadoop文件夹，准备修改配置文件

cd /usr/local/hadoop-3.2.4/

三、配置文件更改

Hadoop的配置文件要修改的东西比较多

首先进入/usr/local/hadoop-3.2.4/etc/hadoop/文件夹下，hadoop所有配置文件都存放于此

修改hadoop-env.sh文件

此env文件是配置一些Hadoop用到的环境变量

属于临时变量，在Hadoop运行时有用

如果要永久生效，需要写到/etc/profile中

vi hadoop-env.sh

直接G进入最后，增加以下内容

# 在文件最后加入：
# 配置Java安装路径
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
# 配置Hadoop安装路径
export HADOOP_HOME=/usr/local/hadoop-3.2.4
# Hadoop hdfs配置文件路径
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
# Hadoop YARN配置文件路径
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
# Hadoop YARN 日志文件夹
export YARN_LOG_DIR=$HADOOP_HOME/logs/yarn
# Hadoop hdfs 日志文件夹
export HADOOP_LOG_DIR=$HADOOP_HOME/logs/hdfs

# Hadoop的使用启动用户配置
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
export YARN_PROXYSERVER_USER=root

其中JAVA_HOME和HADOOP_HOME根据实际情况进行调整

随后修改core-site.xml文件

在<configuration></configuration>中间加入以下内容

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://node12:8020</value>
    <description></description>
</property>

<property>
    <name>io.file.buffer.size</name>
    <value>131072</value>
    <description></description>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
     <name>hadoop.tmp.dir</name>
     <value>/data/hadoop/tmp</value>
</property>

 hdfs-site.xml文件

<property>
        <name>dfs.datanode.data.dir.perm</name>
        <value>700</value>
    </property>

  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/data/hadoop/nn</value>
    <description>Path on the local filesystem where the NameNode stores the namespace and transactions logs persistently.</description>
  </property>

  <property>
    <name>dfs.namenode.hosts</name>
    <value>node12,node13,node15</value>
    <description>List of permitted DataNodes.</description>
  </property>

  <property>
    <name>dfs.blocksize</name>
    <value>268435456</value>
    <description></description>
  </property>


  <property>
    <name>dfs.namenode.handler.count</name>
    <value>100</value>
    <description></description>
  </property>

  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/data/hadoop/dn</value>
  </property>

 mapred-env.sh文件

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_JOB_HISTORYSERVER_HEAPSIZE=1000
export HADOOP_MAPRED_ROOT_LOGGER=INFO,RFA

mapred-site.xml文件

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    <description></description>
  </property>

  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>node12:10020</value>
    <description></description>
  </property>

  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>node12:19888</value>
    <description></description>
  </property>


  <property>
    <name>mapreduce.jobhistory.intermediate-done-dir</name>
    <value>/data/hadoop/mr-history/tmp</value>
    <description></description>
  </property>

  <property>
    <name>mapreduce.jobhistory.done-dir</name>
    <value>/data/hadoop/mr-history/done</value>
    <description></description>
  </property>
<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
</property>
<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
</property>
<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
</property>

yarn-env.sh文件

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_HOME=/usr/local/hadoop-3.2.4
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_LOG_DIR=$HADOOP_HOME/logs/yarn
export HADOOP_LOG_DIR=$HADOOP_HOME/logs/hdfs

yarn-site.xml文件

<!-- Site specific YARN configuration properties -->
<property>
    <name>yarn.log.server.url</name>
    <value>http://node12:19888/jobhistory/logs</value>
    <description></description>
</property>

  <property>
    <name>yarn.web-proxy.address</name>
    <value>node12:8089</value>
    <description>proxy server hostname and port</description>
  </property>


  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
    <description>Configuration to enable or disable log aggregation</description>
  </property>

  <property>
    <name>yarn.nodemanager.remote-app-log-dir</name>
    <value>/tmp/logs</value>
    <description>Configuration to enable or disable log aggregation</description>
  </property>


<!-- Site specific YARN configuration properties -->
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>node12</value>
    <description></description>
  </property>

  <property>
    <name>yarn.resourcemanager.scheduler.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
    <description></description>
  </property>

  <property>
    <name>yarn.nodemanager.local-dirs</name>
    <value>/data/hadoop/nm-local</value>
    <description>Comma-separated list of paths on the local filesystem where intermediate data is written.</description>
  </property>


  <property>
    <name>yarn.nodemanager.log-dirs</name>
    <value>/data/hadoop/nm-log</value>
    <description>Comma-separated list of paths on the local filesystem where logs are written.</description>
  </property>


  <property>
    <name>yarn.nodemanager.log.retain-seconds</name>
    <value>10800</value>
    <description>Default time (in seconds) to retain log files on the NodeManager Only applicable if log-aggregation is disabled.</description>
  </property>



  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    <description>Shuffle service that needs to be set for Map Reduce applications.</description>
  </property>

修改workers文件 vi workers

node12
node13
node15

 分发hadoop到其他机器

scp -r /usr/local/hadoop-3.2.4 node13:/usr/local
scp -r /usr/local/hadoop-3.2.4 node15:/usr/local

 在每台机器上建立文件夹

mkdir -p /data/hadoop/nn
mkdir -p /data/hadoop/dn
mkdir -p /data/hadoop/nm-log
mkdir -p /data/hadoop/nm-local

修改每台机器环境变量 vi /etc/profile

export HADOOP_HOME=/usr/local/hadoop-3.2.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile 一下生效

 这样直接可以在任意位置执行hadoop脚本命令

四、启动集群

格式化namenode，在主节点node12上执行format命令，格式化命令只执行一次！

  1. hadoop namenode -format

然后启动hdfs

  1. start-dfs.sh

# 如需停止可以执行
stop-dfs.sh

启动yarn

  1. start-yarn.sh

# 如需停止可以执行
stop-yarn.sh

启动历史服务器

mapred --daemon start historyserver

# 如需停止将start更换为stop
mapred --daemon stop historyserver

启动web代理服务器

yarn-daemon.sh start proxyserver

# 如需停止将start更换为stop
yarn-daemon.sh stop proxyserver

启动完毕，验证一下是否成功

在node12、node13、node15上通过jps命令验证进程是否都启动成功

node12：应该包含DataNode和NameNode，ResourceManager进程

node13和node15：应该包含DataNode， NodeManager进程

验证HDFS：浏览器打开：http://192.168.1.12:9870，可正常访问

验证YARN：浏览器打开：http://192.168.1.12:8088，可正常访问 

 hadoop集群部署成功，可以继续研究hadoop了

Qlove95
关注
  • 2
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Centos7下hadoop集群安装配置
Alidayu
06-27 228
一般hadoop集群通常是由一组机器组成，一般3~5（不小于3个节点）台机器就可以组成一个hadoop集群了。准备了3台装好的虚拟机192.168.0.110、192.168.0.111、192.168.0.112，由于需要依赖JDK所以先配置好了（此处安装的版本是JDK1.8，百度网盘提取码：i3cw），如果不会的自行百度安装。 1、安装 1.1下载安装包 此处安装的版本是HADOOP3.3.0，百度网盘提取码：tvwq 官网直接下载：http://www.apache.org/dyn/close
Centos安装hadoop
qq_39141360的博客
10-24 229
  1.省略centos安装过程。。iso镜像地址从阿里云镜像上下载，ip地址的网段看innet8的网段。 2.设置IP地址、网关DNS 说明：CentOS 7.0默认安装好之后是没有自动开启网络连接的！ cd  /etc/sysconfig/network-scripts/ vi  ifcfg-eno33 TYPE=Ethernet PROXY_METHOD=none BROWS...
centos7搭建hadoop集群（超详细）
weixin_45779793的博客
04-16 3054
centos7搭建hadoop集群（超详细） 前提： 第一部分： 1.centos7安装虚拟机的文章链接: https://www.runoob.com/w3cnote/vmware-install-centos7.html. 2.需要三台及以上虚拟机，并保证能通网 3.三台都需要ping网试一下 4.在三台机器的/etc/hosts中添加ip和名称（三台机器都需要） 第二部分：给三台虚拟机配置ssh密钥 1.1：生成文件，红色箭头处需要敲一次空格 1.2：查看生成的文件 三台机器都需要操作1.1
CentOS中Hadoop的安装配置简略教程
weixin_55280439的博客
04-27 3601
http://主节点IP地址:808//cluster。重启三台电脑，重启后在终端Shell。中区分三台主机，修改其显示的主机名，执行如下命令。http://主节点IP地址:9870。三台机器的名称和IP。如果出现如下图，说明连接成功。无密码登录本机和访问集群机器。自动跳转到cluster页面。来测试三台电脑的连通性。中才会看到机器名的变化。
Centos 7之Hadoop搭建
最新发布
Linux技术宅
06-04 818
HDFS 有着高容错性（fault-tolerent）的特点，并且设计用来部署在低廉的（low-cost）硬件上。HDFS 开始是为开源的 apache 项目 nutch 的基础结构而创建，HDFS 是 hadoop 项目的一部分，而 hadoop 又是 lucene 的一部分。下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz。3、配置hadoop-env.sh。12、启动hadoop。
CentOS下Hadoop搭建
土豆~的博客
10-04 2222
本文章以记录自己所学，供大家参考。
Hadoop集群搭建(一)-创建虚拟机+安装CentOS
weixin_49001740的博客
04-29 3381
hadoop集群搭建基础准备
超详细版本|Linux Centos7从零搭建Hadoop集群及运行MapReduce分布式集群案例(全网最详细教程！)
未来社会二十年发展的核心技术趋势由ABCD四个字母组成，分别是AI（人工智能）、BlockChain（区块链）、Cloud（云）、和Data（大数据）每一次进步都有新的认知和感触
11-20 8646
花了快2小时的超详细版本的Linux从零搭建Hadoop集群(CentOS7+hadoop 3.2.0+JDK1.8+Mapreduce完全分布式集群案例+详细源码图文讲解)终于整理完成了！里面有详细的代码讲解及图文操作，能够更好的帮助大家搭建，希望此教程对各位有所帮助，这些都已经试过水了，各位环境配置和操作没问题的话，基本都能部署完成，我这里部署了一个从机node1节点，可以根据自己需要增加3台或者更多node节点，节点配置信息修改的操作都是一样的。祝各位部署一切顺利！
Centos中Hadoop安装详细过程（含图文）
热门推荐
weixin_43333607的博客
01-12 1万+
CentOS中hadoop的安装 安装环境 虚拟机上三台centos系统 使用NET模式连接有线网络 在命令行使用ifconfig命令查看静态IP地址 Xshell5安装在Windows上，用于连接虚拟机 所需软件下载 Hadoop官网下载Hadoop：http://hadoop.apache.org/ JDK官网下载：https://www.oracle.com/technet...
基于centOS的hadoop集群安装
07-25
基于 CentOS 的 Hadoop 集群安装 概述 本文将指导读者在 CentOS 操作系统上安装 Hadoop 集群，包括安装 JDK、Hadoop、配置环境变量、修改 Hadoop 配置文件等步骤。 安装 JDK 在安装 Hadoop 之前，需要先安装 JDK...
从VMware中安装CentOS到Hadoop集群+ Hive+ MySQL搭建
08-11
适合新手，详细 01-Java环境安装 02- Eclipse下载与安装 03-VMware虚拟机的安装 04-在VMware中安装CentOS 05- Hadoop集群+ Hive+ MySQL搭建
基于centos的大数据hadoop集群搭建说明文档
10-30
【标题】：基于CentOS的大数据Hadoop集群搭建详解 【描述】：本教程专为初学者设计，详细阐述了如何手动搭建Hadoop集群，步骤详尽，易于理解。 【标签】：Hadoop集群搭建 【正文】： Hadoop是一个开源的分布式...
CentOS7搭建Hadoop集群
01-07
1. 前置准备 1.准备三台虚拟机 – node-1 (主节点) , node-2, node-3 2.JDK环境 3.修改主机名称 hostnamectl set-hostname node-1 ...修改etc/hadoop/hadoop-env.sh vi hadoop-env.sh export JAVA_HO
docker一键安装hadoop集群
10-14
1. `FROM`: 指定基础镜像，可能是基于 Ubuntu 或 CentOS 的 Linux 发行版，因为它们是常见的 Hadoop 安装基础。 2. `RUN`: 执行命令来安装必要的软件包，如 OpenJDK（Hadoop 需要 Java 运行环境）和 Hadoop 本身。 3...
从CentOS到Hadoop（Linux CentOS 7 安装配置Hadoop伪分布过程详解）
ADwenwen的博客
07-31 4442
目录 零、前言 一、虚拟机安装及CentOS系统配置 二、CentOS系统及网络配置 三、SSH无密码登录 四、Java安装及环境配置 五、Hadoop0.20.0伪分布环境安装 六、运行示例 七、参考与感谢 零、前言 （一）、前言 最近在做wikipedia的东西，需要大规模处理数据，因此就需要使用hadoop工具操作。一开始想安装的linux版本是ubuntu 14和ha...
centos安装配置hadoop超详细过程（含故障排除）
萌兔兔MMQ！！
03-14 4081
1、集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。 对于Hadoop的集群来讲，可以分成两大类角色：Master和Salve。一个HDFS集群是由一个NameNode和若干个Dat
【CentOS】安装 Hadoop （完全分布式）
懂得一千零一种,赋予你失败的方法！
02-21 2630
文章目录一、集群网络配置1、克隆虚机，创建节点2、配置节点网络环境二、SSH 无密码验证配置1、检查 openssh 和 rsync 服务安装2、每个节点生成秘钥对3、查看秘钥对4、将 id_rsa.pub 追加到授权 key 文件中5、修改文件"authorized_keys"权限6、配置 SSH 服务7、重启 SSH 服务8、验证 SSH 登录本机9、交换秘钥10、验证 SSH 无密码登录三、Hadoop 完全分布式搭建1、在 Server 节点上安装 Hadoop2、修改 hadoop-env.s..
大数据平台搭建——hadoop集群（基于CentOS-7）的搭建
m0_73509128的博客
08-13 5634
本次hadoop集群搭建的虚拟机采用的软件为VMware Workstation Pro，用的镜像文件为CentOS-7，此篇文章是为自己准备大数据比赛中的大数据平台搭建部分所写，故只针对搭建hadoop集群搭建的部分进行概述，前绪工作包括虚拟机的搭建读者可以阅读下面的文章自行进行安装。将主机上的hadoop文件传输到副机上去，这里可以先新建两个虚拟机并且和前面一样配置好相关信息，再在终端中输入：scp -r 源hadoop文件路径 机器用户名：目标路径位置后，即可传输，比较麻烦，
用CentOS搭建hadoop
qq_45879579的博客
01-11 5438
hadoop是一个开源的大数据框架；hadoop是一个的分布式计算的解决方案；hadoop=HDFS（分布式文件操作系统）+MapReduce（分布式计算）。其中HDFS分布式文件系统中存储是大数据技术的基础；MapReduce编程模型中分布式计算是大数据应用的解决方案。 1.确认安装的虚拟机可以上网，通过Ping百度来进行测试 2.安装 epel-release ...
centos7安装hadoop集群
07-28
安装Hadoop集群的步骤如下： 1. 首先，切换到Hadoop的安装目录的`etc/hadoop`目录下，可以使用以下命令进行切换： ``` cd /develop/server/hadoop-2.7.5/etc/hadoop/ ``` 2. 在`etc/hadoop`目录下，使用文本编辑器（如vim）打开`hadoop-env.sh`文件，进行配置修改。 3. 接下来，逐一修改Hadoop的配置文件。可以使用以下命令进入Hadoop的配置文件目录： ``` cd /opt/hadoop/hadoop-2.9.2/etc/hadoop ``` 4. 在该目录下，可以找到各个配置文件，根据需要进行逐一修改。 5. 最后，将Hadoop添加到环境变量中。可以使用以下命令打开`/etc/profile`文件，并在末尾添加如下字段： ``` vim /etc/profile export PATH=$PATH:/opt/hadoop/hadoop-2.9.2/bin ``` 以上是在CentOS 7上安装Hadoop集群的一般步骤。根据具体情况，可能还需要进行其他配置和操作。 #### 引用[.reference_title] - *1* [CentOS7搭建hadoop集群](https://blog.csdn.net/LSW_JAVADP/article/details/121894681)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [centos7安装hadoop集群（亲测可用）](https://blog.csdn.net/qq_40965479/article/details/121118583)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值