Apache Hadoop生态部署-hadoop单机安装

已于 2023-03-01 23:22:26 修改
阅读量698 收藏 2
点赞数
分类专栏： Hadoop生态 文章标签： hadoop apache 大数据
于 2023-02-23 23:33:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/web_snail/article/details/129192283
版权

目录

查看服务架构图-服务分布、版本信息

1：安装包下载

2：配置环境变量

3：服务配置

（1）core-site.xml

（2）配置 hadoop-env.sh

（3）HDFS 配置文件hdfs-site.xml

（4）YARN 配置文件yarn-site.xml

（5）MapReduce 配置文件mapred-site.xml

（6）配置 workers

三：启动集群

3.1：第一次启动集群

3.2：启动 HDFS

 3.3：启动 YARN

3.4：启动历史服务器

四：服务管理命令

Apache Hadoop生态-目录汇总-持续更新

系统环境：centos7

Java环境：Java8

1：安装包下载

安装包下载地址：

可以去官网下载，或者通过百度网盘，上传到服务器上

链接：https://pan.baidu.com/s/1N9LTxEK2nedHdAxGIwhzeQ?pwd=yyds

提取码：yyds

2：配置环境变量

sudo vim /etc/profile.d/hadoop.sh
export HADOOP_HOME=/usr/local/hadoop3.2.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

立即生效
source /etc/profile

3：服务配置

（1）core-site.xml

创建数据目录
mkdir -p ${HADOOP_HOME}/data

sudo vim $HADOOP_HOME/etc/hadoop/core-site.xml
<!-- 指定 hdfs NameNode 的地址 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://node100:8020</value>
</property>

<!-- 配置 HDFS 网页登录使用的静态用户 -->
<property>
    <name>hadoop.http.staticuser.user</name>
    <value>root</value>
</property>

<!-- 配置该root(superUser)允许通过代理访问的主机节点 -->
<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>
<!-- 配置该root(superUser)允许通过代理用户所属组 -->
<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>
<!-- 配置该root(superUser)允许通过代理的用户-->
<property>
    <name>hadoop.proxyuser.root.users</name>
    <value>*</value>
</property>

<!-- 指定hadoop数据目录--> 
<property> 
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop-3.2.2/data</value>
</property>

（2）配置 hadoop-env.sh

默认情况pid存储在/tmp下，时间长了会被清掉
sudo mkdir $HADOOP_HOME/pids
sudo vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh
export HADOOP_SECURE_PID_DIR=${HADOOP_HOME}/pids
export HADOOP_PID_DIR=${HADOOP_HOME}/pids

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root



不指定user会遇到下面的问题，不过在后面配置了kerberos同样会解决
ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation.
ERROR: but there is no HDFS_DATANODE_USER defined. Aborting operation.
ERROR: but there is no HDFS_SECONDARYNAMENODE_USER defined. Aborting operation
ERROR: but there is no YARN_NODEMANAGER_USER defined. Aborting operation.
ERROR: but there is no YARN_RESOURCEMANAGER_USER defined. Aborting operation.

（3）HDFS 配置文件hdfs-site.xml

sudo vim $HADOOP_HOME/etc/hadoop/hdfs-site.xml
<!-- nn web 端访问地址 默认9870  h2版本50070-->
<property>
    <name>dfs.namenode.http-address</name>
    <value>node100:9870</value>
</property>
<!-- 2nn web 端访问地址 默认9868 h2版本50090-->
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>node100:9868</value>
</property>

<!-- 测试环境指定HDFS副本的数量1 默认3-->
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

（4）YARN 配置文件yarn-site.xml

这里的资源根据服务器的内存进行配置, 如果机器有6G，可以设置4G，预留一些即可

<!--yarn单个容器允许分配的最大最小内存 -->

yarn.scheduler.minimum-allocation-mb    可以设置512

yarn.scheduler.maximum-allocation-mb    可以设置4G  4096

<!-- yarn容器允许管理的物理内存大小 -->

yarn.nodemanager.resource.memory-mb  可以设置4G  4096

sudo vim $HADOOP_HOME/etc/hadoop/yarn-site.xml
<configuration>

<!-- 环境变量的继承 3.1x需要设置 -->
<property>
    <name>yarn.nodemanager.env-whitelist</name>
    <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>

<!-- 指定 MR 走 shuffle  默认空  mapreduce_shuffle  -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

<!-- 指定 ResourceManager 的地址 默认:0.0.0.0-->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>node100</value>
</property>

<!-- 设置yarn任务优先级0-5 -->
<property>
    <name>yarn.cluster.max-application-priority</name>
    <value>5</value>
</property>

<!-- 容器最小内存，默认 1G -->
<property>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>1024</value>
</property>

<!-- 容器最大内存，默认 8G   之前是4096 -->
<property>
    <name>yarn.scheduler.maximum-allocation-mb</name>
    <value>6144</value>
</property>

<!-- NodeManager 使用内存数，默认 8G -->
<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>10240</value>
</property>

<!-- 关闭yarn物理内存和虚拟内存的限制检查 -->
<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>true</value>
</property>
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

<!-- 开启日志聚集功能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>

<!-- 设置日志聚集服务器地址 -->
<property> 
    <name>yarn.log.server.url</name> 
    <value>http://node100:19888/jobhistory/logs</value>
</property>

<!-- 设置日志保留时间为 7 天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

<!-- nodemanager 的 CPU 核数，不按照硬件环境自动设定时默认是 8 个 -->
<property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>8</value>
</property>


<!-- 容器最大 CPU 核数，默认 4 个，修改为 2 个 -->
<property>
    <name>yarn.scheduler.maximum-allocation-vcores</name>
    <value>2</value>
</property>


<property>
    <name>yarn.application.classpath</name>    
    <value>/usr/local/hadoop-3.2.2/etc/hadoop:/usr/local/hadoop-3.2.2/share/hadoop/common/lib/*:/usr/local/hadoop-3.2.2/share/hadoop/common/*:/usr/local/hadoop-3.2.2/share/hadoop/hdfs:/usr/local/hadoop-3.2.2/share/hadoop/hdfs/lib/*:/usr/local/hadoop-3.2.2/share/hadoop/hdfs/*:/usr/local/hadoop-3.2.2/share/hadoop/mapreduce/lib/*:/usr/local/hadoop-3.2.2/share/hadoop/mapreduce/*:/usr/local/hadoop-3.2.2/share/hadoop/yarn:/usr/local/hadoop-3.2.2/share/hadoop/yarn/lib/*:/usr/local/hadoop-3.2.2/share/hadoop/yarn/*</value>  
</property>  

<property>
    <name>yarn.resourcemanager.scheduler.client.thread-count</name>
    <value>3</value>
</property>

</configuration>

（5）MapReduce 配置文件mapred-site.xml

sudo vim $HADOOP_HOME/etc/hadoop/mapred-site.xml
<configuration>
<!-- 指定 MapReduce 程序运行在 Yarn 上 -->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

<!--运行hdfs自带wordcount功能出现错误-->
<property>
    <name>yarn.app.mapreduce.am.env</name>
    <value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.2.2</value>
</property>
<property>
    <name>mapreduce.map.env</name>
    <value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.2.2</value>
</property>
<property>
    <name>mapreduce.reduce.env</name>
    <value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.2.2</value>
</property>

<!-- 历史服务器端地址 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>node100:10020</value>
</property>

<!-- 历史服务器 web 端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>node100:19888</value>
</property>

</configuration>

（6）配置 workers

该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

sudo vim workers
node100

三：启动集群

3.1：第一次启动集群

需要在namenode节点执行格式化操作

（注意：格式化 NameNode，会产生新的集群 id，导致 NameNode 和 DataNode 的集群 id 不一致，集群找不到已往数据。

如果集群在运行过程中报错，需要重新格式化 NameNode 的话，一定要先停止 namenode 和 datanode 进程，并且要删除所有机器的 data 和 logs 目录，然后再进行格式化。）

[root@node100 ~]# cd $HADOOP_HOME
[root@node100 hadoop-3.2.2]# hdfs namenode -format
出现如下提示表示格式化成功
2023-02-24 06:19:16,927 INFO common.Storage: Storage directory /usr/local/hadoop-3.2.2/data/dfs/name has been successfully formatted.
2023-02-24 06:19:16,999 INFO namenode.FSImageFormatProtobuf: Saving image file /usr/local/hadoop-3.2.2/data/dfs/name/current/fsimage.ckpt_0000000000000000000 using no compression
2023-02-24 06:19:17,305 INFO namenode.FSImageFormatProtobuf: Image file /usr/local/hadoop-3.2.2/data/dfs/name/current/fsimage.ckpt_0000000000000000000 of size 399 bytes saved in 0 seconds .
2023-02-24 06:19:17,335 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0
2023-02-24 06:19:17,350 INFO namenode.FSImage: FSImageSaver clean checkpoint: txid=0 when meet shutdown.
2023-02-24 06:19:17,351 INFO namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at node100/192.168.1.100
************************************************************/

3.2：启动 HDFS

[root@node100 hadoop-3.2.2]# start-dfs.sh

[root@node100 hadoop-3.2.2]# jps
3633 DataNode
3858 SecondaryNameNode
4131 Jps
3494 NameNode

查看页面 hdfs集群 http://node100:9870

 3.3：启动 YARN

[root@node100 hadoop-3.2.2]# start-yarn.sh

[root@node100 hadoop-3.2.2]# jps
多出
4322 ResourceManager
4464 NodeManager

查看yarn集群 http://node100:8088/cluster

3.4：启动历史服务器

[root@node100 hadoop-3.2.2]# mapred --daemon start historyserver

[root@node100 hadoop-3.2.2]# jps
多出
4928 JobHistoryServer

查看历史服务web http://node100:19888/jobhistory

四：服务管理命令

整体启动/关闭

启动hdfs+yarn
[root@node100 hadoop-3.2.2]# start-all.sh

关闭hdfs+yarn
[root@node100 hadoop-3.2.2]# stop-all.sh

（1）整体启动/停止 HDFS

start-dfs.sh/stop-dfs.sh

（2）整体启动/停止 YARN

start-yarn.sh/stop-yarn.sh

（3）分别启动/停止 HDFS 组件

hdfs --daemon start/stop namenode/datanode/secondarynamenode

（4）启动/停止 YARN

yarn --daemon start/stop resourcemanager/nodemanager

iwester
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Hadoop的部署与Hadoop分布式文件系统HDFS
Forever 的博客
08-25 863
一、hadoop简介          Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。         Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-c...
hadoop单机模式部署操作
xiaoleiy的博客
05-17 869
hadoop单机部署操作步骤
Apache Hadoop---HBase.docx
06-11
HBase是一个针对结构化数据的可伸缩、高可靠、高性能、分布式和面向列的动态模式数据库。和传统关系数据库不同，HBase采用了BigTable的数据模型：增强的稀疏排序映射表（Key/Value），其中，键由行关键字、列关键字和时间戳构成。HBase提供了对大规模数据的随机、实时读写访问，同时，HBase中保存的数据可以使用MapReduce来处理，它将数据存储和并行计算完美地结合在一起。
Hadoop单机部署
Winter的博客
04-20 521
- 可以从官网下载最新的Hadoop安装包，网址为：https://hadoop.apache.org/releases.html - 选择最新的稳定版本，点击下载链接即可下载 - 下载完成后，将安装包解压到指定目录即可开始部署Hadoop。
Hadoop学习（9）-- Apache Hive安装部署
一个人的江湖
02-25 2923
Apache Hive元数据 什么是元数据 元数据（Metadata），又称中介数据、中继数据，为描述数据的数据（data about data），主要是描述数据属性（property）的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。 Hive Metadata Hive Metadata即Hive的元数据。 包含用Hive创建的database、table、表的位置、类型、属性，字段顺序类型等元信息。 元数据存储在关系型数据库中。如hive内置的Derby、或者第三方如MySQL等。
安装部署Apache Hadoop (本地模式和伪分布式)
weixin_30838921的博客
08-11 181
本节内容： Hadoop版本 安装部署Hadoop 一、Hadoop版本 1. Hadoop版本种类 目前Hadoop发行版非常多，有华为发行版、Intel发行版、Cloudera发行版（CDH）等，所有这些发行版均是基于Apache Hadoop衍生出来的，之所以有这么多的版本，完全是由Apache Hadoop的开源协议(http://www.apache.org/li...
Linux学习笔记——Hadoop安装部署
kuaixiao0217的博客
01-11 3124
主要介绍了Hadoop在Linux系统上的安装部署
Hadoop学记：五、单机部署
weixin_39327352的博客
07-20 1018
主要内容包括JobHistoryServer和应用程序参数两部分，如reduce任务的默认个数、任务所能够使用内存的默认上下限等。主要内容配置ResourceManager、NodeManager的通信端口，web监控端口等。主要内容用于定义系统级别的参数，如HDFS、URL、Hadoop的临时目录等。主要内容如名称节点和数据节点的存放位置、文件副本的个数、文件读取权限等。在start-yarn.sh与stop-yarn.sh顶部空白处加上。配置对象集群全局参数。检查是否能免密登录本机。...
Hadoop单点部署，安装和管理
qq_58647543的博客
11-20 420
咱们来搭建一个单节点的集群，配置一个伪分布式，为什么不做分布式呢？其实分布式的配置和伪分布式差不多，只是分布式机器增加了而已，其他没什么两样，所以作为。在本地自己的虚拟机中可以重启，在平台不可以重启哦，也不需要，重启了你就连接不上命令行了！所以我们可以点击下载，然后暂停，最后在下载管理中复制链接地址就可以在。做了限制，地址后缀需要加上它随机生成的随机码，才能下载到资源。我们在配置文件中配置了一些文件夹路径，现在我们来创建他们，在。如果是生产环境就需要验证文件的完整性，在这里就偷个懒了。
apache-hadoop-3.1.0-winutils-master.zip
11-24
默认下载的Hadoop不支持Windows系统，需要替换bin目录下的文件方便在Windows上运行。这个就是用来直接替换掉hadoop目录下bin文件的
hadoop插件apache-hadoop-3.1.0-winutils-master.zip
12-17
windows下hadoop安装，hadoop插件apache-hadoop-3.1.0-winutils-master.zip
Apache Hadoop （hadoop-3.3.3.tar.gz）
05-28
Apache Hadoop （hadoop-3.3.3.tar.gz）项目为可靠、可扩展的分布式计算开发开源软件。 Apache Hadoop 软件库是一个框架，它允许使用简单的编程模型跨计算机集群分布式处理大型数据集。它旨在从单个服务器扩展到数千...
apache-hadoop-3.1.0-winutils-master本地开发调试.zip
11-14
在本地win10环境安装高版本的hadoop3.1.0以上，把apache-hadoop-3.1.0-winutils-master\bin目录下的文件全部拷贝到hadoop下的bin目录即可
【Hadoop】-Hive客户端：HiveServer2 & Beeline 与DataGrip & DBeaver[14]
weixin_63106307的博客
04-24 1575
DataGrip是由JetBrains公司推出的数据库管理软件，DataGrip支持几乎所有主流的关系数据库产品，如DB2、Derby、MySQL、Oracle、SQL Server等，也支持几乎所有主流的大数据生态圈SQL软件，并且提供了简单易用的界面，开发者上手几乎不会遇到任何困难。3、连接成功，在里面我们可以看到我们前面章节所创建的表，这样子就可以在里面操作我们的sql语句的。5、连接成功，在里面我们可以看到我们前面章节所创建的表，这样子就可以在里面操作我们的sql语句的。
Centos7+Hadoop3.3.4+KDC1.15+Ranger2.4.0集成
snipercai的博客
04-30 583
Centos7+Hadoop3.3.4+KDC1.15+Ranger2.4.0集成
前期Hadoop学习总结
2301_77836489的博客
04-23 1534
前期Hadoop学习总结
关于apache+php用户验证
最新发布
qq_39634880的博客
04-30 162
二.上面直接用apache配置登录拦截，项目所有的路由都被登录拦截，但是有些路由不希望被登录拦截只能在php做登录拦截。2.直接在php用exec来执行验证账号和密码登录，用$_SESSION来记录登录用户。2.上面配置好在php获取用户信息（登录apache会拦截）1.apache只管用.htpasswd 配置用户密码就行。一.直接在apache配置配置用户信息。1.apache配置可以参考外部文档。
探索在Apache SeaTunnel上使用Hudi连接器，高效管理大数据的技术
weixin_54625990的博客
04-24 937
Apache Hudi是一个数据湖处理框架，通过提供简单的方式来进行数据的插入、更新和删除操作，Hudi能够帮助数据工程师和科学家更高效地处理大数据，并支持实时查询。
安装 Hadoop-Eclipse-Plugin
08-20
1. 下载 Hadoop-Eclipse-Plugin，可以从 Apache 官网或其他镜像站点下载。 2. 打开 Eclipse，选择 Help -> Install New Software。 3. 点击 Add 按钮，输入 Name 和 Location，然后点击 OK。 4. 在 Work with ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

iwester

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值