Hadoop3.2.0群集设置

最新推荐文章于 2023-08-10 10:38:54 发布
最新推荐文章于 2023-08-10 10:38:54 发布
阅读量161 收藏
点赞数
分类专栏： # hadoop

目的

本文档描述了如何安装和配置Hadoop集群，范围从几个节点到具有数千个节点的极大集群。要使用Hadoop，您可能首先要将其安装在一台计算机上（请参阅单节点设置）。

本文档不包括安全性或高可用性等高级主题。

先决条件

  • 安装Java。有关已知的好版本，请参阅Hadoop Wiki。
  • 从Apache镜像下载稳定版本的Hadoop。

安装

安装Hadoop集群通常涉及在集群中的所有计算机上解压缩软件，或者通过适合您的操作系统的打包系统进行安装。将硬件划分为功能非常重要。

通常，群集中的一台计算机被指定为NameNode，而另一台计算机则被指定为ResourceManager。这些都是大师。其他服务（例如Web App Proxy Server和MapReduce作业历史记录服务器）通常在专用硬件或共享基础架构上运行，具体取决于负载。

集群中的其余计算机充当DataNode和NodeManager。这些是workers。

在非安全模式下配置Hadoop

Hadoop的Java配置由两种类型的重要配置文件驱动：

  • 只读默认配置 - core-default.xml，hdfs-default.xml，yarn-default.xml和mapred-default.xml。

  • 具体站点的配置-  etc/hadoop/core-site.xml, etc/hadoop/hdfs-site.xml, etc/hadoop/yarn-site.xml 和 etc/hadoop/mapred-site.xml.

此外，您控制的bin /目录中的Hadoop脚本  ,  通过修改etc/hadoop/hadoop-env.sh and etc/hadoop/yarn-env.sh.设置特定属性的值  。

要配置Hadoop集群，您需要配置Hadoop守护程序执行的环境以及Hadoop守护程序的配置参数。

HDFS守护程序是NameNode，SecondaryNameNode和DataNode。YARN守护程序是ResourceManager，NodeManager和WebAppProxy。如果要使用MapReduce，则MapReduce作业历史记录服务器也将运行。对于大型安装，这些通常在不同的主机上运行。

配置Hadoop守护进程的环境

管理员应该使用etc/hadoop/hadoop-env.sh and optionally the etc/hadoop/mapred-env.sh 和 etc/hadoop/yarn-env.sh 脚本来对Hadoop守护进程的进程环境进行特定于的自定义。

至少，您必须指定每个远程节点上JAVA_HOME.

管理员可以使用下表中显示的配置选项配置各个守护程序：

 

守护进程环境变量
NameNodeHDFS_NAMENODE_OPTS
DataNodeHDFS_DATANODE_OPTS
Secondary NameNodeHDFS_SECONDARYNAMENODE_OPTS
ResourceManagerYARN_RESOURCEMANAGER_OPTS
NodeManagerYARN_NODEMANAGER_OPTS
WebAppProxyYARN_PROXYSERVER_OPTS
Map Reduce Job History ServerMAPRED_HISTORYSERVER_OPTS

例如，要将Namenode配置为使用parallelGC和4GB Java堆，应在hadoop-env.sh中添加以下语句：

 export HDFS_NAMENODE_OPTS="-XX:+UseParallelGC -Xmx4g"

有关其他示例，请参阅 etc/hadoop/hadoop-env.sh 

您可以自定义的其他有用配置参数包括：

  • HADOOP_PID_DIR - 存储守护进程的进程标识文件的目录。
  • HADOOP_LOG_DIR - 存储守护程序日志文件的目录。如果日志文件不存在，则会自动创建日志文件。
  • HADOOP_HEAPSIZE_MAX - 用于Java堆的最大内存量。此处还支持JVM支持的单元。如果没有单元，则假定该数字以兆字节为单位。默认情况下，Hadoop会让JVM确定要使用多少。可以使用上面列出的相应_OPTS变量在每个守护程序的基础上覆盖此值。例如，设置HADOOP_HEAPSIZE_MAX = 1g 和 HADOOP_NAMENODE_OPTS =“ - Xmx5g” 将为NameNode配置5GB堆。

在大多数情况下，您应该指定HADOOP_PID_DIR和HADOOP_LOG_DIR目录，以便它们只能由将要运行hadoop守护程序的用户写入。否则就有可能发生符号链接攻击。

在系统范围的shell环境配置中配置HADOOP_HOME也是必要的。例如，在/etc/profile.d中有一个简单的脚本：

  HADOOP_HOME=/path/to/hadoop
  export HADOOP_HOME

配置Hadoop守护进程

本节介绍在给定配置文件中指定的重要参数：

  • etc/hadoop/core-site.xml
参数值笔记
fs.defaultFSNameNode URIHDFS：//主机：端口/
io.file.buffer.size131072SequenceFiles中使用的读/写缓冲区的大小。

  • etc/hadoop/hdfs-site.xml

  • NameNode的配置：

参数值笔记
dfs.namenode.name.dirNameNode持久存储命名空间和事务日志的本地文件系统上的路径。如果这是逗号分隔的目录列表，那么名称表将在所有目录中复制，以实现冗余。
dfs.hosts / dfs.hosts.exclude允许/排除的DataNodes列表。如有必要，请使用这些文件来控制允许的数据节点列表。
dfs.blocksize268435456对于大型文件系统，HDFS块大小为256MB。
dfs.namenode.handler.count100更多NameNode服务器线程来处理来自大量DataNode的RPC。
  • DataNode的配置：
参数值笔记
dfs.datanode.data.dir逗号分隔的DataNode本地文件系统上的路径列表，它应该存储其块。如果这是逗号分隔的目录列表，则数据将存储在所有命名目录中，通常位于不同设备上。

  • etc/hadoop/yarn-site.xml

  • ResourceManager和NodeManager的配置：

参数值笔记
yarn.acl.enable是 / 否启用ACL？默认为false。
yarn.admin.acl管理员ACL用于在集群上设置管理员的ACL。ACL用于逗号分隔的用户空间命令分隔组。默认为*的特殊值，这意味着任何人。只是空间的特殊价值意味着没有人可以访问。
yarn.log聚集启用假用于启用或禁用日志聚合的配置
  • ResourceManager的配置：
参数值笔记
yarn.resourcemanager.addressResourceManager主机：客户端提交作业的端口。host：port  如果设置，则覆盖yarn.resourcemanager.hostname中设置的主机名。
yarn.resourcemanager.scheduler.addressResourceManager主机：ApplicationMasters与Scheduler通信以获取资源的端口。host：port  如果设置，则覆盖yarn.resourcemanager.hostname中设置的主机名。
yarn.resourcemanager.resource-tracker.addressResourceManager主机：NodeManagers的端口。host：port  如果设置，则覆盖yarn.resourcemanager.hostname中设置的主机名。
yarn.resourcemanager.admin.addressResourceManager主机：管理命令的端口。host：port  如果设置，则覆盖yarn.resourcemanager.hostname中设置的主机名。
yarn.resourcemanager.webapp.addressResourceManager web-ui主机：端口。host：port  如果设置，则覆盖yarn.resourcemanager.hostname中设置的主机名。
yarn.resourcemanager.hostnameResourceManager主机。host  可以设置的单个主机名，而不是设置所有yarn.resourcemanager *地址资源。导致ResourceManager组件的默认端口。
yarn.resourcemanager.scheduler.classResourceManager Scheduler类。CapacityScheduler（推荐），FairScheduler（也推荐）或FifoScheduler。使用完全限定的类名，例如org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler。
yarn.scheduler.minimum分配-MB在资源管理器中分配给每个容器请求的最小内存限制。在MB中
yarn.scheduler.maximum分配-MB在资源管理器中分配给每个容器请求的最大内存限制。在MB中
yarn.resourcemanager.nodes.include-path /yarn.resourcemanager.nodes.exclude-path允许/排除的NodeManager列表。如有必要，请使用这些文件来控制允许的NodeManager列表。
  • NodeManager的配置：
参数值笔记
yarn.nodemanager.resource.memory-mb资源即给定NodeManager的可用物理内存（MB）定义NodeManager上可用于运行容器的总可用资源
yarn.nodemanager.vmem-ratio虚拟内存使用任务可能超过物理内存的最大比率每个任务的虚拟内存使用量可能超过其物理内存限制。NodeManager上的任务使用的虚拟内存总量可能会超过其物理内存使用率。
yarn.nodemanager.local-dirs以逗号分隔的本地文件系统上写入中间数据的路径列表。多个路径有助于传播磁盘I / O.
yarn.nodemanager.log-dirs以逗号分隔的本地文件系统上写入日志的路径列表。多个路径有助于传播磁盘I / O.
yarn.nodemanager.log.retain-seconds10800在NodeManager上保留日志文件的默认时间（以秒为单位）仅在禁用日志聚合时适用。
yarn.nodemanager.remote-app-logdir/logs应用程序完成时移动应用程序日志的HDFS目录。需要设置适当的权限。仅适用于启用了日志聚合的情况。
yarn.nodemanager.remote-app-dir-suffixlogs附加到远程日志目录的后缀。日志将汇总到$ {yarn.nodemanager.remote-app-log-dir} / $ {user} / $ {thisParam}仅在启用了日志聚合时才适用。
yarn.nodemanager.aux-servicesmapreduce_shuffle需要为Map Reduce应用程序设置的随机服务。
yarn.nodemanager.env-whitelistNodeManagers中容器继承的环境属性对于mapreduce应用程序，除了默认值之外，还应添加HADOOP_MAPRED_HOME。属性值应为JAVA_HOME，HADOOP_COMMON_HOME，HADOOP_HDFS_HOME，HADOOP_CONF_DIR，CLASSPATH_PREPEND_DISTCACHE，HADOOP_YARN_HOME，HADOOP_MAPRED_HOME
  • 历史服务器的配置（需要移动到其他地方）：
参数值笔记
yarn.log-aggregation.retain秒-1在删除聚合日志之前保留多长时间。-1禁用。小心，将其设置得太小，您将垃圾邮件名称节点。
yarn.log-aggregation.retain-check-interval-seconds-1检查聚合日志保留期间的时间。如果设置为0或负值，则该值将计算为聚合日志保留时间的十分之一。小心，将其设置得太小，您将垃圾邮件名称节点。

  • etc/hadoop/mapred-site.xml

  • MapReduce应用程序的配置：

参数值笔记
mapreduce.framework.nameyarn执行框架设置为Hadoop YARN。
mapreduce.map.memory.mb1536

map的资源限制  1.5G

mapreduce.map.java.opts-Xmx1024M子 map 的jvms的堆大小。
mapreduce.reduce.memory.mb3072reduce 内存限制   3G。
mapreduce.reduce.java.opts-Xmx2560M子 reduces 的 jvm   heap-size 
mapreduce.task.io.sort.mb512数据排序的时候, 内存限制
mapreduce.task.io.sort.factor100在对文件进行排序时，会立即合并更多流。
mapreduce.reduce.shuffle.parallelcopies50Higher number of parallel copies run by reduces to fetch outputs from very large number of maps。
  • MapReduce JobHistory服务器的配置：

 

参数值笔记
mapreduce.jobhistory.addressMapReduce JobHistory服务器主机：端口默认端口是10020。
mapreduce.jobhistory.webapp.addressMapReduce JobHistory Server Web UI 主机：端口默认端口是19888。
mapreduce.jobhistory.intermediate-done-dir/mr-history/tmpMapReduce任务写入历史文件的目录。
mapreduce.jobhistory.done-dir/mr-history/doneMR JobHistory Server文件的目录。

监控NodeManager的健康状况

Hadoop提供了一种机制，管理员可以通过该机制将NodeManager定期运行管理员提供的脚本，以确定节点是否健康。

管理员可以通过在脚本中执行对其选择的任何检查来确定节点是否处于正常状态。如果脚本检测到节点处于不健康状态，则必须以字符串ERROR开头的标准输出行。NodeManager定期生成脚本并检查其输出。如果脚本的输出包含字符串ERROR，如上所述，节点的状态将报告为运行状况不佳并且ResourceManager将节点列入黑名单。不会为此节点分配其他任务。但是，NodeManager继续运行脚本，因此如果节点再次变得健康，它将自动从ResourceManager上的黑名单节点中删除。在ResourceManager Web界面中，管理员可以使用节点的运行状况以及脚本的输出（如果它不健康）。自节点健康以来的时间也显示在Web界面上。

以下参数可用于控制etc / hadoop / yarn-site.xml中的节点运行状况监视脚本。

参数值笔记
yarn.nodemanager.health-checker.script.path节点健康脚本用于检查节点健康状况的脚本。
yarn.nodemanager.health-checker.script.opts节点健康脚本选项用于检查节点健康状态的脚本选项。
yarn.nodemanager.health-checker.interval-MS节点健康脚本间隔运行运行状况脚本的时间间隔。
yarn.nodemanager.health-checker.script.timeout-MS节点运行状况超时间隔健康脚本执行超时。

如果只有部分本地磁盘变坏，则运行状况检查程序脚本不应该给出错误。NodeManager能够定期检查本地磁盘的运行状况（具体检查nodemanager-local-dirs和nodemanager-log-dirs），并在根据为配置属性yarn.nodemanager设置的值达到坏目录数阈值后.disk-health-checker.min-healthy-disks，整个节点被标记为不健康，此信息也被发送到资源管理器。引导磁盘被突袭或健康检查程序脚本识别引导磁盘中的故障。

Slaves 文件

列出etc/hadoop/workers文件中的所有工作者主机名或IP地址，每行一个。Helper脚本（如下所述）将使用 etc/hadoop/workers 文件一次在多个主机上运行命令。它不用于任何基于Java的Hadoop配置。为了使用此功能，必须为用于运行Hadoop的帐户建立ssh信任（通过无密码ssh或其他方式，如Kerberos）。

Hadoop机架感知

许多Hadoop组件都具有机架感知功能，并利用网络拓扑结构提高性能和安全性。Hadoop守护程序通过调用管理员配置的模块来获取集群中工作程序的机架信息。有关更多具体信息，请参阅Rack Awareness文档。

强烈建议在启动HDFS之前配置机架感知。

记录

Hadoop 通过Apache Commons Logging框架使用Apache log4j进行日志记录。编辑 etc/hadoop/log4j.properties 文件以自定义Hadoop守护程序的日志记录配置（日志格式等）。

操作Hadoop集群

完成所有必要的配置后，将文件分发到所有计算机上的HADOOP_CONF_DIR目录。这应该是所有计算机上的同一目录。

通常，建议HDFS和YARN作为单独的用户运行。在大多数安装中，HDFS进程以'hdfs'的形式执行。YARN通常使用'yarn'帐户。

Hadoop启动

要启动Hadoop集群，您需要启动HDFS和YARN集群。

第一次启动HDFS时，必须对其进行格式化。将新的分布式文件系统格式化为hdfs：

[hdfs]$ $HADOOP_HOME/bin/hdfs namenode -format <cluster_name>

在指定节点上使用以下命令以hdfs启动HDFS NameNode ：

[hdfs]$ $HADOOP_HOME/bin/hdfs --daemon start namenode

在每个指定节点上使用以下命令启动HDFS DataNode作为hdfs：

[hdfs]$ $HADOOP_HOME/bin/hdfs --daemon start datanode

如果配置了etc/hadoop/workers 和ssh 免密登录（请参阅单节点设置），则可以使用实用程序脚本启动所有HDFS进程。作为hdfs：

[hdfs]$ $HADOOP_HOME/sbin/start-dfs.sh

使用以下命令启动YARN，在指定的ResourceManager上作为yarn运行：

[yarn]$ $HADOOP_HOME/bin/yarn --daemon start resourcemanager

运行脚本以在每个指定的主机上启动NodeManager作为yarn：

[yarn]$ $HADOOP_HOME/bin/yarn --daemon start nodemanager

启动独立的WebAppProxy服务器。以yarn形式在WebAppProxy服务器上运行。如果使用多个服务器进行负载平衡，则应在每个服务器上运行：

[yarn]$ $HADOOP_HOME/bin/yarn --daemon start proxyserver

如果配置了etc / hadoop / workers和ssh trusted access（请参阅单节点设置），则可以使用实用程序脚本启动所有YARN进程。作为纱线：

[yarn]$ $HADOOP_HOME/sbin/start-yarn.sh

使用以下命令启动MapReduce JobHistory Server，在指定的服务器上以mapred运行：

[mapred]$ $HADOOP_HOME/bin/mapred --daemon start historyserver

Hadoop关闭

使用以下命令停止NameNode，在指定的NameNode上以hdfs运行：

[hdfs]$ $HADOOP_HOME/bin/hdfs --daemon stop namenode

运行脚本以将DataNode作为hdfs停止：

[hdfs]$ $HADOOP_HOME/bin/hdfs --daemon stop datanode

如果配置了etc/hadoop/workers 和ssh 免登陆（请参阅单节点设置），则可以使用实用程序脚本停止所有HDFS进程。作为hdfs：

[hdfs]$ $HADOOP_HOME/sbin/stop-dfs.sh

使用以下命令停止ResourceManager，在指定的ResourceManager上以yarn形式运行：

[yarn]$ $HADOOP_HOME/bin/yarn --daemon stop resourcemanager

运行脚本以将作为yarn的worker上的NodeManager停止：

[yarn]$ $HADOOP_HOME/bin/yarn --daemon stop nodemanager

如果配置了etc/hadoop/workers和ssh 免登陆（请参阅单节点设置），则可以使用实用程序脚本停止所有YARN进程。作为纱线：

[yarn]$ $HADOOP_HOME/sbin/stop-yarn.sh

停止WebAppProxy服务器。以纱线形式在WebAppProxy服务器上运行。如果使用多个服务器进行负载平衡，则应在每个服务器上运行：

[yarn]$ $HADOOP_HOME/bin/yarn stop proxyserver

使用以下命令停止MapReduce JobHistory Server，在指定的服务器上以mapred运行：

[mapred]$ $HADOOP_HOME/bin/mapred --daemon stop historyserver

Web界面

一旦Hadoop集群启动并运行，请检查组件的web-ui，如下所述：

守护进程Web 接口备注
NameNodehttp://nn_host:port/Default HTTP port is 9870.
ResourceManagerhttp://rm_host:port/Default HTTP port is 8088.
MapReduce JobHistory Serverhttp://jhs_host:port/Default HTTP port is 19888.

 

 

 

 

 

 

原文链接: https://hadoop.apache.org/docs/r3.2.0/

 

weixin_42868638
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
数据分析环境hadoop-3.2.0集群搭建
xuliang1265的博客
04-09 259
一、环境 IP地址 操作系统 软件安装 192.168.1.251 centos7 jdk1.8 192.168.1.252 centos7 jdk1.8 192.168.1.253 centos7 jdk1.8 二、修改主机名称 192.168.1.251 hostnamectl set-hostname hadoop01 192.168.1.252 hostnam...
Hadoop 3.2.0配置
My Sunshine
07-25 804
~/.bashrc export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 export HADOOP_HOME=/home/qianwen/hadoop-3.2.0 export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin export HADOOP_MAPRED...
Hadoop3.2.0集群搭建常见注意事项
01-09
一 端口变化 3.2.0版本中namenode页面端口是9870,datanode管理端口是8088,所以需要开放这两个端口还给web页面访问 二but there is no YARN_RESOURCEMANAGER_USER defined. Aborting operation hadoop-env.sh中不光需要配置java-home,还需要声明下面这些用户变量,不然无法启动: export JAVA_HOME=/usr/local/jdk/jdk1.8.0_191 export HDFS_NAMENODE_USER=root export HDFS_DATANODE_USER=ro
hadoop 3.2.0集群安装
码易的博客
04-09 1572
目录前言一、安装步骤1.下载2.环境3.安装4.启停5.测试 前言 安装一主一从两个节点： 172.16.10.225 master 172.16.10.226 slave 一、安装步骤 1.下载 下载地址：https://archive.apache.org/dist/hadoop/common/ 我这里下载的是3.2.0版本，hadoop-3.2.0.tar.gz 2.环境 （1）设置 hostname，并设置到 /etc/hosts [root@cloudtest02 hadoop]# [root@
hadoop-3.2.0.tar.gz
07-26
Hadoop 3.2.0是Hadoop发展过程中的一个重要版本，它在前一个版本的基础上进行了许多优化和改进，旨在提高系统的性能、稳定性和可扩展性。 在Hadoop 3.2.0中，我们可以关注以下几个关键知识点： 1. **YARN（Yet ...
hadoop-3.2.0部署及相关工具
09-14
Hadoop 3.2.0是其一个重要的版本，带来了许多性能优化和新特性。本篇文章将详细阐述如何部署Hadoop 3.2.0，并探讨与之相关的Eclipse插件及其在本地测试中的应用。 首先，我们来了解Hadoop的核心组件：HDFS（Hadoop ...
centos7系统中的hadoop3.2.0的配置文件.rar
09-01
hadoop 3.2.0在（win10+cento7+vmware）环境的配置文件,包括/etc/profile和hadoop安装目录下etc/hadoop文件下的文件：hadoop-env.sh,mapred-env.sh,yarn-env.sh,core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-...
Hadoop3集群搭建（hadoop3.2.2）
qq_43979159的博客
07-10 1254
Hadoop3集群部署部署环境安装包安装jdk（四台虚拟机都要）Hadoop3.2.2安装（master节点） 部署环境 master 192.168.128.130 slave1 192.168.128.131 slave2 192.168.128.132 slave3 192.168.128.133 安装包 hadoop-3.2.2.tar.gz 链接: https://pan.baidu.com/s/1esiIfOfC7nm-B9b1oTm8AQ 提取码: a2ng jdk-8u151-linux
CentOS7.3.x + Hadoop 2.9.0 集群搭建实战
大树叶 技术专栏
04-16 1017
 前言： 系统安装要求   1: CentOS7  2:  Hadoop 2.9.0    3:  JDK1.8  说明：Hadoop从版本2开始加入了Yarn这个资源管理器，Yarn并不需要单独安装。只要在机器上安装了JDK就可以直接安装Hadoop，单纯安装Hadoop并不依赖Zookeeper之类的其他东西。官方cluster setup步骤见下链接：https://hadoop.apach...
Hadoop完全分布式集群——Hadoop 配置
weixin_42264536的博客
05-02 8721
前面已完成VMware虚拟机安装与配置（参考前一篇Hadoop完全分布式集群——VMware虚拟机安装与配置_夏雨和阳阳的博客-CSDN博客），下面将进行Hadoop 配置。 一、slave1、slave2节点配置修改 slave1、slave2节点都需要进行以下操作： 1.开启虚拟机，输入命令： [root@slave1 ~]#ip addr [root@slave2 ~]#ip addr 2.修改slave1、slave2虚拟机的IP [root@slave1 ~]#vi /etc/s
Hadoop集群的配置
qq_54542910的博客
10-19 5367
Hadoop集群的配置，克隆机的配置，免密登录，启动集群等
hadoop——环境配置
ply2003的博客
06-26 1875
之前上课的时候我就已经用VMware Workstation 15 player创过了一台虚拟机并做了Hadoop的伪分布式安装，所以就不再从头演示，直接在这基础上接着讲了。
【大数据】Hadoop完全分布式配置（超详细）
X10的博客
01-03 4938
Hadoop完全分布式配置-具体步骤如下默认前提：1.在Windows平台下安装Vmware平台（默认已经安装）2.在Vmware平台上安装Linux操作系统（默认已经安装）这里我已安装的是 Vmware16 和 CentOS7.整理流程我参考的是centos6的文档，centos7的命令与其不同。如修改主机名、关闭防火墙等centos7无法连接Xshell的情况。
Hadoop的配置
m0_67392661的博客
08-16 2194
第一个 dfs.replication data副本的数量 第二个 dfs.name.dir namenode的数据存放地址。1. 配置主机名 /etc/sysconfig/network hostname=master master是主节点的意思。2.拷贝公钥 ssh-copy-id -i ~/.ssh/id_rsa.pub root@master。export HADOOP_HOME=/hadoop的安装地址。在 hadoop安装目录 下的 etc/hadoop。...
Hadoop集群配置（二）免密登录和集群配置
学而知之@的博客
05-20 1703
写在开头： 难难难道德玄，不对知音不可谈，对了知音谈几句，不对知音枉费舌尖~~ 咱们书接上回，上一篇写完了基础环境的配置，这篇就来说硕同样重要的免密登录，当然还有Hadoop集群的配置。 2.1 三台linux服务器环境准备 1. 三台机器IP设置 三台机器修改ip地址： # 对网库进行设置 vi /etc/sysconfig/network-scripts/ifcfg-ens33 # hadoop版本IP设置 BOOTPROTO="static" IPADDR=192.168.32.100 NETMA
Hadoop集群配置。
HMLieder的博客
11-09 844
hadoop集群配置。
Hadoop3的高可用搭建
Baron_ND的博客
06-21 1490
Hadoop集群作为当今大数据技术的基础数据底座非常重要，尽管部署过程非常复杂，步骤特别多，不过本文尽可能对每一步都做到细致入微，目的是让初学者手把手的照着做，也能正确部署好Hadoop平台，为后续的大数据技术学习，解决一入门就遇到这个高门槛。NameNode高可用[datanode-1、datanode-2]，Journal集群[datanode-1、datanode-2、datanode-3]，ZKFC服务[datanode-1、datanode-2]全部正常启动。
实战：使用Docker部署Hadoop集群
勤于笔记，成于点滴。
08-10 939
用docker方式部署hadoop集群较普通物理更为简单，且方便管理。本次实战过程用的bridge网络，如果需要远程访问hdfs则是需要用host网络构建容器。
hadoop 3.2.0 zookeeper安装
最新发布
09-14
要安装Hadoop 3.2.0和ZooKeeper，可以按照以下步骤进行操作： 1. 将Hadoop 3.2.0的安装包上传到/opt/install目录，并解压缩并移动到/opt目录中。可以使用以下命令： ``` tar -zxvf hadoop-3.2.0.tar.gz mv ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值