hadoop伪集群的安装，及基本概念。

最新推荐文章于 2024-07-28 20:13:01 发布
最新推荐文章于 2024-07-28 20:13:01 发布
阅读量354 收藏
点赞数
分类专栏： hadoop 文章标签： hadoop伪集群配置 yarn内存 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/c1523456/article/details/84168957
版权

导读

伪集群的意思就是说我们可以在多台计算机上面安装hadoop，但是不具有高可用和共容错，这适用于开发环境。

我们首先下载hadoop的安装包，我使用的cdh版本的5.14.0，你可以在该网址找到他，

首先我们说一下hadoop的配置文件的分类：

hadoop的配置文件可以分为两种类型的配置文件。

一种是只读的默认配置如： core-default.xml, hdfs-default.xml, yarn-default.xml and mapred-default.xml

另一种是我们指定的配置文件：conf/core-site.xml, conf/hdfs-site.xml, conf/yarn-site.xml and conf/mapred-site.xml.

此外我们还可对这两个脚本进行配置：conf/hadoop-env.sh and yarn-env.sh.

详细配置

我们首先来配置conf/hadoop-env.sh and yarn-env.sh。

第一步配置 JAVA_HOME,

第二步：可选配置，管理员可以为独立的守护进程进行详细的配置：

DaemonEnvironment Variable
NameNodeHADOOP_NAMENODE_OPTS
DataNodeHADOOP_DATANODE_OPTS
Secondary NameNodeHADOOP_SECONDARYNAMENODE_OPTS
ResourceManagerYARN_RESOURCEMANAGER_OPTS
NodeManagerYARN_NODEMANAGER_OPTS
WebAppProxyYARN_PROXYSERVER_OPTS
Map Reduce Job History ServerHADOOP_JOB_HISTORYSERVER_OPTS

例如我们可以配置NameNode的 parallelGC：

export HADOOP_NAMENODE_OPTS="-XX:+UseParallelGC ${HADOOP_NAMENODE_OPTS}"

还可以进行一些其他的有用的配置：

HADOOP_LOG_DIR / YARN_LOG_DIR - 指定他们日志的存储路径，如果不存在的话自动创建。
HADOOP_HEAPSIZE / YARN_HEAPSIZE - 指定最大堆栈大小。

DaemonEnvironment Variable
ResourceManagerYARN_RESOURCEMANAGER_HEAPSIZE
NodeManagerYARN_NODEMANAGER_HEAPSIZE
WebAppProxyYARN_PROXYSERVER_HEAPSIZE
Map Reduce Job History ServerHADOOP_JOB_HISTORYSERVER_HEAPSIZE

 

现在我们可以进行这些守护进程的详细配置了：

conf/core-site.xml

ParameterValueNotes
fs.defaultFSNameNode URIhdfs://host:port/
io.file.buffer.size131072Size of read/write buffer used in SequenceFiles.

fs.defaultFS：这个路径是我们访问分布式文件系统的路径。

conf/hdfs-site.xml

  • Configurations for NameNode:
    ParameterValueNotes
    dfs.namenode.name.dirPath on the local filesystem where the NameNode stores the namespace and transactions logs persistently.If this is a comma-delimited list of directories then the name table is replicated in all of the directories, for redundancy.

 Configurations for DataNode:

ParameterValueNotes
dfs.datanode.data.dirComma separated list of paths on the local filesystem of a DataNode where it should store its blocks.

If this is a comma-delimited list of directories, then data will be stored in all named directories, typically on different devices.

 

 conf/yarn-site.xml

  • Configurations for ResourceManager and NodeManager:
    ParameterValueNotes
    yarn.acl.enabletrue / falseEnable ACLs? Defaults to false.
    yarn.admin.aclAdmin ACLACL to set admins on the cluster. ACLs are of for comma-separated-usersspacecomma-separated-groups. Defaults to special value of * which means anyone. Special value of just space means no one has access.
    yarn.log-aggregation-enablefalse

    Configuration to enable or disable log aggregation

    • Configurations for ResourceManager:
      ParameterValueNotes
      yarn.resourcemanager.addressResourceManager host:port for clients to submit jobs.host:port 
      If set, overrides the hostname set in yarn.resourcemanager.hostname.
      yarn.resourcemanager.scheduler.addressResourceManager host:port for ApplicationMasters to talk to Scheduler to obtain resources.host:port 
      If set, overrides the hostname set in yarn.resourcemanager.hostname.
      yarn.resourcemanager.resource-tracker.addressResourceManager host:port for NodeManagers.host:port 
      If set, overrides the hostname set in yarn.resourcemanager.hostname.
      yarn.resourcemanager.admin.addressResourceManager host:port for administrative commands.host:port 
      If set, overrides the hostname set in yarn.resourcemanager.hostname.
      yarn.resourcemanager.webapp.addressResourceManager web-ui host:port.host:port 
      If set, overrides the hostname set in yarn.resourcemanager.hostname.
      yarn.resourcemanager.hostnameResourceManager host.host 
      Single hostname that can be set in place of setting all yarn.resourcemanager*addressresources. Results in default ports for ResourceManager components.
      yarn.resourcemanager.scheduler.classResourceManager Scheduler class.CapacityScheduler (recommended), FairScheduler (also recommended), or FifoScheduler
      yarn.scheduler.minimum-allocation-mbMinimum limit of memory to allocate to each container request at the Resource Manager.In MBs
      yarn.scheduler.maximum-allocation-mbMaximum limit of memory to allocate to each container request at the Resource Manager.In MBs
      yarn.resourcemanager.nodes.include-path / yarn.resourcemanager.nodes.exclude-pathList of permitted/excluded NodeManagers.If necessary, use these files to control the list of allowable NodeManagers.
    • Configurations for NodeManager:
      ParameterValueNotes
      yarn.nodemanager.resource.memory-mbResource i.e. available physical memory, in MB, for given NodeManagerDefines total available resources on the NodeManager to be made available to running containers
      yarn.nodemanager.vmem-pmem-ratioMaximum ratio by which virtual memory usage of tasks may exceed physical memoryThe virtual memory usage of each task may exceed its physical memory limit by this ratio. The total amount of virtual memory used by tasks on the NodeManager may exceed its physical memory usage by this ratio.
      yarn.nodemanager.local-dirsComma-separated list of paths on the local filesystem where intermediate data is written.Multiple paths help spread disk i/o.
      yarn.nodemanager.log-dirsComma-separated list of paths on the local filesystem where logs are written.Multiple paths help spread disk i/o.
      yarn.nodemanager.log.retain-seconds10800Default time (in seconds) to retain log files on the NodeManager Only applicable if log-aggregation is disabled.
      yarn.nodemanager.remote-app-log-dir/logsHDFS directory where the application logs are moved on application completion. Need to set appropriate permissions. Only applicable if log-aggregation is enabled.
      yarn.nodemanager.remote-app-log-dir-suffixlogsSuffix appended to the remote log dir. Logs will be aggregated to ${yarn.nodemanager.remote-app-log-dir}/${user}/${thisParam} Only applicable if log-aggregation is enabled.
      yarn.nodemanager.aux-servicesmapreduce_shuffleShuffle service that needs to be set for Map Reduce applications.
    • Configurations for History Server (Needs to be moved elsewhere):
      ParameterValueNotes
      yarn.log-aggregation.retain-seconds-1How long to keep aggregation logs before deleting them. -1 disables. Be careful, set this too small and you will spam the name node.
      yarn.log-aggregation.retain-check-interval-seconds-1Time between checks for aggregated log retention. If set to 0 or a negative value then the value is computed as one-tenth of the aggregated log retention time. Be careful, set this too small and you will spam the name node.
  • conf/mapred-site.xml
    • Configurations for MapReduce Applications:
      ParameterValueNotes
      mapreduce.framework.nameyarnExecution framework set to Hadoop YARN.
      mapreduce.map.memory.mb1536Larger resource limit for maps.
      mapreduce.map.java.opts-Xmx1024MLarger heap-size for child jvms of maps.
      mapreduce.reduce.memory.mb3072Larger resource limit for reduces.
      mapreduce.reduce.java.opts-Xmx2560MLarger heap-size for child jvms of reduces.
      mapreduce.task.io.sort.mb512Higher memory-limit while sorting data for efficiency.
      mapreduce.task.io.sort.factor100More streams merged at once while sorting files.
      mapreduce.reduce.shuffle.parallelcopies50Higher number of parallel copies run by reduces to fetch outputs from very large number of maps.
    • Configurations for MapReduce JobHistory Server:
      ParameterValueNotes
      mapreduce.jobhistory.addressMapReduce JobHistory Server host:portDefault port is 10020.
      mapreduce.jobhistory.webapp.addressMapReduce JobHistory Server Web UI host:portDefault port is 19888.
      mapreduce.jobhistory.intermediate-done-dir/mr-history/tmpDirectory where history files are written by MapReduce jobs.
      mapreduce.jobhistory.done-dir/mr-history/doneDirectory where history files are managed by the MR JobHistory Server.

基本配置

 我负责给出这些配置，你如何配置在你，下面我给出一个可以运行环境的基本配置：

#hadoop-env.sh的配置配置javahome
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/jre

 core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    <configuration>
        <property>
            <name>fs.default.name</name>
            <value>hdfs://node-master:9000</value>
        </property>
    </configuration>

hdfs-site.conf

<configuration>
    <property>
            <name>dfs.namenode.name.dir</name>
            <value>/home/hadoop/data/nameNode</value>
    </property>

    <property>
            <name>dfs.datanode.data.dir</name>
            <value>/home/hadoop/data/dataNode</value>
    </property>

    <property>
            <name>dfs.replication</name>
            <value>1</value>
    </property>
</configuration>

 mapred-site.xml

<configuration>
    <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
    </property>
    <property>
        <name>yarn.app.mapreduce.am.resource.mb</name>
        <value>512</value>
    </property>

    <property>
        <name>mapreduce.map.memory.mb</name>
        <value>256</value>
    </property>

    <property>
        <name>mapreduce.reduce.memory.mb</name>
        <value>256</value>
    </property>
</configuration>

yarn-site.xml

<configuration>
    <property>
            <name>yarn.acl.enable</name>
            <value>0</value>
    </property>

    
    <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
    </property>

    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>1536</value>
    </property>

    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>1536</value>
    </property>

    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>128</value>
    </property>

    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>
</configuration>

slaves 

node01
node02
node03

解释

slaves

我们需要说一下slaves 这个配置文件的作用：

通常，您选择群集中的一台计算机作为NameNode，并选择一台计算机作为ResourceManager。其余的机器既充当DataNode又充当NodeManager，并称为从设备。这个配置文件就是指定运行DataNode和NodeManager的节点的主机名。

内存

还有yarn-set.xml中的关于内存的额配置和 mapred-site.xml中关于内存的配置：

在yarn集群中运行的任务有两种类型：

一种是Application Master (AM)他负责监视应用程序并协调集群中的分布式执行程序。

一种是executors 他通过AM创建，并运行job，对于MapReduce jobs,他们进行map,reduce并行的操作,请注意我们的yarn上面可不止能运行mapreduce哦，归根到底，mapreduce程序只是一个类调用yarm集群的程序。

两者都在slave nodes上的containers 中运行。每个slave node都运行一个NodeManager守护程序，该守护程序负责在节点上创建container 。整个集群由ResourceManager管理，ResourceManager根据容量要求和当前费用调度所有slave nodes上的容器分配。

说了这么多都不如看一张图明显：

hadoop yarn 内存图
hadoop yarn 的内存图

官方解释如下：

  1. How much memory can be allocated for YARN containers on a single node. This limit should be higher than all the others; otherwise, container allocation will be rejected and applications will fail. However, it should not be the entire amount of RAM on the node.

    This value is configured in yarn-site.xml with yarn.nodemanager.resource.memory-mb.

  2. How much memory a single container can consume and the minimum memory allocation allowed. A container will never be bigger than the maximum, or else allocation will fail and will always be allocated as a multiple of the minimum amount of RAM.

    Those values are configured in yarn-site.xml with yarn.scheduler.maximum-allocation-mb and yarn.scheduler.minimum-allocation-mb.

  3. How much memory will be allocated to the ApplicationMaster. This is a constant value that should fit in the container maximum size.

    This is configured in mapred-site.xml with yarn.app.mapreduce.am.resource.mb.

  4. How much memory will be allocated to each map or reduce operation. This should be less than the maximum size.

    This is configured in mapred-site.xml with properties mapreduce.map.memory.mb and mapreduce.reduce.memory.mb.

运行

 接下来就可以运行集群了，跟我们的操作系统一样，用之前得先进行格式化：

hdfs namenode -format

运行hdfs：

start-dfs.sh

运行yarn：

start-yarn.sh

易出问题

参看：https://blog.csdn.net/baidu_16757561/article/details/53698746

奋斗的小面包
关注
专栏目录
hadoop伪分布式安装.pdf
10-22
### Hadoop伪分布式安装知识点详解 #### 一、Hadoop伪分布式概述 Hadoop是一种能够处理海量数据的大规模分布式计算框架。它通过将任务分解到多个计算机节点上并行处理来提高数据处理效率。Hadoop支持多种运行模式，...
Hadoop集群搭建
m0_50744317的博客
05-07 1141
一、安装Hadoop Hadoop集群需要java环境支持，所以要提前安装好并配置好JDK。 Hadoop下载地址https://www. oracle. com/technetwork/java/javase/downloads/index. html。 在第一台虚拟机上（Hadoop-01）将下载完毕的Hadoop（我的是2.7.4的版本）安装包上传至Linux系统的/export/software/目录下。 进入Hadoop安装包目录将Hadoop安装包解压到/export/servers/目
Hadoop概论与Hadoop伪分布集群搭建
weixin_46504000的博客
06-04 326
Hadoop概论与Hadoop伪分布集群搭建
伪分布式集群搭建指南
最新发布
qq_51610110的博客
07-28 2041
在构建分布式计算环境的学术研究与实践中，伪分布式集群的搭建被视为一种重要的技术手段。该技术通过模拟分布式系统的核心功能，允许研究人员和开发者在单一物理服务器上模拟多个节点的运行环境，从而在资源有限的情况下，对分布式算法和系统进行测试和验证。本文将详细介绍伪分布式集群的构建过程，包括系统架构设计、关键技术选型、网络配置、资源管理策略以及故障恢复机制等，旨在为读者提供一个全面而深入的搭建指南。
真集群与伪集群
MKC__jiaoq的博客
12-24 795
伪集群：Hadoop 伪分布式模式是在单机上模拟Hadoop分布式,单机上的分布式并不是真正的集群 真集群：部署在不同的机子上 作用与应用场景 集群是一个比较大的作用就是分散压力分散请求，将请求分配给集群节点去处理，减轻非集群的单一应用的压力 有些web应用容器，可能由于调优上边的原因，会导致有并发数限制，比如说tomcat的老版本，如果没有去修改运行模式，可能默认会采用bio的方式去处理请求，加之如果没有去修改线程池等参数，那么并发量可能会比较低，如果这时候做集群的话，可以提高不...
Hadoop----伪分布式集群搭建
WQY992的博客
03-20 749
定义 Hadoop伪分布式集群（pseudo distributed cluster），就是在一台主机上模拟多个主机（数据存储节点）。即hadoop的守护程序在本地计算机(这个指的是Linux虚拟机)上运行，模拟集群环境，并且是相互独立的Java进程。 在这种模式下，Hadoop使用的是分布式文件系统，各个作业也是由ResourceManager服务来管理的独立进程。 比单节点集群（local m...
零基础也能学会！Hadoop伪分布式集群安装与配置实践
weixin_64289779的博客
04-30 978
Hadoop是典型的分布式系统，原则上需要在至少3个节点构成集群上进行安装完全分布式系统。但是，出于学习的目的，在资源受限的情况下，可以有简化的安装模式，比如由单个节点构成的伪分布式安装(仍然通过网络进行节点访问，但是访问的IP地址：127.0.0.1就是本机地址)。
hadoop的伪分布式模式配置与安装
04-12
在深入探讨Hadoop伪分布式模式的配置与安装之前，我们先简单回顾一下Hadoop的基本概念以及它为何重要。Hadoop是一个开源框架，用于分布式存储和处理大规模数据集。它通过提供一个可靠的数据存储系统（HDFS）和一个...
实验1 安装Hadoop.doc
09-24
根据给定文件的信息，我们可以总结出以下几个重要的知识点： ...综上所述，通过本次实验，学生不仅能够学会如何在Linux虚拟机中搭建Hadoop集群，还能掌握Hadoop的基本使用技巧，为进一步学习大数据分析打下坚实基础。
安装Hadoop完全分布必备，伪分布也需要
03-11
在本篇文章中，我们将深入探讨如何安装和配置Hadoop，以便进行完全分布式和伪分布式的设置。 首先，我们来理解“完全分布式”和“伪分布式”的概念。完全分布式模式是Hadoop在生产环境中最常用的部署方式，它涉及多...
细细品味Hadoop（Hadoop安装及配置）.rar_hadoop_细细品味Hadoop
09-24
本文将基于"细细品味Hadoop（Hadoop安装及配置）.rar_hadoop_细细品味Hadoop"这一资源，深入探讨Hadoop的安装与配置过程，帮助你全面理解并掌握这一关键技术。 首先，我们需要了解Hadoop的基本概念。Hadoop是由...
HADOOP 伪分布式集群搭建
missdanlan的博客
03-25 2279
HDFS 会以128M为单位将上传的文件进行切分为若干个block 存储在不同的datanode中，由于为了在不可靠的机器上进行提供可靠的服务，所以采用多副本机制进行存储。由于Hadoop 依赖于JDK运行环境，笔者这里采用的是hadoop3.3.4版本，支持JDK11，所以笔者安装的也是JDK11 版本。由于笔者这里使用的是vmware 虚拟机 采用centos7 linux 操作系统进行搭建，所以一下示例均以centos7进行示例。设置完成之后 输入命令reboot 进行重启，那么初始设置就设置好了。
Hadoop伪分布式集群配置
m0_56871402的博客
02-10 1810
一、虚拟机准备工作 每台服务器的配置 1.配置动态ip 配置文件 ifcfg-ens33 vim /etc/sysconfig/network-scripts/ifcfg-ens33 BOOTPROTO="static" 将ip改为动态 IPADDR=192.168.47.130 设置ip地址 GATEWAY=192.168.47.2 设置网关 NETMASK=255.255.255.0 子网掩码.........
Hadoop 之 HDFS 伪集群模式配置与使用（二）
weixin_42176639的博客
07-14 798
Java 读写 HDFS
Hadoop伪分布式集群的搭建
qq_63834914的博客
12-25 1889
本文是基于jdk8和CentOS6配置的Hadoop伪分布式集群，步骤详细，希望能帮助到给位小伙伴们，有什么不足的请多多包含。
大数据技术原理（二）：搭建hadoop伪分布式集群这一篇就够了
m0_60732994的博客
05-23 1771
一、实验目的 1.理解Hadoop伪分布式的安装过程 实验内容涉及Hadoop平台的搭建和配置，旨在提高对大数据处理框架的理解和实践能力。通过完成本实验，将能够独立完成Hadoop伪分布式环境的安装和配置。 2.学会JDK安装和编译hadoop源码包 同时，通过手动编译hadoop源码包，还将能够更深入地了解Hadoop的内部原理和工作机制，通过解决问题并不断思考，具备根据需求进行扩展和定制的能力。 3.学会Hadoop伪分布式安装和参数配置 修改Hadoop的配置文件，包括core-site.xml、
Hadoop----------大数据单机伪集群搭建（这一篇就够了）
just_learing的博客
08-02 658
Hadoop----------大数据单机伪集群搭建（这一篇就够了）
Hadoop配置文件详解
andyguan01_2的博客
03-17 6463
1、core-site.xml 属性 含义 fs.defaultFS 这是一个描述集群中NameNode节点的URI(包括协议、主机名称、端口号)，集群里面的每一台机器都需要知道NameNode的地址。DataNode结点会先在NameNode上注册，这样它们的数据才可以被使用。独立的客户端程序通过这个URI跟DataNode交互，以取得文件的块列表。样例：hdfs://maste...
Hdoop伪分布式集群搭建
陈七的博客，学习知识分享，期待与大家的交流
09-17 875
hadoop伪分布式集群搭建，在自己的虚拟机上创建三台虚拟机作为节点
Hadoop集群安装与基础概念解析
"IT十八掌徐培成HADOOP笔记，主要涵盖了Hadoop的集群配置、大数据概念、Hadoop的起源及核心组件，包括HDFS和MapReduce，以及Hadoop的安装与配置流程，特别是对不同运行模式的介绍。" Hadoop是Apache软件基金会开发...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值