Hadoop配置文件参数详解

最新推荐文章于 2023-07-13 13:47:49 发布
最新推荐文章于 2023-07-13 13:47:49 发布
阅读量579 收藏
点赞数
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013541411/article/details/103251478
版权

Hadoop运行模式分为安全模式和非安全模式，在这里，我将讲述非安全模式下，主要配置文件的重要参数功能及作用，本文所使用的Hadoop版本为2.6.4。

etc/hadoop/core-site.xml

参数属性值解释
fs.defaultFSNameNode URIhdfs://host:port/
io.file.buffer.size131072SequenceFiles文件中.读写缓存size设定

范例：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.1.100:900</value>
        <description>192.168.1.100为服务器IP地址，其实也可以使用主机名</description>
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
        <description>该属性值单位为KB，131072KB即为默认的64M</description>
    </property>
</configuration> 

etc/hadoop/hdfs-site.xml

  • 配置NameNode
参数属性值解释
dfs.namenode.name.dir在本地文件系统所在的NameNode的存储空间和持续化处理日志如果这是一个以逗号分隔的目录列表，然 后将名称表被复制的所有目录，以备不时 需。
dfs.namenode.hosts/
dfs.namenode.hosts.exclude		Datanodes permitted/excluded列表如有必要，可以使用这些文件来控制允许 数据节点的列表
dfs.blocksize268435456大型的文件系统HDFS块大小为256MB
dfs.namenode.handler.count100设置更多的namenode线程，处理从 datanode发出的大量RPC请求

范例：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
        <description>分片数量，伪分布式将其配置成1即可</description>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/namenode</value>
        <description>命名空间和事务在本地文件系统永久存储的路径</description>
    </property>
    <property>
        <name>dfs.namenode.hosts</name>
        <value>datanode1, datanode2</value>
        <description>datanode1, datanode2分别对应DataNode所在服务器主机名</description>
    </property>
    <property>
        <name>dfs.blocksize</name>
        <value>268435456</value>
        <description>大文件系统HDFS块大小为256M，默认值为64M</description>
    </property>
    <property>
        <name>dfs.namenode.handler.count</name>
        <value>100</value>
        <description>更多的NameNode服务器线程处理来自DataNodes的RPCS</description>
    </property>
</configuration>

 

  • 配置DataNode
参数属性值解释
dfs.datanode.data.dir逗号分隔的一个DataNode上，它应该保存它的块的本地文件系统的路径列表如果这是一个以逗号分隔的目录列表，那么数据将被存储在所有命名的目录，通常在不同的设备。

范例：

<configuration>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/datanode</value>
        <description>DataNode在本地文件系统中存放块的路径</description>
    </property>
</configuration>

etc/hadoop/yarn-site.xml

  • 配置ResourceManager 和 NodeManager:
参数属性值解释
yarn.resourcemanager.address客户端对ResourceManager主机通过 host:port 提交作业host:port
yarn.resourcemanager.scheduler.addressApplicationMasters 通过ResourceManager主机访问host:port跟踪调度程序获资源host:port
yarn.resourcemanager.resource-tracker.addressNodeManagers通过ResourceManager主机访问host:porthost:port
yarn.resourcemanager.admin.address管理命令通过ResourceManager主机访问host:porthost:port
yarn.resourcemanager.webapp.addressResourceManager web页面host:port.host:port
yarn.resourcemanager.scheduler.classResourceManager 调度类（Scheduler class）CapacityScheduler（推荐），FairScheduler（也推荐），orFifoScheduler
yarn.scheduler.minimum-allocation-mb每个容器内存最低限额分配到的资源管理器要求以MB为单位
yarn.scheduler.maximum-allocation-mb资源管理器分配给每个容器的内存最大限制以MB为单位
yarn.resourcemanager.nodes.include-path/
yarn.resourcemanager.nodes.exclude-path		NodeManagers的permitted/excluded列表如有必要，可使用这些文件来控制允许NodeManagers列表

范例：

<configuration>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>192.168.1.100:8081</value>
        <description>IP地址192.168.1.100也可替换为主机名</description>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>192.168.1.100:8082</value>
        <description>IP地址192.168.1.100也可替换为主机名</description>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>192.168.1.100:8083</value>
        <description>IP地址192.168.1.100也可替换为主机名</description>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>192.168.1.100:8084</value>
        <description>IP地址192.168.1.100也可替换为主机名</description>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>192.168.1.100:8085</value>
        <description>IP地址192.168.1.100也可替换为主机名</description>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.class</name>
        <value>FairScheduler</value>
        <description>常用类：CapacityScheduler、FairScheduler、orFifoScheduler</description>
    </property>
    <property>
        <name>yarn.scheduler.minimum</name>
        <value>100</value>
        <description>单位：MB</description>
    </property>
    <property>
        <name>yarn.scheduler.maximum</name>
        <value>256</value>
        <description>单位：MB</description>
    </property>
    <property>
        <name>yarn.resourcemanager.nodes.include-path</name>
        <value>nodeManager1, nodeManager2</value>
        <description>nodeManager1, nodeManager2分别对应服务器主机名</description>
    </property>
</configuration>
  • 配置NodeManager
参数属性值解释
yarn.nodemanager.resource.memory-mbgivenNodeManager即资源的可用物理内存，以MB为单位定义在节点管理器总的可用资源，以提供给运行容器
yarn.nodemanager.vmem-pmem-ratio最大比率为一些任务的虚拟内存使用量可能会超过物理内存率每个任务的虚拟内存的使用可以通过这个比例超过了物理内存的限制。虚拟内存的使用上的节点管理器任务的总量可以通过这个比率超过其物理内存的使用
yarn.nodemanager.local-dirs数据写入本地文件系统路径的列表用逗号分隔多条存储路径可以提高磁盘的读写速度
yarn.nodemanager.log-dirs本地文件系统日志路径的列表逗号分隔多条存储路径可以提高磁盘的读写速度
yarn.nodemanager.log.retain-seconds10800如果日志聚合被禁用。默认的时间（以秒为单位）保留在节点管理器只适用日志文件
yarn.nodemanager.remote-app-log-dirlogsHDFS目录下的应用程序日志移动应用上完成。需要设置相应的权限。仅适用日志聚合功能
yarn.nodemanager.remote-app-log-dir-suffixlogs后缀追加到远程日志目录。日志将被汇总到yarn.nodemanager.remote­app­logdir/yarn.nodemanager.remote­app­logdir/{user}/${thisParam} 仅适用日志聚合功能。
yarn.nodemanager.aux-servicesmapreduce-shuffleShuffle service 需要加以设置的Map Reduce的应用程序服务

范例：

<configuration>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>256</value>
        <description>单位为MB</description>
    </property>
    <property>
        <name>yarn.nodemanager.vmem-pmem-ratio</name>
        <value>90</value>
        <description>百分比</description>
    </property>
    <property>
        <name>yarn.nodemanager.local-dirs</name>
        <value>/usr/local/hadoop/tmp/nodemanager</value>
        <description>列表用逗号分隔</description>
    </property>
    <property>
        <name>yarn.nodemanager.log-dirs</name>
        <value>/usr/local/hadoop/tmp/nodemanager/logs</value>
        <description>列表用逗号分隔</description>
    </property>
    <property>
        <name>yarn.nodemanager.log.retain-seconds</name>
        <value>10800</value>
        <description>单位为S</description>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce-shuffle</value>
        <description>Shuffle service 需要加以设置的MapReduce的应用程序服务</description>
    </property>
</configuration>

etc/hadoop/mapred-site.xml

  • 配置mapreduce
参数属性值解释
mapreduce.framework.nameyarn执行框架设置为 Hadoop YARN.
mapreduce.map.memory.mb1536对maps更大的资源限制的.
mapreduce.map.java.opts-Xmx2014Mmaps中对jvm child设置更大的堆大小
mapreduce.reduce.memory.mb3072设置 reduces对于较大的资源限制
mapreduce.reduce.java.opts-Xmx2560Mreduces对 jvm child设置更大的堆大小
mapreduce.task.io.sort.mb512更高的内存限制，而对数据进行排序的效率
mapreduce.task.io.sort.factor100在文件排序中更多的流合并为一次
mapreduce.reduce.shuffle.parallelcopies50通过reduces从很多的map中读取较多的平行 副本

范例：

<configuration>
    <property>
        <name> mapreduce.framework.name</name>
        <value>yarn</value>
        <description>执行框架设置为Hadoop YARN</description>
    </property>
    <property>
        <name>mapreduce.map.memory.mb</name>
        <value>1536</value>
        <description>对maps更大的资源限制的</description>
    </property>
    <property>
        <name>mapreduce.map.java.opts</name>
        <value>-Xmx2014M</value>
        <description>maps中对jvm child设置更大的堆大小</description>
    </property>
    <property>
        <name>mapreduce.reduce.memory.mb</name>
        <value>3072</value>
        <description>设置 reduces对于较大的资源限制</description>
    </property>
    <property>
        <name>mapreduce.reduce.java.opts</name>
        <value>-Xmx2560M</value>
        <description>reduces对 jvm child设置更大的堆大小</description>
    </property>
    <property>
        <name>mapreduce.task.io.sort</name>
        <value>512</value>
        <description>更高的内存限制，而对数据进行排序的效率</description>
    </property>
    <property>
        <name>mapreduce.task.io.sort.factor</name>
        <value>100</value>
        <description>在文件排序中更多的流合并为一次</description>
    </property>
    <property>
        <name>mapreduce.reduce.shuffle.parallelcopies</name>
        <value>50</value>
        <description>通过reduces从很多的map中读取较多的平行副本</description>
    </property>
</configuration>
  • 配置mapreduce的JobHistory服务器
参数属性值解释
maprecude.jobhistory.addressMapReduce JobHistory Server host:port默认端口号 10020
mapreduce.jobhistory.webapp.addressMapReduce JobHistory Server Web UIhost:port默认端口号 19888
mapreduce.jobhistory.intermediate-done-dir/mr­history/tmp在历史文件被写入由MapReduce作业
mapreduce.jobhistory.done-dir/mr­history/done目录中的历史文件是由MR JobHistory Server管理

范例：

<configuration>
    <property>
        <name> mapreduce.jobhistory.address</name>
        <value>192.168.1.100:10200</value>
        <description>IP地址192.168.1.100可替换为主机名</description>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>192.168.1.100:19888</value>
        <description>IP地址192.168.1.100可替换为主机名</description>
    </property>
    <property>
        <name>mapreduce.jobhistory.intermediate-done-dir</name>
        <value>/usr/local/hadoop/mr­history/tmp</value>
        <description>在历史文件被写入由MapReduce作业</description>
    </property>
    <property>
        <name>mapreduce.jobhistory.done-dir</name>
        <value>/usr/local/hadoop/mr­history/done</value>
        <description>目录中的历史文件是由MR JobHistoryServer管理</description>
    </property>
</configuration>

Web Interface

DaemonWeb InterfaceNotes
NameNodehttp://nn_host:port/默认端口号50070
ResourceManagerhttp://rm_host:port/默认端口号8088
MapReduce JobHistory Serverhttp://jhs_host:port/默认端口号19888
Crazer.
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop的配置文件详解
xiao_xiao_b的博客
06-17 1155
注：我的示范代码种三台机器的名字为node1、node2、node3，示范代码中需要替换成你自己的 1、slaves node1 node2 node3 hadoop3.0以后slaves更名为workers了 2、hadoop-env.sh # 由于hadoop是基于java语言的程序，所以，需要配置JDK export JAVA_HOME=/server/jdk1.8.0_171 3、...
hadoop的调优参数，性能优化
ZHANG：X
07-25 1859
~~ Hadoop性能调优，性能优化 ~~ 核心答案讲解： Hadoop参数调优 一、 hdfs-site.xml 配置文件 1、 dfs.blocksize 参数：hadoop文件块大小 描述：新文件的默认块大小，以字节为单位，默认 134217728 字节。 可以使用以下后缀(大小写不敏感):k(kilo)、m(mega)、g(giga)、t(tera)、p(peta)、e(exa)...
Linux——深度解析IO文件流缓冲区问题（原理详解+代码手撕）
广西彭于晏的博客
07-13 456
缓冲区 (buffer)，它是内存空间的一部分。也就是说，在内存空间中预留了一定的存储空间，这些存储空间用来缓冲输入或输出的数据，这部分预留的空间就叫做缓冲区，显然缓冲区是具有一定大小的重定向到文件导致：刷新策略改变（变成全缓冲）写时拷贝：父子进程各自刷新一次。
关于hdfs-site.xml的dfs.replication属性
祥仔的专栏
08-29 9639
1.dfs.replication属性的一些概念 dfs.replication是个client参数，即node level参数，需要在每台datanode上设置。默认为3个副本已经够用了，设置太多也没什么用。 Hadoop的备份系数是指每个block在hadoop集群中有几份，系数越高，冗余性越好，占用存储也越多。备份系数在hdfs-site.xml中定义，默认值为 如果你只有3个datano...
hadoop优化参数说明
u010316405的专栏
11-01 2205
io.file.buffer.size hadoop访问文件的IO操作都需要通过代码库。因此，在很多情况下，io.file.buffer.size都被用来设置缓存的大小。不论是对硬盘或者是网络操作来讲，较大的缓存都可以提供更高的数据传输，但这也就意味着更大的内存消耗和延迟。这个参数要设置为系统页面大小的倍数，以byte为单位，默认值是4KB，一般情况下，可以设置为64KB（65536byte）
hadoop2.0配置文件详解
bxfsoftware的专栏
03-13 371
  转至：http://www.cnblogs.com/yinghun/p/6230436.html Hadoop运行模式分为安全模式和非安全模式，在这里，我将讲述非安全模式下，主要配置文件的重要参数功能及作用，本文所使用的Hadoop版本为2.6.4。 etc/hadoop/core-site.xml 参数 属性值 解释 fs.defaultFS NameN...
(转)HDFS里Datanode上block大小的设置问题
yizich的专栏
06-28 453
转载自：http://blog.csdn.net/pear_zi/article/details/8082752 在HDFS里面，data node上的块大小默认是64MB(或者是128MB或256MB)   问题: 为什么64MB(或128MB或256MB)是最优选择？ 1.为什么不能远少于64MB(或128MB或256MB) （普通文件系统的数据块大小一般为4KB） a.减少硬盘...
Hadoop--HDFS详解（三）
qq_41301707的博客
12-06 943
Hadoop--HDFS详解（三） 一.副本放置策略 HDFS的副本放置个数是由dfs.replizhuangtacation 这个参数配置的，dfs.replication默认值是3，在生产环境下默认三个就可以了。 三个副本的存放位置： 1.如果上传文件的节点存在dn，第一份副本则存放在本节点上面，如果上传文...
hadoop配置文件参数详解1
08-08
Hadoop 配置文件参数详解 Hadoop 配置文件是 Hadoop 集群的核心组件之一，它们控制着 Hadoop 集群的行为和性能。Hadoop 配置文件主要包括 core-site.xml、hdfs-site.xml 和 mapred-site.xml 三个配置文件。这些配置...
hadoop基于Linux7的安装配置图文详解
09-14
- 编辑`etc/hadoop`目录下的配置文件，如`core-site.xml`, `hdfs-site.xml`, `mapred-site.xml`, 和 `yarn-site.xml`，设置相关的参数，如HDFS的名称节点、数据节点，MapReduce的资源管理器等。 - 修改` slaves`...
hadoop集群各种配置文件
09-21
在构建和管理Hadoop集群时，配置文件是至关重要的，它们定义了集群的行为、性能参数以及节点间的通信方式。以下是对这些配置文件的详细解析： 首先，`core-site.xml`是Hadoop的核心配置文件，它定义了基础的系统...
hadoop的安装、配置.doc
07-01
Hadoop的安装和配置涉及多个步骤，包括环境准备、Hadoop源码编译、配置文件设定、启动服务等。安装过程中需注意硬件和网络环境的设置，以确保集群的稳定运行。配置时要根据实际需求调整各项参数，如副本数量、内存...
hadoop集群配置详解
12-01
在这个详解中，我们将深入理解如何在Fedora和Ubuntu系统上搭建一个Hadoop集群。 首先，为了确保集群中的节点能够相互识别，我们需要配置静态IP地址。在Ubuntu系统中，可以通过图形界面进行配置，而在Fedora系统中，...
HDFS的dfs.replication不同验证
qq85609655的博客
12-12 456
HDFS的dfs.replication不同验证   集群只有三个Datanode，hadoop系统replication=4时，会出现什么情况？文件块只有三份，hadoop fsck -locations 如图所示：        对于上传文件到hdfs上时，当时hadoop的副本系数是几，这个文件的块数副本数就会有几份，无论以后你怎么更改系统副本系统，这个文件...
Hadoop维护实战-设置hdfs副本数 dfs.replication
weixin_34378045的博客
02-15 1718
Hadoop维护实战设置hdfs副本数 dfs.replication有个临时应用，使用临时调配的机器，机器磁盘差别数十倍。在使用hadoop存储数据时导致小磁盘机器使用率达80%多，而大磁盘机器使用不过才10%多一点。明显的hadoop集群各datanode空间使用率很不均衡，需要重新balance。于是想到了hdfs的均衡器balancer。sbin/start-bal...
Hadoop配置文件
PeixinYe的博客
03-12 1072
配置文件：core-site.xmlhadoop.tmp.dir表示存放临时数据的目录，即包括NameNode的数据，也包括DataNode的数据。该路径任意指定，只要实际存在该文件夹即可；name为fs.defaultFS的值，表示hdfs路径的逻辑名称；配置文件：hdfs-site.xmldfs.replication表示副本的数量；dfs.namenode.name.dir表示本地磁盘目录，...
hadoop的dfs.replication
weixin_34302798的博客
04-18 769
首先 dfs.replication这个参数是个client参数，即node level参数。需要在每台datanode上设置。其实默认为3个副本已经够用了，设置太多也没什么用。 一个文件，上传到hdfs上时指定的是几个副本就是几个。以后你修改了副本数，对已经上传了的文件也不会起作用。可以再上传文件的同时指定创建的副本数hadoop dfs -D dfs.replication=1 -put 7...
Hadoop参数汇总
01-04 1830
Hadoop参数汇总 @(hadoop)[配置] linux参数 以下参数最好优化一下： 文件描述符ulimit -n 用户最大进程 nproc （hbase需要 hbse book） 关闭swap分区 设置合理的预读取缓冲区 Linux的内核的IO调度器 JVM参数 JVM方面的优化项Hadoop Performance Tuning Guide Hadoop参数大全 适用
hadoop配置文件详解
最新发布
09-08
Hadoop配置文件是用来配置Hadoop集群的参数和属性的文件。它们位于Hadoop安装目录的`etc/hadoop`文件夹中。以下是一些常见的Hadoop配置文件及其详解： 1. **core-site.xml**: 这个配置文件包含了Hadoop核心的配置...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值