Hadoop集群各类参数配置详解

最新推荐文章于 2024-04-07 21:52:05 发布
最新推荐文章于 2024-04-07 21:52:05 发布
阅读量4.8k 收藏 18
点赞数 3
分类专栏： DataSet_Conf 文章标签： hadoop hdfs big data
懒羊羊
本文链接：https://blog.csdn.net/kangqiao0422/article/details/121249508
版权

Hadoop集群各类参数配置详解

1. 参数配置说明

core-site.xml参数配置详情

官方文档：http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/core-default.xml

core-default.xml与core-site.xml的功能是一样的，如果在core-site.xml里没有配置的属性，则会自动会获取core-default.xml里的相同属性的值

属性值说明
fs.default.namehdfs://???定义master的URI和端口
hadoop.tmp.dir/???临时文件夹，指定后需将使用到的所有子级文件夹都要手动创建出来，否则无法正常启动服务。

hdfs-site.xml参数配置详情

属性值说明
dfs.replication???hdfs数据块的复制份数，默认3，理论上份数越多跑数速度越快，但是需要的存储空间也更多。
dfs.namenode.name.dirfile:/usr/hadoop/hadoop-2.7.3/hdfs/???NN所使用的元数据保存
dfs.datanode.data.dirfile:/usr/hadoop/hadoop-2.7.3/hdfs/???真正的datanode数据保存路径，可以写多块硬盘，逗号分隔

yarn-site.xml参数配置详情

属性值说明
yarn.resourcemanager.admin.address${yarn.resourcemanager.hostname}:18141ResourceManager 对管理员暴露的访问地址。管理员通过该地址向RM发送管理命令等。
yarn.nodemanager.aux-servicesmapreduce_shuffleNodeManager上运行的附属服务。需配置成mapreduce_shuffle，才可运行MapReduce程序

mapred-site.xml参数配置详情

属性值说明
mapreduce.framework.nameyarn指定MR运行框架，默认为local

Hadoop是由Java语言编写的，在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架，其核心部件是HDFS与MapReduce。

  • HDFS是一个分布式文件系统：引入存放文件元数据信息的服务器Namenode和实际存放数据的服务器Datanode，对数据进行分布式储存和读取。
  • MapReduce是一个计算框架：MapReduce的核心思想是把计算任务分配给集群内的服务器里执行。通过对计算任务的拆分（Map计算/Reduce计算）再根据任务调度器（JobTracker）对任务进行分布式计算。
配置文件配置对象主要内容
hadoop-env.shhadoop运行环境用来定义Hadoop运行环境相关的配置信息；
core-site.xml集群全局参数定义系统级别的参数，包括HDFS URL、Hadoop临时目录等；
hdfs-site.xmlHDFS参数定义名称节点、数据节点的存放位置、文本副本的个数、文件读取权限等；
mapred-site.xmlMapReduce参数包括JobHistory Server 和应用程序参数两部分，如reduce任务的默认个数、任务所能够使用内存的默认上下限等；
yarn-site.xml集群资源管理系统参数配置ResourceManager ，nodeManager的通信端口，web监控端口等；

Hadoop的配置类是由资源指定的，资源可以由一个String或Path来指定,资源以XML形式的数据表示，由一系列的键值对组成。资源可以用String或path命名（示例如下），

  • String:指示hadoop在classpath中查找该资源；
  • Path:指示hadoop在本地文件系统中查找该资源。
<configuration>
<property>
  <name>fs.default.name</name>
   <value>????</value>
</property>
</configuration>

@Author：懒羊羊

2. 常用属性解析

1.core-site.xml参数

配置参数说明
fs.default.name用于指定NameNode的地址
hadoop.tmp.dirHadoop运行时产生文件的临时存储目录

2.hdfs-site.xml

配置参数说明
dfs.replication用于指定NameNode的地址
dfs.namenode.name.dirNameNode在本地文件系统中持久存储命名空间和事务日志的路径
dfs.datanode.data.dirDataNode在本地文件系统中存放块的路径
dfs.permissions集群权限系统校验
dfs.datanode.use.datanode.hostnamedatanode之间通过域名方式通信

注意：外域机器通信需要用外网IP，未配置hostname访问会访问异常。可以在Java api客户端使用conf.set("fs.client.use.datanode.hostname","true");。

3.mapreduce-site.xml

配置参数说明
mapreduce.framework.name指定执行MapReduce作业的运行时框架。属性值可以是local，classic或yarn。

4.yarn-site.xml

配置参数说明
yarn.resourcemanager.admin.address用于指定RM管理界面的地址（主机:端口）
yarn.nodemanager.aux-servicesmapreduce 获取数据的方式，指定在进行mapreduce作业时，yarn使用mapreduce_shuffle混洗技术。这个混洗技术是hadoop的一个核心技术，非常重要。
yarn.nodemanager.auxservices.mapreduce.shuffle.class用于指定混洗技术对应的字节码文件，值为org.apache.hadoop.mapred.ShuffleHandler

@Author：懒羊羊

3. 配置文件编写

3.1 hadoop-env.sh

用于定义hadoop运行环境相关的配置信息，比如配置JAVA_HOME环境变量、为hadoop的JVM指定特定的选项、指定日志文件所在的目录路径以及master和slave文件的位置等

一般存放于二级/etc/hadoop下

# JAVA_HOME环境变量
echo export JAVA_HOME=JAVA文件存放目录 >> hadoop-env.sh

3.2 core-site.xml

用于定义系统级别的参数，指定HDFS上NN地址为master，端口9000，如HDFS URL、Hadoop的临时目录以及用于rack-aware集群中的配置文件的配置等，此中的参数定义会覆盖core-default.xml文件中的默认配置；

完全分布式
<configuration>
		<!--设置全局参数，指定HDFS上NN地址为master，端口9000-->
        <property>
                <name>fs.default.name</name>
                <value>hdfs://master:9000</value>
        </property>
        <!--指定HDFS执行时的临时目录，指定NameNode、DataNode、JournalNode等存放数据的公共目录。用户也可以自己单独指定这三类节点的目录。以下的/hdfs/tmp目录与文件都是自己创建的 -->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/hadoop/hadoop-2.7.3/hdfs/tmp</value>
                <description>A base for other tempory directories</description>
        </property>
        <property>
                <name>io.file.buffer.size</name>                                       
                <value>131072</value>
            		<final>4096</final>
            <description>流文件的缓冲区为4K</description>
        </property>
        <property>
                <name>fs.checkpoint.period</name>
                <value>60</value>
        </property>
        <property>
                <name>fs.checkpoint.size</name>
                <value>67108864</value>
        </property>
</configuration>
HA高可用
<configuration>
	<property>
	<!--指定hadoop集群在zookeeper上注册的节点名时，默认的HDFS路径-->
		<name>fs.defaultFS</name>
		<value>hdfs://hacluster</value>
	</property>
    <!--指定HDFS执行时的临时目录，指定NameNode、DataNode、JournalNode等存放数据的临时目录。用户也可以自己单独指定这三类节点的目录。以下的/tmp目录与文件都是自己创建的 -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/root/hadoopData/tmp</value>
	</property>
	<property>
       <!--流文件的缓冲区大小，默认4kb-->
       <name>io.file.buffer.size</name>
       <value>4096</value>
    </property>
    <property>
       <!--指定zookeeper的存放地址：端口，注意：数量一定是奇数，且不少于三个节点 -->
       <name>ha.zookeeper.quorum</name>
       <value>master:2181,slave1:2181,slave2:2181</value>
    </property>
</configuration>

3.3 hdfs-site.xml

HDFS的相关设定，如文件副本的个数、块大小及是否使用强制权限等，此中的参数定义会覆盖hdfs-default.xml文件中的默认配置；

完全分布式
<configuration>
		<!--指定hdfs参数，保存数据副本的数量，默认为3，如果是hadoop的伪分布式模式，此值必须为1-->
		<property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>
        <property>
		<!--namenode名称节点在本地文件系统数据的存放位置，可以指定多个目录实现容错，用逗号分隔-->
                <name>dfs.namenode.name.dir</name>
                <value>file:/usr/hadoop/hadoop-2.7.3/hdfs/name</value>
                <final>true</final>
        </property>
        <property>
        <!--datanode数据节点存储数据块时存储在本地文件系统数据的存放位置，可以指定多个目录实现"扩容"，用逗号分隔-->
                <name>dfs.datanode.data.dir</name>
                <value>file:/usr/hadoop/hadoop-2.7.3/hdfs/data</value>
                <final>true</final>
        </property>
    	<!-- 定义HDFS对应的HTTP服务器地址和端口 -->
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>master:50090</value>
        </property>
    	<!--是否通过http协议读取hdfs文件，如果选是，则集群安全性较差-->
        <property>
                <name>dfs.webhdfs.enabled</name>
                <value>true</value>
        </property>
    	<!--hdfs文件操作权限,false为不验证，关闭集群权限校验，允许其他用户连接集群-->
        <property>
                <name>dfs.permissions</name>
                <value>false</value>
        </property>
   		 <!--指定datanode之间通过域名进行通信-->
        <property>
                <name>dfs.datanode.use.datanode.hostname</name>
                <value>true</value>
        </property>
</configuration>
HA高可用
<configuration>
    <property>
       <!--指定hadoop集群在zookeeper上注册的节点名，相当于给hdfs起个名字-->
		<name>dfs.nameservices</name>
   		<value>hacluster</value>
	</property>
	<property>
       <!--指定DataNode存储block块默认大小128M-->
        <name>dfs.block.size</name>
        <value>134217728</value>
	</property>
	<property>
		<!--副本数量，不配置的话默认为3-->
		<name>dfs.replication</name>
		<value>3</value>
	</property>
	<property>
		<!--namenode节点数据（元数据）的存放位置-->
		<name>dfs.namenode.name.dir</name>
		<value>file:/root/hadoopData/name</value>
	</property>
	<property>
		<!--datanode节点数据（元数据）的存放位置-->
		<name>dfs.datanode.data.dir</name>
		<value>file:/root/hadoopData/data</value>
	</property>
       <!--是否通过http协议读取hdfs文件，如果选是，则集群安全性较差-->
	<property>
		<name>dfs.webhdfs.enabled</name>
   		<value>true</value>
   	</property>
	<property>
		<name>dfs.datanode.max.transfer.threads</name>
   		<value>4096</value>
    </property>
	<property>
	<!-- 指定NameService为hacluster时，集群下有两个namenode，分别为nn1,nn2，这里的值是逻辑名称，名字随便起，相互不重复即可 -->
		<name>dfs.ha.namenodes.hacluster</name>
		<value>nn1,nn2</value>
   </property>
	<!-- 指定nn1的RPC地址，表明nn1的rpc、servicepc和http通信 -->
	<property>
       <name>dfs.namenode.rpc-address.hacluster.nn1</name>
       <value>master:9000</value>
    </property>
	<property>
       <name>dfs.namenode.servicepc-address.hacluster.nn1</name>
       <value>master:53310</value>
    </property>
    <!--指定nn1的http地址--> 
	<property>
		<name>dfs.namenode.http-address.hacluster.nn1</name>
   		<value>master:50070</value>
    </property>
	<!-- 指定nn2的RPC地址，表明nn2的rpc、servicepc和http通信 -->
	<property>
		<name>dfs.namenode.rpc-address.hacluster.nn2</name>
   		<value>slave1:9000</value>
   	</property>
	<property>
		<name>dfs.namenode.servicepc-address.hacluster.nn2</name>
   		<value>slave1:53310</value>
   	</property>
    <!--指定nn2的http地址-->
	<property>
       <name>dfs.namenode.http-address.hacluster.nn2</name>
       <value>slave1:50070</value>
    </property>
	<property>
<!-- 指定hacluster上两个namenode共享edits文件目录时，使用的JournalNode的集群信息 -->
		<name>dfs.namenode.shared.edits.dir</name>
 		<value>qjournal://master:8485;slave1:8485;slave1:8485/hacluster</value>
     </property>
	<property>
		<!-- 指定JournalNode集群在对NameNode的目录进行共享时，自己存储数据的磁盘路径。dfs路径是自己创建，journalnode_data是启动journalnode自动生成在本地磁盘存放数据的位置 -->
		<name>dfs.journalnode.edits.dir</name>
   		<value>/opt/software/hadoop-2.7.7/dfs/journalnode_data</value>
    </property>
	<property>
		<!-- namenode操作日志的存放位置 -->
		<name>dfs.namenode.edits.dir</name>
    	<value>/opt/software/hadoop-2.7.7/dfs/edits</value>
    </property>
	<property>
		<!-- 开启namenode故障转移自动切换 -->
		<name>dfs.ha.automatic-failover.enabled</name>
   		<value>true</value>
    </property>
    <property>
		<!-- 配置失败自动切换实现方式 -->
		<name>dfs.client.failover.proxy.provider.hacluster</name>
		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
	<property>
         <!-- 配置隔离机制，一旦需要NameNode切换，使用ssh方式进行操作 -->
		<name>dfs.ha.fencing.methods</name>
    	<value>sshfence</value>
    	<value>shell(true)</value>
    </property>
		<property>
			<!-- 如果使用ssh进行故障切换，使用ssh通信时用的密钥存储的位置-->
			<name>dfs.ha.fencing.ssh.private-key-files</name>
   			<value>/root/.ssh/id_rsa</value>
   		</property>
        <property>
            <!--hdfs文件操作权限,false为不验证-->
            <name>dfs.permissions</name> 
            <value>false</value>
        </property>
     	<property>
             <!--指定datanode之间通过域名进行通信-->
             <name>dfs.datanode.use.datanode.hostname</name>
             <value>true</value>
        </property>
</configuration>

3.4 yarn-site.xml

完全分布式
<configuration>
    <!--ResourceManager 提供给客户端访问的地址。客户端通过该地址向RM提交应用程序，杀死应用程序等-->
        <property>
                <name>yarn.resourcemanager.address</name>
                <value>master:18040</value>
        </property>
    <!--ResourceManager提供给ApplicationMaster的访问地址。ApplicationMaster通过该地址向RM申请资源、释放资源等-->
        <property>
                <name>yarn.resourcemanager.scheduler.address</name>
                <value>master:18030</value>
        </property>
    <!--ResourceManager对 web 服务提供地址。用户可通过该地址在浏览器中查看集群各类信息-->
        <property>
                <name>yarn.resourcemanager.webapp.address</name>
                <value>master:18088</value>
        </property>
    <!--ResourceManager 提供给 NodeManager的地址,NodeManager通过该地址向RM汇报心跳，领取任务等-->
        <property>
                <name>yarn.resourcemanager.resource-tracker.address</name>
                <value>master:18025</value>
        </property>
    <!--ResourceManager 提供给 admin 管理员的访问地址。管理员通过该地址向RM发送管理命令等。-->
        <property>
                <name>yarn.resourcemanager.admin.address</name>
                <value>master:18141</value>
        </property>
        <!--指定NodeManager获取数据的方式和运行的附属服务。需配置成mapreduce_shuffle，才可运行MapReduce程序-->
        <property>
                <name>yarn.nodemanager:aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
    <!-- 通过该配置项，用户可以自定义一些服务，例如Map-Reduce的shuffle功能就是采用这种方式实现的，这样就可以在NodeManager上扩展自己的服务。用于指定混洗技术对应的字节码文件，值为org.apache.hadoop.mapred.ShuffleHandler-->
        <property>
                <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
                <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
</configuration>
HA高可用
<configuration>
    <property>
    	<!-- 开启Yarn高可用 -->
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
	<property>
		<!-- 指定Yarn集群在zookeeper上注册的节点名 -->
		<name>yarn.resourcemanager.cluster-id</name>
    	<value>hayarn</value>
	</property>
    <property>
    <!-- 指定两个ResourceManager的名称 -->
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>
    <property>
    <!-- 指定rm1的主机 -->
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>slave1</value>
    </property>  
    <property>
    <!-- 指定rm2的主机 -->
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>slave2</value>
    </property>
    <property>
    <!-- 配置zookeeper的地址：端口 -->
        <name>yarn.resourcemanager.zk-address</name>
        <value>master:2181,slave1:2181,slave2:2181</value>
    </property>
    <property>
    <!-- 开启Yarn恢复机制 -->
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property>
    <property>
    <!-- 配置执行ResourceManager恢复机制实现类 -->
        <name>yarn.resourcemanager.store.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
    </property>
    <property>
    <!--指定主resourcemanager的地址-->
        <name>yarn.resourcemanager.hostname</name>
        <value>slave2</value>
    </property>
    <property>
    <!--NodeManager获取数据的方式-->
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
       <!--开启日志聚集功能-->
       <name>yarn.log-aggregation-enable</name>
       <value>true</value>
    </property>
    <property>
       <!--配置日志保留7天-->
       <name>yarn.log-aggregation.retain-seconds</name>
       <value>604800</value>
    </property>
</configuration>

3.5 mapred-site.xml

HDFS的相关设定，如reduce任务的默认个数、任务所能够使用内存的默认上下限等，此中的参数定义会覆盖mapred-default.xml文件中的默认配置；

完全分布式
# 修改文件名
cp mapred-site.xml.template mapred-site.xml

<configuration>
	<property>
        <!--指定mapreduce运行在yarn上-->
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
HA高可用
<configuration>
    <property>  
    <!--指定mapreduce运行在yarn上-->
    	<name>mapreduce.framework.name</name>
    	<value>yarn</value>
    </property>
    <property>
       <!--配置任务历史服务器地址-->
       <name>mapreduce.jobhistory.address</name>
       <value>master:10020</value>
    </property>
    <property>
       <!--配置任务历史服务器web-UI地址-->
       <name>mapreduce.jobhistory.webapp.address</name>
       <value>master:19888</value>
    </property>
        <property>
                <name>mapreduce.map.cpu.vcores</name>
                <value>2</value>
                <description>每个MapTask容器申请的核心数；默认1</description> 
        </property>   
        <property>
                <name>mapreduce.map.memory.mb</name>
                <value>4096</value>
                <description>每个Maptask容器申请的内存大小；默认1G</description> 
        </property>
        <property>
                <name>mapreduce.map.java.opts</name>
                <value>-Xmx3072m</value>
                <description>map使用的JVM的堆大小heapsize；根据单个mapper/reducer容器内存进行调整，heapsize不能大于单个mapper/reducer容器内存值，一般设置为mapreduce.map.memory.mb的85%左右</description> 
        </property>
    <property>
        <!--开启uber模式,如果每次运行时间很短,但是运行次数很多,会重复的开启和销毁JVM,
开启Uber可以复用JVM，避免频繁的开关致使JVM资源浪费。-->
        <name>mapreduce.job.ubertask.enable</name>
        <value>true</value>
    </property>
    
<!--reduce阶段的设置 -->
        <property>
                <name>mapreduce.reduce.cpu.vcores</name>
                <value>2</value>
                <description>每个ReduceTask容器申请的核心数；默认1</description> 
        </property> 
        <property>
                <name>mapreduce.reduce.memory.mb</name>
                <value>8192</value>
                <description>Reduce task申请的内存大小</description> 
        </property>             
        <property>
                <name>mapreduce.reduce.java.opts</name>
                <value>-Xmx6144m</value>
                <description>Reduce阶段的JVM的堆大小；同上</description>
        </property>
</configuration>

3.6 master

hadoop的secondary-masters主机列表，当启动Hadoop时，其会在当前主机上启动NameNode和JobTracker，然后通过SSH连接此文件中的主机以作为备用NameNode;

echo master > master

3.7 slaves

Hadoop集群的slave主机列表，master启动时会通过SSH连接至此列表中的所有主机并为其启动DataNode和taskTracker进程；

vim slaves

slave1
slave2
......

@Author：懒羊羊

4. 更多配置信息

上述对hadoop的配置，大致可以涵盖日常工作使用，但想作为一名优秀的ha集群管理员，这些事远远不够的，推荐大家熟悉和掌握以下四个文档中十分之八九的配置信息，这样才能游刃有余的解决大数据集群系统在运行过程中遇到的各类问题。如下给出了ha集群全部配置信息方法获取：

4.1 官方文档

通过hadoop官方网址查询，网址如下：

core-site.xml

http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/core-default.xml

hdfs-site.xml

http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

yarn-site.xml

http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

mapred-site.xml

http://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml

通过上述网址，可以了解到最新的 hadoop 文件配置信息，其中也包含了一些过时的定义标识，通过阅读使用应该会更好的提高您的集群维护能力。

4.2 集群工具查询

配置好集群后，可以通过http://IP地址:18088/conf，查看集群参数，其中：

  • IP地址为yarn.resourcemanager.webapp.address配置项的地址，
  • 18088为该配置项设置的端口。

@Author：懒羊羊

会撸代码的懒羊羊
关注
  • 3
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
详解搭建ubuntu版hadoop集群
09-15
【搭建Ubuntu版Hadoop集群详解】 在本文中，我们将详细阐述如何在Ubuntu 16.04环境下搭建Hadoop集群。Hadoop是一个开源的分布式计算框架，它允许处理和存储大量数据，尤其适合大数据分析。Ubuntu是Linux发行版中的...
hadoop配置文件参数详解1
08-08
Hadoop 配置文件参数详解 Hadoop 配置文件是 Hadoop 集群的核心组件之一，它们控制着 Hadoop 集群的行为和性能。Hadoop 配置文件主要包括 core-site.xml、hdfs-site.xml 和 mapred-site.xml 三个配置文件。这些配置...
hadoop作业调优参数整理及原理
jackfor001的专栏
02-18 957
1 Map side tuning参数1.1 MapTask运行内部原理<br /><br />当map task开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂，并且利用到了内存buffer来进行已经产生的部分结果的缓存，并在内存buffer中进行一些预排序来优化整个map的性能。如上图所示，每一个map都会对应存在一个内存buffer（MapOutputBuffer，即上图的buffer in memory），map会将已经产生的部分结果先写入到该buffer中
Hadoop集群的配置调优
weixin_33809981的博客
08-06 102
2019独角兽企业重金招聘Python工程师标准>>> ...
Hadoop基础——HDFS的基础和部署
最新发布
Ashenlex的博客
04-07 981
HDFS分布式文件存储系统: 负责海量数据的存储工作MapReduce分布式计算框架: 负责海量数据的计算工作Yarn分布式资源调度工具: 负责分布式集群的资源调度工作。
【大数据】Hadoop完全分布式配置（超详细）
X10的博客
01-03 4872
Hadoop完全分布式配置-具体步骤如下默认前提：1.在Windows平台下安装Vmware平台（默认已经安装）2.在Vmware平台上安装Linux操作系统（默认已经安装）这里我已安装的是 Vmware16 和 CentOS7.整理流程我参考的是centos6的文档，centos7的命令与其不同。如修改主机名、关闭防火墙等centos7无法连接Xshell的情况。
Hadoop操作HDFSAPI 错误org.apache.hadoop.ipc.RemoteException(java.io.IOException)
jim8973的博客
01-12 2979
客户端操作HDFS的API的时候,出现如下错误 org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /hdfsapiv2/order_created.txt could only be replicated to 0 nodes instead of minReplication (=1). There are 1 da...
Hadoop之mapreduce参数大全-1
m0_49620121的博客
01-03 1314
需要注意的是，设置合理的超时时间可以避免Reduce任务在shuffle阶段的fetch操作中无限重试，从而影响任务的执行效率。需要注意的是，设置合理的重试间隔时间可以平衡任务的容错能力和性能。需要注意的是，设置过大的无条件抢占延迟时间可能会导致任务执行时间变长，而设置过小的无条件抢占延迟时间可能会导致频繁的无条件任务抢占对任务执行造成影响。需要注意的是，指定的临时文件存储目录需要具备足够的空间来存储MapReduce任务生成的临时文件，并且需要具备适当的权限，以便MapReduce可以读写这些文件。
Hadoop配置项整理
weixin_30500663的博客
07-10 317
记录一下Hadoop的配置和说明，用到新的配置项会补充进来，不定期更新。以配置文件名划分 以hadoop 1.x配置为例 core-site.xml name value Description fs.default.name hdfs://hadoopmaster:9000 定义HadoopMaster的URI和端口 ...
hadoop参数说明
云计算?
03-05 308
一般来说，hadoop主要有三个默认参数文件，分别为core-default.xml，hdfs-default.xml，mapred-default.xml。其它需要用户配置的参数文件为core-site.xml，hdfs-site.xml，mapred-site.xml，下面分别介绍下相关参数的含义 三个重要配置文件1，core-site.xml [node1 conf]$ cat core...
Hadoop集群的安装与配置
08-11
【Hadoop集群安装与配置详解】 在大数据处理领域，Apache Hadoop是一个不可或缺的开源框架，它主要用于存储和处理海量数据。本指南将详细介绍如何在基于CentOS 6.5的操作系统上搭建和配置Hadoop集群，包括IP配置、...
hadoop配置参数
09-07
搭建hadoop集群之前，我们可以先搭建单台的hadoop，这里是其配置文件，版本号hadoop2.2.0
hadoop 参数配置
06-25
hadoop参数配置手册，包含hadoop2.6.0详细参数，需要的可以下载了解一下
hadoop集群配置详解
12-01
在这个详解中，我们将深入理解如何在Fedora和Ubuntu系统上搭建一个Hadoop集群。 首先，为了确保集群中的节点能够相互识别，我们需要配置静态IP地址。在Ubuntu系统中，可以通过图形界面进行配置，而在Fedora系统中，...
hadoop集群各种配置文件
09-21
在构建和管理Hadoop集群时，配置文件是至关重要的，它们定义了集群的行为、性能参数以及节点间的通信方式。以下是对这些配置文件的详细解析： 首先，`core-site.xml`是Hadoop的核心配置文件，它定义了基础的系统...
linux 集群配置,Linux 集群配置参数小结
weixin_29331985的博客
05-14 239
原标题：Linux 集群配置参数小结众所周知，在RHEL6上LINUX集群服务(RHCS)提供了ricci和luci两个好伙伴，可以很方便地通过远程管理界面进行集群的轻松配置。然而对于早已熟悉LINUX字符管理界面的系统管理员来说，我们更乐于直接检查及修改对应的集群配置文件cluster.conf，在很多场景下，直接修改配置文件的方式也更便于我们日常的维护。不过当你打开cluster.conf文件...
Hadoop：yarn资源配置
web15536243458的博客
08-17 1499
举个例子：公司5台服务器，每台服务器是16核，64G内存，一般会预留20%内存，64x0.8=51.2，内存就按50算，如果机器性能很好，1物理cpu核可以模拟2虚拟核使用，这是yarn自己引入的概念，那就是16x2=32个vcores。不管是spark on yarn还是flink on yarn都是将任务提交后，在yarn上申请运行任务的容器，这个容器就是container，container由内存跟cpu核组成。如果设置min_vcoure = 1，那么最多可以跑32/1=32个container。.
Hadoop源码分析（6）
qq_39210987的博客
11-08 148
1、 hadoop配置文件处理 在（5）中分析了namenode的启动，在创建namenode对象前，会先创建一个HdfsConfiguration对象。其代表了hadoop对配置文件的处理。 （5）中分析到了HdfsConfiguration和其父类Configuration都有一段静态代码块。在HdfsConfiguration的静态代码块中会有一个addDeprecatedKeys方法，这个方法会调用其父类的静态方法addDeprecations，并创建一个包含数据的DeprecationDelta数
Hadoop参数配置超详细解析
IT晓白
10-09 291
hadoop参数配置
hadoop安装与配置详解
11-05
hadoop是一个开源的分布式计算平台，它可以处理大规模数据集并行计算。下面是hadoop的安装与配置详解： 1. 下载hadoop安装包，可以从官网或者镜像站点下载，下载地址为：https://archive.apache.org/dist/hadoop/common/ 2. 解压hadoop安装包，可以使用以下命令解压：tar -zxvf hadoop-x.x.x.tar.gz 3. 配置hadoop环境变量，可以在/etc/profile文件中添加以下内容： export HADOOP_HOME=/path/to/hadoop export PATH=$PATH:$HADOOP_HOME/bin 4. 配置hadoop集群，可以在hadoop的conf目录下修改以下配置文件： core-site.xml：配置hadoop的核心参数，如文件系统、端口等。 hdfs-site.xml：配置hadoop分布式文件系统的参数，如副本数、块大小等。 mapred-site.xml：配置hadoop的MapReduce参数，如任务跟踪器、任务分配器等。 yarn-site.xml：配置hadoop的资源管理器和节点管理器的参数。 5. 启动hadoop集群，可以使用以下命令启动： start-dfs.sh：启动hadoop分布式文件系统。 start-yarn.sh：启动hadoop资源管理器和节点管理器。 6. 验证hadoop集群是否正常运行，可以使用以下命令： jps：查看hadoop进程是否启动。 hadoop fs -ls /：查看hadoop分布式文件系统根目录下的文件列表。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

会撸代码的懒羊羊

打赏5元，买杯咖啡醒，继续创作

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值