![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
代码
bu想起名字
这个作者很懒,什么都没留下…
展开
-
Yarn资源调度器
Yarn资源调度器Hadoop的作业调度器主要有三种:FIFO,Capcity Schedule和Fair Schedule.默认的调度器是Capcity Schedule,存放在yarn-default.xml文件中FIFO调度器容量调度器支持多个队列,每个队列可以配置一定的资源量,每个队列采用fifo调度策略为了防止同一用户的作业独占队列中的资源,该调度器会对同一用户提交的作业所占的资源量进行限定.最闲的队列计算方法,task/资源百分比队列内任务的排序按照作原创 2020-10-08 09:00:00 · 137 阅读 · 0 评论 -
hadoop的3.0.0-3.0.1 内部端口的变更
hadoop3.0.0 hadoop3.0.1原创 2020-09-03 11:19:31 · 430 阅读 · 0 评论 -
Hadoop搭建模板机准备
搭建模板机目录搭建模板机1)准备一台模板虚拟机hadoop100,虚拟机配置要求如下:注:本文Linux系统环境全部以CentOS-7.5-x86-1804为例说明模板虚拟机:内存4G,硬盘50G,安装必要环境,为安装hadoop做准备使用yum安装需要虚拟机可以正常上网,yum安装前可以先测试下虚拟机联网情况[root@hadoop100 ~]# ping www.baidu.comPING www.baidu.com (14.215.177.39) 56(84) byte原创 2020-09-03 09:51:21 · 202 阅读 · 0 评论 -
虚拟内存检查问题
报出的问题: 报错的原因,虚拟内存超出了限制,虚拟内存不同于物理内存,可以超出,所以我们在这里要配置允许超过。Container [pid=3007,containerID=container_1599018748796_0004_01_000004] is running 342252032B beyond the 'VIRTUAL' memory limit. Current usage: 416.0 MB of 1 GB physical memory used; 2.4 GB of 2.1原创 2020-09-02 19:55:12 · 479 阅读 · 0 评论 -
项目经验之Hadoop参数调优
1)HDFS参数调优hdfs-site.xmldfs.namenode.handler.count=20×logeCluster Size ,比如集群规模为8台时,此参数设置为41The number of Namenode RPC server threads that listen to requests from clients. If dfs.namenode.servicerpc-address is not configured then Namenode RPC server th原创 2020-09-02 19:50:51 · 246 阅读 · 0 评论 -
Hadoop调优--hadoop调优参数
(1)以下参数是在用户自己的MR应用程序中配置就可以生效(mapred-default.xml) 配置参数 参数说明 mapreduce.map.memory.mb 一个MapTask可使用的资源上限(单位:MB),默认为1024。如果MapTask实际使用的资源量超过该值,则会被强制杀死。 mapreduce.reduce.memory.mb 一个ReduceTask可使用的资源上限(单位:原创 2020-08-14 19:51:11 · 85 阅读 · 0 评论 -
Hadoop数据压缩--压缩参数的配置
参数 默认值 阶段 建议 io.compression.codecs (在core-site.xml中配置) 无,这个需要在命令行输入hadoop checknative查看 输入压缩 Hadoop使用文件扩展名判断是否支持某种编解码器 mapreduce.map.output.compress(在mapred-si...原创 2020-08-14 18:20:45 · 404 阅读 · 0 评论 -
Job debug提交流程源码debug超详细解析
原创 2020-08-12 23:10:46 · 113 阅读 · 0 评论 -
HDFS写数据流程
HDFS写数据流程客户端通过Distributed FileSystem模块向NameNode请求请求上传文件,NameNode检查目标文件是否已存在,父目录是否存在。NameNode返回是否可以上传。客户端请求第一个 Block上传到哪几个DataNode服务器上。NameNode返回3个DataNode节点,分别为dn1、dn2、dn3.客户端通过FSDataOutputStream模块请求dn1上传数据,dn1收到请求会继续调用dn2,然后dn2调用dn3,将这个通信管道建立完成。dn原创 2020-08-08 00:14:12 · 111 阅读 · 0 评论