hadoop调优
关注
分享
扫一扫
文章平均质量分 89
mnasd
这个作者很懒，什么都没留下…
展开
-
MapReduce任务参数调优
本文主要记录Hadoop 2.x版本中MapReduce参数调优，不涉及Yarn的调优。Hadoop的默认配置文件（以cdh5.0.1为例）：core-default.xml hdfs-default.xml mapred-default.xml说明：在hadoop2中有些参数名称过时了，例如原来的mapred.reduce.tasks改名为mapreduce.job.redu...转载 2018-07-30 15:51:19 · 3751 阅读 · 0 评论 -
Hadoop distcp命令遇到的异常及解决方案
1 异常信息Caused by: java.io.IOException: Mismatch in length of source:hdfs://xxx and target:hdfs://xxx2 原因需要远程复制的文件没有关闭，还处于写的状态。3 解决方案：1） 检查文件状态hdfs fsck hdfs://10.10.10.10:80/flume/xxx/xxxxxxxx...转载 2018-11-28 23:42:31 · 1527 阅读 · 0 评论 -
不同hadoop版本之间迁移数据存在问题， Check-sum
####场景从hadoop2.6传数据到hadoop2.7，遇到了下面问题。####报错信息Caused by: java.io.IOException: Couldn't run retriable-command: Copying webhdfs://132.121.97.48:50070/glabel/data/201407/20140710/signal-dwell/pa...转载 2018-11-28 23:43:51 · 686 阅读 · 0 评论 -
Cannot obtain block length for LocatedBlock故障分析与解决
在执行hive任务的时候经常会遇到如下错误：Caused by: java.io.IOException: Cannot obtain block length for LocatedBlock{BP-739651031-192.168.1.50-1452872943245:blk_1329315607_256707953; getBlockSize()=6604762; corrupt=fa...转载 2018-11-27 09:25:32 · 3512 阅读 · 2 评论 -
hadoop webUI上不能查看log日志输出信息
问题hadoop webUI上查看任务运行输出日志，任务运行中可以正常查看，但当任务完成后却无法查看日志输出报错java.lang.Exception: Unknown container. Container either has not started or has already completed or doesn’t belong to this node at all.原因...转载 2018-12-08 08:36:07 · 2381 阅读 · 0 评论 -
hadoop 集群 rebalance 和磁盘 均衡
在我们使用hadoop集群的时候 ，由于 日志 数据不断流入写入到hdfs上，而且 算法人员 不断的清洗 数据做特征工程 又会产生 新的中间数据 ，而且量一点都不小。这个时候 hadoop 集群 就要面临着 hdfs 空间扩容 和 数据的 rebalancehdfs 的扩容 和磁盘 扩容 有关，在我上一片文章介绍了磁盘 扩容 ，集群各个节点 添加新的磁盘 volume disk，然后把这些 格...转载 2018-12-10 13:20:53 · 2152 阅读 · 0 评论 -
[Hadoop] HDFS 详解一（原理篇）
目录HDFS的工作机制 概述 HDFS 写数据流程 HDFS 读数据流程 NameNode的工作机制 NameNode的职责 元数据的管理 DataNode的工作机制 概述 观察验证DataNode 功能HDFS的工作机制工作机制的学习主要是为加深对分布式系统的理解，以及增强遇到各种问题时的分析解决能力，形成一定的集群运维能力。很多不是真正理解hadoop技术体系的...转载 2018-12-21 10:48:57 · 422 阅读 · 0 评论 -
hadoop 2.0以后最新指标
系统参数监控metrics load_one 每分钟的系统平均负载load_fifteen 每15分钟的系统平均负载load_five 每5分钟的系统平均负载boottime 系统启动时间，精确到秒bytes_in 网络接收速度，单位bytes/secbytes_out 网络发送速度，单位bytes/seccpu_aidle 启动的空闲CPU百分比cpu_idl...转载 2018-12-21 22:11:09 · 955 阅读 · 0 评论 -
Hadoop集群namenode(standby)，异常挂掉问题
2月22号，发现namenode02服务器的namenode(standby)节点挂掉，查看hadoop日志/app/hadoop/logs/hadoop-appadm-namenode-prd-bldb-hdp-name02.log发现2018-02-17 03:29:34，首次报出java.lang.OutOfMemoryError的ERROR，具体报错信息如下 2018-02...转载 2018-12-11 23:09:53 · 4537 阅读 · 0 评论 -
hdfs fsck命令查看HDFS文件对应的文件块信息(Block)和位置信息(Locations)
在HDFS中，提供了fsck命令，用于检查HDFS上文件和目录的健康状态、获取文件的block信息和位置信息等。fsck命令必须由HDFS超级用户来执行，普通用户无权限。 [hadoop@dev ~]$ hdfs fsck Usage: DFSck [-list-corruptfileblocks | [-move | -delete | -openforwrite] [-fil...转载 2019-01-30 21:51:21 · 898 阅读 · 0 评论 -
hadoop2.0的datanode多存储硬盘设置数据副本存放策略
集群使用4块硬盘，目前集群中部分节点盘disk1使用率已经超90%，后期可能会出现问题。在hadoop2.0中，datanode数据副本存放磁盘选择策略有两种方式：第一种是沿用hadoop1.0的磁盘目录轮询方式，实现类：RoundRobinVolumeChoosingPolicy.java第二种是选择可用空间足够多的磁盘方式存储，实现类：AvailableSpaceVolumeChoosi...转载 2019-01-30 21:58:18 · 341 阅读 · 0 评论 -
hadoop. 日志汇总
Hadoop的日志有很多种，很多初学者往往遇到错而不知道怎么办，其实这时候就应该去看看日志里面的输出，这样往往可以定位到错误。Hadoop的日志大致可以分为两类：（1）、Hadoop系统服务输出的日志；（2）、Mapreduce程序输出来的日志。这两类的日志存放的路径是不一样的。本文基于Hadoop 2.x版本进行说明的，其中有些地方在Hadoop 1.x中是没有的，请周知。 一、H...转载 2019-01-30 22:22:22 · 378 阅读 · 0 评论 -
HBase中RegionServers报异常： No lease on /apps/hbase/data/oldWALs... File is not open for writing
报错日志：2018-03-07 03:23:02,337 ERROR [regionserver/137.bd/172.17.32.7:16020] regionserver.HRegionServer: Shutdown / close of WAL failed: org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException: N...原创 2019-07-31 22:06:19 · 756 阅读 · 0 评论 -
Yarn的资源调度策
理想情况下,我们对Yarn的资源申请应该立即得到满足,但实际情况下整个集群的资源总量是有限的,这时就依赖资源调度器对资源进行调度了. 但在实际过程中,资源的调度策略本身就是一个难题,很难有一个完美的调度策略可以适用与所有的情况,为此Yarn提供了三种调度器让我们自行选择适用 FIFO调度器 这种调度会把所有资源申请放入一个队列先进先出.这是最简单的调度,也不需要任何配置,...原创 2019-09-09 23:25:41 · 411 阅读 · 0 评论 -
HDFS中datanode节点block损坏后的自动恢复过程
相关参数说明dfs.blockreport.intervalMsec ：datanode向namenode报告块信息的时间间隔，默认6小时datanode日志中记录如下：dfs.datanode.directoryscan.interval：datanode进行内存和磁盘数据集块校验，更新内存中的信息和磁盘中信息的不一致情况，默认6小时datanode日志中记录如下： ...转载 2018-08-28 16:59:50 · 4957 阅读 · 0 评论 -
hadoop datanode节点超时时间设置
datanode进程死亡或者网络故障造成datanode无法与namenode通信，namenode不会立即把该节点判定为死亡，要经过一段时间，这段时间暂称作超时时长。HDFS默认的超时时长为10分钟+30秒。如果定义超时时间为timeout，则超时时长的计算公式为： timeout = 2 * heartbeat.recheck.interval + 10 * dfs.heart...转载 2018-08-28 15:06:15 · 562 阅读 · 0 评论 -
hive-调优笔记：JVM重用，并行执行、调整reducer个数的用处
解释：1、JVM重用是hadoop调优参数的内容，对hive的性能具有非常大的影响，特别是对于很难避免小文件的场景或者task特别多的场景，这类场景大多数执行时间都很短。hadoop默认配置是使用派生JVM来执行map和reduce任务的，这是jvm的启动过程可能会造成相当大的开销，尤其是执行的job包含有成千上万个task任务的情况。 JVM重用可以使得JVM实例在同一个JOB中重...转载 2018-07-29 20:37:02 · 474 阅读 · 0 评论 -
HDP YARN MapReduce参数调优建议
HDP平台参数调优建议 根据上面介绍的相关知识，我们就可以根据我们的实际情况作出相关参数的设置，当然还需要在运行测试过程中不断检验和调整。以下是hortonworks给出的配置建议： http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.1.1/bk_installing_manually_book/content/rpm-chap...转载 2018-07-25 14:55:04 · 1615 阅读 · 0 评论 -
基于YARN的MapReduce日志几个注意事项
说明：本文提及的所有配置参数，都是基于Hadoop 2.5.0-cdh5.2.0环境。MapReduce（MR）的调试是一个比较麻烦的问题，除了一些辅助调试工具（如mrunit）外，相信通过日志定位问题仍然是一个比较常见的方法。虽然这种方法比较原始，但是很多时候也能解决大问题......下面将描述使用MR的日志时，需要注意的一些问题。1. MR运行过程中，日志将暂存于yarn.node...转载 2018-07-24 15:25:46 · 979 阅读 · 0 评论 -
确定HDP内存配置设置
9.确定HDP内存配置设置可以使用两种方法来确定YARN和MapReduce内存配置设置： 使用HDP Utility脚本计算内存配置设置 手动计算YARN和MapReduce内存配置设置 HDP实用程序脚本是计算HDP内存配置设置的推荐方法，但也提供了有关手动计算YARN和MapReduce内存配置设置的信息以供参考。 9.1。使用HDP Utility...转载 2018-07-25 14:09:37 · 1473 阅读 · 0 评论 -
Hadoop计算能力调度器算法解析
1. 编写目的 本文描述了hadoop中的计算能力调度器（Capacity Scheduler）的实现算法，计算能力调度器是由Yahoo贡献的，主要是解决HADOOP-3421中提出的，在调度器上完成HOD（Hadoop On Demand）功能，克服已有HOD的性能低效的缺点。它适合于多用户共享集群的环境的调度器。本文解析的计算能力调度器属于Hadoop 0.20.2。本文组织结构如 下...转载 2018-07-25 15:35:14 · 594 阅读 · 0 评论 -
Hadoop的三种作业调度原理汇总
Hadoop调优方式一个MapRedcue作业是通过JobClient向master的JobTracker提交的（JobTracker一直在等待JobClient通过RPC协议提交作业），JobTracker接到JobClient的请求后把其加入作业队列中。Datanode节点的TaskTracker一直通过RPC向JobTracker发送heartbeat询问有没有任务可做，如果有...转载 2018-07-26 11:40:02 · 800 阅读 · 0 评论 -
Hive学习之路 （二十一）Hive 优化策略
目录一、Hadoop 框架计算特性 二、优化常用手段 三、排序选择 四、怎样做笛卡尔积 五、怎样写 in/exists 语句 六、设置合理的 maptask 数量 七、小文件合并 八、设置合理的 reduceTask 的数量 九、合并 MapReduce 操作 十、合理利用分桶：Bucketing 和 Sampling 十一、合理利用分区：Partition 十二、Jo...转载 2018-07-30 16:53:49 · 381 阅读 · 0 评论 -
两个resourcemanager都处于standby，zkfc无法切换resourcemanager
该问题是对yarn-site.xml文件里的内存分配调整造成的，当强制变换yarn-resourcemanager为active报错yarn rmadmin -transitionToActive --forcemanual rm1You have specified the forcemanual flag. This flag is dangerous, as it can ...转载 2018-07-31 09:23:47 · 3232 阅读 · 0 评论 -
hive优化之——控制hive任务中的map数和reduce数
一、 控制hive任务中的map数: 1. 通常情况下，作业会通过input的目录产生一个或者多个map任务。主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)；2. 举例：a) 假设input目录下有1个文件a,大小...转载 2018-08-03 14:07:11 · 217 阅读 · 0 评论 -
hadoop job报错is running beyond physical memory limits
Container [pid=41355,containerID=container_1451456053773_0001_01_000002] is running beyond physical memory limits.Current usage: 2.0 GB of 2 GB physical memory used; 5.2 GB of 4.2 GB virtual memory u...转载 2018-08-20 17:01:41 · 915 阅读 · 0 评论 -
查看修复HDFS中丢失的块 &HDFS block丢失过多进入安全模式（safe mode）的解决方法
检测缺失块1 hdfs fsck -list-corruptfileblocks1 hdfs fsck / | egrep -v '^\.+$' | grep -v eplica查看上面某一个文件的情况1 hdfs fsck /path/to/corrupt/file -locations -blocks -files解决方法如果文件不重要，可以直接删除此文件；或删除...转载 2018-08-28 10:57:19 · 8040 阅读 · 0 评论 -
hadoop fsck详解
我们知道fsck是用来检测hdfs上文件、block信息的，但是fsck输出的结果我们是否能看明白呢？ 下面我们来看一个fsck输出的结果hadoop fsck /########################## 情况一 ####################Status: HEALTHYTotal size: 3107919020687 BTotal dirs:...转载 2018-08-28 11:01:02 · 13497 阅读 · 0 评论 -
hadoop三个配置文件的参数含义说明(转)
1 获取默认配置配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同，导致无法生效。浏览更多的配置，有两个方法:1.选择相应版本的hadoop,下载解压后，搜索*.xml,找到core...转载 2018-08-28 13:47:02 · 469 阅读 · 0 评论 -
Hadoop系列(5)之容量调度器Capacity Scheduler配置
1. 应用场景本文只关注配置，关于调度器的算法以及核心内容将在下一篇介绍。 Capacity Scheduler是YARN中默认的资源调度器，但是在默认情况下只有root.default 一个queue。而当不同用户提交任务时，任务都会在这个队里里面按优先级先进先出，大大影响了多用户的资源使用率。现在公司的任务主要分为三种：每天晚上进行的日常任务dailyTask，这些任务需要在尽可能短的...转载 2019-09-09 23:31:09 · 844 阅读 · 0 评论