Hadoop
文章平均质量分 73
苏然Vincent
这个作者很懒,什么都没留下…
展开
-
Map Reduce commit job 优化
经常会看到用户的job在所有的map和reduce都完成之后,还需要几分钟时间才能finish。这个阶段主要在进行job output的commit过程。 MR v2中有进行这部分的优化。 https://issues.apache.org/jira/browse/MAPREDUCE-4815 https://issues.apache.org/jira/browse/MAPREDUCE原创 2017-04-03 21:53:36 · 3213 阅读 · 0 评论 -
hadoop somaxconn 配置优化
2017-04-26 03:41:59,354 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Exception for BP-1687617170-10.8.211.11-1404135347814:blk_8843355098_1109841848870 java.net.SocketTimeoutException: 60000原创 2017-05-01 11:04:52 · 2479 阅读 · 0 评论 -
HBase Table Enabling issue
有的时候HBase的表在enable的过程中出现问题,导致最终状态处于中间状态,而这个时候客户端又没有办法使用这个表。这里分析一下一个case envhbase 0.98.0.2.1.3.7-18-hadoop2 版本比较老Issue如下的表的状态就处于中间状态hbase(main):011:0> is_enabled 'prod_eglesprk_tasks' false 0 row(s) in原创 2017-05-23 18:11:39 · 3181 阅读 · 0 评论 -
HBase flush issue
最近经常有region进入无休止的flush状态,并且会导致用户MR无法插入数据到HBase,从而导致MR超时被Kill。 hbase regionserver中的flush log如下 2017-06-13 14:05:55,799 INFO org.apache.hadoop.hbase.regionserver.HRegionServer:xxdn2076.stratus原创 2017-06-20 13:13:37 · 4305 阅读 · 0 评论 -
htrace-zipkin与hadoop集成
这里坑更多 hadoop zipkin配置hadoop的zipkin配置部分的文章就是shit呀,包括官方文档。 我这里使用的是hadoop 2.7.1https://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/Tracing.html 来看看官方文档,照着配置,绝对不能成功,呵呵为什么呢,咱们来看看这个jira原创 2017-07-30 16:56:07 · 4124 阅读 · 0 评论 -
htrace-zipkin与hbase集成
一如此坑深似海,再回身已是百年身。 话说开源领域里面就是各种坑,尤其是hadoop领域。所以才创造了这么多就业机会[笑哭]今天一起鼓捣一下htrace-zipkin。HTRACE与ZIPKIN分布式系统里面进行监控分析性能问题是一件很头疼的事情,根据google的DAPPER论文,cloudera提供了htrace的开源实现,可以分析跨进程,跨节点的调用性能分析。 而ZIPKIN是现有的一个可以为原创 2017-07-30 16:33:27 · 4746 阅读 · 1 评论 -
NodeManager源码阅读 Thread.setDefaultUncaughtExceptionHandler
NodeManager源码阅读NodeManager源码的时候注意到一个很有意思的java代码,如下 public static void main(String[] args) throws IOException { Thread.setDefaultUncaughtExceptionHandler(new YarnUncaughtExceptionHandler()); St原创 2017-12-03 21:30:14 · 1855 阅读 · 0 评论 -
Intellij Hadoop源码阅读以及社区代码开发
有的时候有些hadoop的类打开之后,祖国河山一片红,首先需要检查这些需要的类所在的目录是不是被识别为 Source Root 或者设置为 Generated Source Root 一般有如上设置就可以正常引用了,但是这次碰到的问题是即使有如上设置,还是无法import成功识别。 而且可以看到有一个类显示的图标很有意思,如下ClientNamenodeProtocolProtos.java显...原创 2019-01-08 17:47:16 · 1223 阅读 · 2 评论