hadoop
文章平均质量分 80
梅降雪
耶和华是我的牧者,我必不至缺乏。《圣经 诗篇23:1》
展开
-
关于hadoop namenode jvm设置的思考与调整
这两天经常会收到hadoop namenode 内存使用百分比的告警,经常收到告警是一个讨厌的事情,是不是说明我们系统超负荷有问题了?怎么样解决这个问题?这两天一直在仔细查考测试这个问题,现将我的思考说明一下。 1. 首先,这个告警message说的是namenode这台机器真的内存的使用百分比,其实并不太准确。事实上它不是说明机器内存用光了,而是namenode的jvm进程堆内存使用原创 2015-04-24 12:17:02 · 4763 阅读 · 1 评论 -
如何合理设置hadoop相关组件的jvm Xmx
1.这个问题不是很简单么?直接设置不久好了,java -Xmx2000m像这样不就好了。No,我说的不仅仅是这个问题,比如,你看到/usr/local/bigdata/jdk/bin/java -Xmx2048m -Djava.net.preferIPv4Stack=true -Dhadoop.log.dir=/usr/local/bigdata/hadoop/logs -Dhadoop.log.原创 2015-04-23 12:18:07 · 5458 阅读 · 1 评论 -
jvm securerandom.source 导致的sqoop问题分析
在利用sqoop做抽取数据的同步过程中,经常发生以下错误。我们一直以为是oracle数据库没有打开或者某种连接异常,导致经常要重跑多次才能成功,甚至一度靠加入调度系统的智能重跑关键字中让任务多次重试,一直未定位到根本问题并找到解决办法(如下图),会影响调度成功率。 而这次,我们临时要在新环境跑sqoop任务,只起了一个sqoop客户端,失败的概率特别高,所以找到这个问题的解决办法就显原创 2017-06-08 21:23:34 · 1869 阅读 · 0 评论