- 博客(4)
- 收藏
- 关注
原创 jvm securerandom.source 导致的sqoop问题分析
在利用sqoop做抽取数据的同步过程中,经常发生以下错误。我们一直以为是oracle数据库没有打开或者某种连接异常,导致经常要重跑多次才能成功,甚至一度靠加入调度系统的智能重跑关键字中让任务多次重试,一直未定位到根本问题并找到解决办法(如下图),会影响调度成功率。而这次,我们临时要在新环境跑sqoop任务,只起了一个sqoop客户端,失败的概率特别高,所以找到这个问题的解决办法就显
2017-06-08 21:23:34 1871
原创 关于hadoop namenode jvm设置的思考与调整
这两天经常会收到hadoop namenode 内存使用百分比的告警,经常收到告警是一个讨厌的事情,是不是说明我们系统超负荷有问题了?怎么样解决这个问题?这两天一直在仔细查考测试这个问题,现将我的思考说明一下。1. 首先,这个告警message说的是namenode这台机器真的内存的使用百分比,其实并不太准确。事实上它不是说明机器内存用光了,而是namenode的jvm进程堆内存使用
2015-04-24 12:17:02 4764 1
原创 一个HIVE SQL引发的优化分析
针对今天的任务失败,做个详细的分析。这是个典型的性能调优案例:1. 先来看看这个SQL(我把中间select的所有字段有隐去,便于查看)insert overwrite table dw_user_activity partition(pt='$env.date')select……from s_user_activity awhere a.pt ='$env.date
2015-04-24 11:50:49 527
原创 如何合理设置hadoop相关组件的jvm Xmx
1.这个问题不是很简单么?直接设置不久好了,java -Xmx2000m像这样不就好了。No,我说的不仅仅是这个问题,比如,你看到/usr/local/bigdata/jdk/bin/java -Xmx2048m -Djava.net.preferIPv4Stack=true -Dhadoop.log.dir=/usr/local/bigdata/hadoop/logs -Dhadoop.log.
2015-04-23 12:18:07 5461 1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人