- 博客(4)
- 收藏
- 关注
RSS订阅原创 jvm securerandom.source 导致的sqoop问题分析
在利用sqoop做抽取数据的同步过程中，经常发生以下错误。我们一直以为是oracle数据库没有打开或者某种连接异常，导致经常要重跑多次才能成功，甚至一度靠加入调度系统的智能重跑关键字中让任务多次重试，一直未定位到根本问题并找到解决办法（如下图），会影响调度成功率。而这次，我们临时要在新环境跑sqoop任务，只起了一个sqoop客户端，失败的概率特别高，所以找到这个问题的解决办法就显
2017-06-08 21:23:34
1869
原创 关于hadoop namenode jvm设置的思考与调整
这两天经常会收到hadoop namenode 内存使用百分比的告警，经常收到告警是一个讨厌的事情，是不是说明我们系统超负荷有问题了？怎么样解决这个问题？这两天一直在仔细查考测试这个问题，现将我的思考说明一下。1. 首先，这个告警message说的是namenode这台机器真的内存的使用百分比，其实并不太准确。事实上它不是说明机器内存用光了，而是namenode的jvm进程堆内存使用
2015-04-24 12:17:02
4763
1
原创 一个HIVE SQL引发的优化分析
针对今天的任务失败，做个详细的分析。这是个典型的性能调优案例：1. 先来看看这个SQL(我把中间select的所有字段有隐去，便于查看)insert overwrite table dw_user_activity partition(pt='$env.date')select……from s_user_activity awhere a.pt ='$env.date
2015-04-24 11:50:49
527
原创 如何合理设置hadoop相关组件的jvm Xmx
1.这个问题不是很简单么？直接设置不久好了，java -Xmx2000m像这样不就好了。No,我说的不仅仅是这个问题，比如，你看到/usr/local/bigdata/jdk/bin/java -Xmx2048m -Djava.net.preferIPv4Stack=true -Dhadoop.log.dir=/usr/local/bigdata/hadoop/logs -Dhadoop.log.
2015-04-23 12:18:07
5458
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人