hadoop
文章平均质量分 56
aliveTime
这个作者很懒,什么都没留下…
展开
-
java.security.SecureRandom导致jetty、hadoop启动受阻问题
众所周知,hadoop原创 2011-04-01 21:58:00 · 6851 阅读 · 1 评论 -
Apache Pig ObjectSerializer优化
最近又遇到一次Tasktracker OOM的问题, 分析过程如下:1. 用MemoryAnalyzer分析heap dump, 如下图:发现又是大量的String类型的内存占用.进一步分析String的持有,如下:发现是JobConf 对象持有了大量的string. 这个已经不奇怪了, hadoop要放很多job相关的配置到JobConf中,很多JobTrac原创 2012-11-18 19:07:19 · 2984 阅读 · 0 评论 -
Apache Pig DataBag spill 文件过多导致OOM问题
最近又遇到Pig job失败问题, 将heap dump拉下来分析发现很可笑:怎么也不会想到一个DeleteOnExitHook也会导致OOM翻看java.io.File 的源代码, 如下: public void deleteOnExit() { SecurityManager security = System.getSecurityManager(); if (原创 2012-08-10 16:45:57 · 3242 阅读 · 0 评论 -
Apache Pig Reducer OOM 解决 -- Big DataBag
最近遇到一次Pig的reducer频繁OOM的问题, 记录一下解决过程.问题描述有一段pig代码, 示例如下: Data = group SourceData all; Result = foreach Data generate group, COUNt(SourceData); store Result into 'XX';简单的使用group all 后计原创 2012-07-10 18:33:47 · 4377 阅读 · 0 评论 -
让hadoop远程调试飞
读hadoop源代码时,经常需要调试源代码。hadoop几乎所有的进程的启动最终全部依靠$HADOOP_HOME/bin/hadoop 脚本实现,开始就简单的在需要的地方添加JDWP的debug选项,做的多了,感觉不够自动化,简单修改了一下hadoop这个脚本,让自动化远程调试飞!原创 2011-04-25 22:08:00 · 4223 阅读 · 4 评论 -
hadoop 启动脚本start-all.sh执行序列
针对hadoop 0.21.0的启动脚本:start-all.sh ,其执行序列图如下:(图片链接地址在这里)其中,几乎所有的脚本都会执行hadoop-config.sh 因此在此图中没有画出注:hadoop 0.21.0开始,新剥离了hdfs 和 mapred两个脚本。原创 2011-06-12 00:52:00 · 4752 阅读 · 0 评论 -
确定hive shell的java进程的pid的一种方法
<br />使用hive的过程中,经常需要diagnose hive运行到了哪个地方,以便进行优化。jstack是常用的工具,可需要java 的process id。但是多个hive shell运行时jps得出的结果令人失望:<br /> <br />6874 org.apache.hadoop.util.RunJar -Xmx4096m -Dhadoop.log.dir=/home/hadoop/hadoop/bin/../logs -Dhadoop.log.file=hadoop.log -Dhadoo原创 2011-04-13 15:50:00 · 5962 阅读 · 0 评论 -
hadoop 重启后safemode问题
<br /> <br /> <br />safemode模式是hadoop在重启后检查所有datanode上的数据,并针对策略进行复制或者迁移。在safemode中,数据不能修改或者删除,hive也不能在safemode状态下的hadoop上运行。<br />如果需要强制推出safemode,需运行:<br />${hadoop_home}/bin/hadoop dfsadmin -safemode leave <br />强制退出safemode<br /> <br />至于强制推出的后果,暂时还没有研原创 2011-04-13 15:41:00 · 2266 阅读 · 0 评论 -
一次让人峰回路转, 颜面扫地的trouble shooting, Apache Pig
最近集群计算迁移, 某Pig脚本在新集群上运行失败, 排除了文件损坏等问题, 还是每次复现失败. 日志如下:表面原因是FileSystem 被关闭, 难道是Pig版本代码的bug, 关闭了不该关闭的FileSystem?第一次尝试带着这个思路, 写了btrace脚本跟踪DFSStream的close方法. 脚本如下:import com.sun.btrace.ann原创 2013-03-22 10:39:46 · 4862 阅读 · 0 评论