![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
nzq1234
这个作者很懒,什么都没留下…
展开
-
hadoop作业调优参数整理及原理
1 Map side tuning参数1.1 MapTask运行内部原理 1.当map task开始运算,并产生中间数据时,其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂,并且利用到了内存buffer来进行已经产生的部分结果的缓存,并在内存buffer中进行一些预排序来优化整个map的性能。如上图所示,每一个map都会对应存在一个内存buffer(MapOut转载 2017-06-07 21:48:21 · 267 阅读 · 0 评论 -
使用反射机制修改JVM的DNS缓存
项目组遇到服务器无法解析localhost的问题,可把JVM的DNS缓存反射出来添加DNS解析 public static void addJVMDNSCache() throws SecurityException, NoSuchFieldException, IllegalArgumentException, IllegalAccessException { Clas原创 2017-07-17 10:42:50 · 752 阅读 · 1 评论