2015年09月_young-ming

12月 11月 10月 09月 08月

原创 hive join顺序影响的性能一例子

调整前跑完需要两个小时，调整后5分钟跑完调整前HSQL:insert overwrite table dwd.game_cid_new partition(thisdate,ckey)selectb.cookie_key,b.cookie_value,count(*) views,a.thisdate,b.cookie_keyfrom dwd.d_op_behavior_ho

2015-09-22 10:42:56 3539

转载 Java CMS垃圾收集器几个过程

当使用CMS收集器时，当开始进行收集时，old代的收集过程如下所示：1，首先jvm根据-XX:CMSInitiatingOccupancyFraction，-XX:+UseCMSInitiatingOccupancyOnly来决定什么时间开始垃圾收集；2，如果设置了-XX:+UseCMSInitiatingOccupancyOnly，那么只有当old代占用确实达到了-XX:CMSIniti

2015-09-07 19:03:45 2915

转载 CMS收集器的一些参数

HotSpot JVM的并发标记清理收集器(CMS收集器)的主要目标就是：低应用停顿时间。该目标对于大多数交互式应用很重要，比如web应用。在我们看一下有关JVM的参数之前,让我们简要回顾CMS收集器的操作和使用它时可能出现的主要挑战。就像吞吐量收集器(参见本系列的第6部分),CMS收集器处理老年代的对象,然而其操作要复杂得多。吞吐量收集器总是暂停应用程序线程，并且可能是相当长的一段时间，

2015-09-07 15:43:58 2730

oozie使用整理

此文档主要对oozie的使用方法，基本内容做了一次介绍。

2018-09-21

spark优化实践小记

此文档主要对日常使用spark过程中可能遇到的一些性能优化问题做了一次整理总结

2018-09-21

Percolator分布式事务

Percolator分布式事务介绍，基于BigTable的分布式事务实现

2018-09-21

处理后的ip库

ipku文件为对纯真ip库进行国家，省，市，区县拆分，学校网吧不规范数据处理后的可用文件 ipdata为原始纯真ip库 xuexiao.csv为手工整理的学校网吧对应的地区

2015-11-19

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人