2013年03月_liuxianbing119

04月 03月 02月

原创 Hive MapJoin 优化

1、Hive本地MR 如果在hive中运行的sql本身数据量很小，那么使用本地mr的效率要比分布式的快很多。但是hive本地MR对内存使用很敏感，查询的数据不能太大，否则本地内存是吃不消的。So the query processor will launch this task in a child jvm, which has the same heap size as the Map

2013-03-13 15:22:59 9252

转载 Mongo 学习笔记--Capped Collection

转自:http://www.cnblogs.com/zhy4606/archive/2011/09/14/2175424.html简单介绍capped collections是性能出色的有着固定大小的集合（定容集合），以LRU(Least Recently Used最近最少使用)规则和插入顺序进行 age-out(老化移出)处理，自动维护集合中对象的插入顺序，在创建时要预先指定大

2013-03-07 10:23:11 1735

转载 Mongo 内存锁机制

1、 MongoDB 使用的是“readers-writer”锁在 2.2 版本以前，mongod 只有全局锁；在 2.2 版本开始，大部分读写操作只锁一个库，相对之前版本，这个粒度已经下降，例如如果一个 mongod 实例上有 5 个库，如果只对一个库中的一个集合执行写操作，那么在写操作过程中，这个库被锁；而其它 5 个库不影响。相比 RDBMS 来说，这个粒度已经算很大

2013-03-04 16:52:11 1529

转载 java gc

http://www.cnblogs.com/redcreen/archive/2011/05/04/2037057.html

2013-03-04 13:28:02 352

转载 java GC

-XX:+HeapDumpOnOutOfMemoryError -XX:+HeapDumpOnCtrlBreak writes heap dump together with thread dump on CTRL+BREAKSun (Linux, Solaris; not on Windows) JMap Java 5: jmap -heap:for

2013-03-04 12:41:06 665

转载 java 虚拟机的选项

一般选项 -server 在Mac OS X中没有特别的服务器虚拟机（server VM）。在激活java的时候可以使用 -server 选项，但这并不是启动另外的虚拟机，它还是启动客户虚拟机（client VM），只是这个虚拟机针对服务器的使用环境进行了调优。这些调优包括：在共享档案的生成过程中使用不同的类列表，这个列表中不包括GUI类（见“Mac OS X的Java共享档案”部

2013-03-04 12:34:20 696

原创 Mysql 查询优化

根据EXPLAIN来分析SQL语句的执行计划，对关键的条件加上索引。ySQL操作手册中有一段话让我决定把小表放在JOIN的前面：“MySQL resolves all joins using asingle-sweep multi-join method. This means that MySQL reads a row from the first table, and then fi

2013-03-04 12:25:39 306