20161120
文章平均质量分 62
do_what_you_can_do
大数据实习
展开
-
java 设计模式与设计原则
设计模式(Design Patterns) ——可复用面向对象软件的基础设计模式(Design pattern)是一套被反复使用、多数人知晓的、经过分类编目的、代码设计经验的总结。使用设计模式是为了可重用代码、让代码更容易被他人理解、保证代码可靠性。 毫无疑问,设计模式于己于他人于系统都是多赢的,设计模式使代码编制真转载 2016-11-20 13:28:31 · 528 阅读 · 0 评论 -
hbase和hive的一些调优心得
Hive优化:1、开启limit,防止过多的数据查询造成时延2、开启严格模式,禁止三种模式的查询(查询全部分区而没有where限制、使用order by查询而没有limit限制,)3、合理的设置map reduce的个数,不能过多或者过少4、使用本地模式,对于一些数据量小的查询,减少开启job的时间5、使用map端jion,将数据量小的表,放在join的左边,直接加入内存6原创 2016-11-20 16:01:13 · 2015 阅读 · 0 评论 -
flume source channel sink
Flume SourceSource类型说明Avro Source支持Avro协议(实际上是Avro RPC),内置支持Thrift Source支持Thrift协议,内置支持Exec Source基于Unix的command在标准输出上生产数据JMS Source从JMS系转载 2016-11-20 21:32:57 · 489 阅读 · 0 评论