iteye_19343-CSDN博客

原创 hive Map-side Aggregation OOM 异常

参考： http://dev.bizo.com/2013/02/map-side-aggregations-in-apache-hive.html 在MapReduce job下面，有个Combiner，工作机制是将Reducer的工作分担一部分给Map阶段来做。在Hive的执行计划优化中也是如此，默认情况下会开启Map-side Aggregation优化的功能。 sel...

2015-07-02 13:40:51 170

原创文件导用UTF-8编码csv格式excel问题

最近在做数据下载时发现，excel对打开csv文件默认不是用utf8编码打开的，导致本来文本正常的文件在excel中打开出现乱码。为解决这个问题，需要了解下UTF8与UTF8 without BOM之间的区别。可以google下解决方案为在文件头写入UTF8 without BOM的标识即可。 outputStream.write('\ufeff'); ...

2014-09-24 13:23:10 175

原创基于Oracle JRockit Mission Control进行java性能分析

近期在使用基于Oracle JRockit Mission Control进行java性能分析1、确保服务器端的jdk版本为R28 或以上，如果低于此版本请升级下载地址：http://www.oracle.com/technetwork/middleware/jrockit/downloads/index.html2、在本地安装 R28（含）以上版本3、在java...

2014-04-01 18:52:20 188

原创充裕思维的十大原则摘自《免费》

1、数字产品迟早会变成免费产品在市场竞争中，价格会下跌到与边际成本持平。互联网是这个世界上最具竞争力的市场，而且它赖以运行的科技边际成本——数据处理、宽带和储存成本——逐年接近零。免费不是其中一个选项，而是一种必然的选择。数字信息希望成为免费的。2、实物产品厂商也希望的自己的产品是免费的，但他们在这方面的表现并不积极在数字商业领域之外，实物产品的边际成本不可能降为...

2014-01-12 23:09:43 150

原创关于storm 升级。

关于storm 升级。 storm 启动 supervisor 报错！2013-11-26 17:39:20 event [ERROR] Error when processing eventjava.lang.RuntimeException: java.io.InvalidClassException: clojure.lang.APersistentMap; local...

2013-11-26 19:16:53 279

原创 eclipse恢复删除的文件

eclipse恢复删除的文件 eclipse也有恢复功能，据说可以回复最近7天的文件，可找着家了。哈哈！这个功能以前竟然不知道，方法:在你的工程上，或是任意文件夹上右键→Restore from Local History... 如果一次没有恢复全部，在各级父文件夹上，多试几次。补充：在Window→Preferences→General...

2013-11-22 17:27:10 94

原创 hive-0.11 的坑

hive-0.11 的坑1、修改表结果信息后，导入数据正常，但不能正常读取新增加的列。但新建表是没问题的。 1.1、确认数据在前一个表存在[code="java"]hive> select os, sre, sco, lla from access_log a where dt='2013-09-24' limit 100...

2013-09-25 19:29:49 97

原创使用perl发送邮件

最近有需要使用脚本发送邮件的需求，故整理了下资料，写了个send_mail的脚本。如下：脚本 mail.pl #!/usr/bin/perluse Net::SMTP_auth;#use strict;use MIME::Base64;use Encode;use Encode qw(from_to);#############...

2013-08-09 23:08:44 278

原创 [转]Bloom Filter概念和原理

Bloom Filter概念和原理 Bloom Filter是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于这个集合。Bloom Filter的这种高效是有一定代价的：在判断一个元素是否属于某个集合时，有可能会把不属于这个集合的元素误认为属于这个集合（false positive）。因此，Bloom Filter不适合那些“零错误”的应用场合。...

2013-07-28 12:41:37 87

原创数据仓库建设中的数据建模方法

最近也在构建数据仓库，觉得以下文章不错，转一下！所谓水无定势，兵无常法。不同的行业，有不同行业的特点，因此，从业务角度看，其相应的数据模型是千差万别的。目前业界较为主流的是数据仓库厂商主要是 IBM 和 NCR，这两家公司的除了能够提供较为强大的数据仓库平台之外，也有各自的针对某个行业的数据模型。例如，在银行业，IBM 有自己的 BDWM(Banking...

2013-07-14 15:57:30 94

原创【转】Oracle开发专题之：窗口函数

目录=========================================1.窗口函数简介2.窗口函数示例-全统计3.窗口函数进阶-滚动统计(累积/均值)4.窗口函数进阶-根据时间范围统计5.窗口函数进阶-first_value/last_value6.窗口函数进阶-比较相邻记录一、窗口函数简介：到目前为止，我们所学习的分析函数在计算/统计一段时...

2013-07-11 20:01:04 77

比墨