- 博客(3)
- 资源 (11)
- 收藏
- 关注
RSS订阅原创 hive UDF实现一个字符串解码函数
其实hive的udf 是比较容易实现的，只需要继承UDF,实现其evaluate（）方法，代码如下。@Description(name = "decoder_url", value = "_FUNC_(url [,code][,count]) - decoder a URL from a String for count times using code as encoding schem
2012-07-26 15:31:44
6105
1
原创 HIVE UDAF和UDTF实现group by后获取top值
先自定义一个UDAF,由于udaf是多输入一条输出的聚合，所以结果拼成字符串输出，代码如下：public class Top4GroupBy extends UDAF { //定义一个对象用于存储数据 public static class State { private Map counts; private int limit;
2012-07-26 14:52:57
4900
原创 实现mapreduce多文件自定义输出
普通maprduce中通常是有map和reduce两个阶段，在不做设置的情况下，计算结果会以part-000*输出成多个文件，并且输出的文件数量和reduce数量一样，文件内容格式也不能随心所欲。这样不利于后续结果处理。 在hadoop中，reduce支持多个输出,输出的文件名也是可控的，就是继承MultipleTextOutputFormat类，重写generateFileNam
2012-07-13 14:30:13
8557
5
cx-oracle instantclient-basic-win32-10.2.0.4 第一部分
2011-03-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人