20161116
do_what_you_can_do
大数据实习
展开
-
hive中UDF跟UDAF使用说明
Hive进行UDF开发十分简单,此处所说UDF为Temporary的function,所以需要hive版本在0.4.0以上才可以。一、背景:1、Hive是基于Hadoop中的MapReduce,提供HQL查询的数据仓库。Hive是一个很开放的系统,很多内容都支持用户定制,包括:a)文件格式:Text File,Sequence Fileb)内存中的数据格式: Jav转载 2016-11-16 11:26:36 · 497 阅读 · 0 评论 -
java file类操作常用类的结构
原创 2016-11-16 11:58:25 · 340 阅读 · 0 评论 -
hive常用的内置函数
一、关系运算:1. 等值比较: = 语法:A=B 操作类型:所有基本类型 描述:如果表达式A与表达式B相等,则为TRUE;否则为FALSE 举例: Hive>select 1 from lxw_dual where 1=1; 12. 不等值比较: 语转载 2016-11-16 21:09:04 · 654 阅读 · 0 评论 -
hive 的四种排序
order byorder by 会对输入做全局排序,因此只有一个reducer(多个reducer无法保证全局有序)只有一个reducer,会导致当输入规模较大时,需要较长的计算时间。set hive.mapred.mode=nonstrict; (default value / 默认值)set hive.mapred.mode=strict; order b转载 2016-11-16 21:24:15 · 12070 阅读 · 1 评论