20161116
do_what_you_can_do
大数据实习
展开
-
hive中UDF跟UDAF使用说明
Hive进行UDF开发十分简单,此处所说UDF为Temporary的function,所以需要hive版本在0.4.0以上才可以。 一、背景: 1、Hive是基于Hadoop中的MapReduce,提供HQL查询的数据仓库。Hive是一个很开放的系统,很多内容都支持用户定制,包括: a)文件格式:Text File,Sequence File b)内存中的数据格式: Jav转载 2016-11-16 11:26:36 · 481 阅读 · 0 评论 -
java file类操作常用类的结构
原创 2016-11-16 11:58:25 · 331 阅读 · 0 评论 -
hive常用的内置函数
一、关系运算: 1. 等值比较: = 语法:A=B 操作类型:所有基本类型 描述:如果表达式A与表达式B相等,则为TRUE;否则为FALSE 举例: Hive>select 1 from lxw_dual where 1=1; 1 2. 不等值比较: 语转载 2016-11-16 21:09:04 · 608 阅读 · 0 评论 -
hive 的四种排序
order by order by 会对输入做全局排序,因此只有一个reducer(多个reducer无法保证全局有序) 只有一个reducer,会导致当输入规模较大时,需要较长的计算时间。 set hive.mapred.mode=nonstrict; (default value / 默认值) set hive.mapred.mode=strict; order b转载 2016-11-16 21:24:15 · 11984 阅读 · 1 评论