Hive
奋斗吧_攻城狮
JUST DO IT!
展开
-
Hive的正则解析器RegexSerDe
通常情况下,Hive导入的是单一分割符的数据。如果需要导入格式复杂一点的data,可以使用hive自导的RegexSerDe来实现。RegexSerDe类是hive自带的,使用正则表达式来支持复杂的data导入。在hive0.11中,自带了两个RegexSerDe类:org.apache.Hadoop.hive.contrib.serde2.RegexSerDe;org.apach转载 2017-07-04 14:18:47 · 2790 阅读 · 0 评论 -
Hive用户自定义聚合函数(UDAF)
用户自定义聚合函数,用户提供的多个入参通过聚合计算(求和、求最大值、求最小值)得到一个聚合计算结果的函数。问题:UDF也可以提供输入多个参数然后输出一个结果的运算,比如加法运算add(3,5),add这个UDF需要实现UDF的evaluate方法,那么UDF和UDAF的实质分别究竟是什么? Java代码 Double evaluate(Double a转载 2017-08-14 17:29:03 · 3085 阅读 · 1 评论 -
Hive自定义函数(generic)
Hive自定义generic(通用)函数,性能比simple性能高,同时能处理simple不能处理的问题,如:simple不能处理Hive的struct结构。 hive generic 函数详细见hive 目录:Text代码 src\ql\src\java\org\apache\hadoop\hive\ql\udf\generic转载 2017-08-14 16:53:40 · 930 阅读 · 0 评论 -
Hive集合数据类型
Hive的列除了支持基本的数据类型外,还支持使用Struct、Map和Array三种集合数据类型。假设某表有如下一行,我们用JSON格式来表示其数据结构。在Hive下访问的格式为{ "name": "John Doe", "salary": 100000.0 , "subordinates": ["Mary Smith" , "Todd Jones"] ,转载 2017-07-28 16:37:13 · 439 阅读 · 0 评论 -
Hive 2.1.1安装配置
前期工作安装JDK安装Hadoop安装MySQL安装Hive下载Hive安装包可以从 Apache 其中一个镜像站点中下载最新稳定版的 Hive, apache-hive-2.1.1-bin.tar.gz。解压安装Hive使用以下命令安装 Hive:sudo mv apache-hive-2.1.1-bin.tar.gz /optcd /optsudo ta转载 2017-07-01 16:43:32 · 697 阅读 · 0 评论 -
Hive on Spark安装配置详解(都是坑啊)
Hive on Spark安装配置详解(都是坑啊)个人主页:http://www.linbingdong.com简书地址:http://www.jianshu.com/p/a7f75b868568简介本文主要记录如何安装配置Hive on Spark,在执行以下步骤之前,请先确保已经安装Hadoop集群,Hive,MySQL,JDK,Scala,具体安装步骤不再转载 2017-08-09 17:33:13 · 1109 阅读 · 0 评论 -
Hive修改表
Alter Table 语句它是在Hive中用来修改的表。语法声明接受任意属性,我们希望在一个表中修改以下语法。ALTER TABLE name RENAME TO new_nameALTER TABLE name ADD COLUMNS (col_spec[, col_spec ...])ALTER TABLE name DROP [COLUMN] column_转载 2017-08-09 15:08:55 · 258 阅读 · 0 评论 -
hive中order by,distribute by,sort by,cluster by
order by,distribute by,sort by,cluster by 查询使用说明 // 根据年份和气温对气象数据进行排序,以确保所有具有相同年份的行最终都在一个reducer分区中 // 一个reduce(海量数据,速度很慢)select year, temperatureorder by year asc, temperature desclimit 100;转载 2017-08-16 10:53:17 · 417 阅读 · 0 评论 -
hive lateral view语句
原文地址:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+LateralView#lateral view用于和split, explode等UDTF一起使用,它能够将一列数据拆成多行数据,在此基础上可以对拆分后的数据进行聚合。一个简单的例子,假设我们有一张表pageAds,它有两列数据,第一列是pagei转载 2017-07-05 09:17:09 · 241 阅读 · 0 评论 -
hive 内部表和外部表的区别和理解
1. 内部表create table test (name string , age string) location '/input/table_data'; 注:hive默认创建的是内部表此时,会在hdfs上新建一个test表的数据存放地load data inpath '/input/data' into table test ;会将hd转载 2017-07-04 20:08:05 · 432 阅读 · 0 评论 -
hive 自定义UDF UDAF UDTF
UDF步骤:1.继承org.apache.hadoop.hive.ql.exec.UDF2.实现evaluate函数,evaluate函数支持重载[java] view plain copypackage cn.sina.stat.hive.udf; import java.util.Arrays; import org.转载 2017-08-15 16:24:09 · 423 阅读 · 0 评论