![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hive学习
文章平均质量分 61
波特王子
csdn太难用了,唉
展开
-
hive中RegexSerDe的使用
RegexSerDe是hive自带的一种序列化/反序列化的方式,主要用来处理正则表达式。举个实际的例子:CREATE TABLE sunwg03(c0 string,c1 string,c2 string)ROW FORMATSERDE ‘org.apache.hadoop.hive.contrib.serde2.RegexSerDe’WITH SERDEPRO原创 2013-08-08 16:57:05 · 5308 阅读 · 0 评论 -
Hive 读书笔记4:HiveQL Data Definition(下)
外部分区表定义外部分区表如下:CREATE EXTERNAL TABLE IF NOT EXISTS log_messages (hms INT,severity STRING,server STRING,process_id INT,message STRING)PARTITIONED BY (year INT, month INT, day INT)ROW FORMAT原创 2013-09-06 17:04:47 · 960 阅读 · 0 评论 -
Hive 读书笔记1:Getting Started
bin/hive --helpUsage ./hive --service serviceName Service List: cli help hiveserver hwi jar lineage metastore rcfilecat(Hive支持的service)对于某个具体的服务,要获取帮助的话,可以:hive --help --service clihi原创 2013-08-22 17:32:52 · 2092 阅读 · 0 评论 -
Hive 读书笔记2:Data Types and File Formats
Hive下做类型强制转换:cast(s as INT);对于简单数据类型,Hive不区分大小写;Hive支持三种集合数据类型,struct,map和array;对于文本文件,每一行表示一条记录,换行符(\n)是默认的记录分隔符;通常不需要显示指定LINES TERMINATED BY '\n',因为Hive目前不支持除了'\n'以外的行分隔符;原创 2013-08-29 15:31:57 · 1896 阅读 · 0 评论 -
Hive 读书笔记3:HiveQL Data Definition(上)
HiveQL可以认为是SQL的一种方言,它不完全遵循任何一个版本的ANSI SQL标准,它似乎跟MySQL比较接近,但有一个显著地不同:Hvie不支持行级别的Insert、Update和Delete,并且Hive不支持事务。创建一个库:create database mydb; 或者create database if not exists mydb; 也可以使用schema关键字原创 2013-08-29 16:09:24 · 1161 阅读 · 0 评论 -
第一个Hive UDAF函数
hive提供了org.apache.hadoop.hive.ql.exec.UDF类和org.apache.hadoop.hive.ql.exec.UDAF类,我们可以通过继承这个类来实现不同功能的函数,在脚本中很方便的调用它。第一步,在eclipse中创建一个java项目,命名为ConnectGroup第二步,导入UDAF需要的jar包,hive-exec-???.jar原创 2013-08-22 15:19:16 · 2826 阅读 · 0 评论 -
hive中自定义函数(UDAF)实现多行字符串拼接为一行
函数如何使用:hive> desc concat_test;OKa intb stringhive> select * from concat_test;OK1 good2 other1 nice1 hellohive> select a,concat(b,',') fr原创 2013-08-22 10:32:32 · 5226 阅读 · 0 评论 -
Hive 内建操作符与函数开发
第一部分:关系运算Hive支持的关系运算符•常见的关系运算符•等值比较: =•不等值比较: •小于比较: •小于等于比较: •大于比较: >•大于等于比较: >=•空值判断: IS NULL•非空判断: IS NOT NULL•LIKE比较: LIKE•JAVA的LIKE操作: RLIKE转载 2013-08-21 14:19:19 · 1128 阅读 · 0 评论 -
HiveQL Tips
在Hive中,某些小技巧可以让我们的Job执行得更快,有时一点小小的改动就可以让性能得到大幅提升,这一点其实跟SQL差不多。首先,Hive != SQL,虽然二者的语法很像,但是Hive最终会被转化成MapReduce的代码去执行,所以数据库的优化原则基本上都不适用于 Hive。也正因如此,Hive实际上是用来做计算的,而不像数据库是用作存储的,当然数据库也有很多计算功能,但一般并不建议在SQ转载 2013-08-21 13:52:51 · 776 阅读 · 0 评论 -
hive cli
Hive Cli = hive启动 =*$ hive –f script.q*$ hive -e 'SELECT *FROM dummy‘*$ hive -S -e 'SELECT* FROM dummy‘*$ hive -hiveconfhive.root.logger=DEBUG,console = set =*hiv转载 2013-07-30 11:05:07 · 1158 阅读 · 0 评论 -
Hive 读书笔记5:HiveQL: Data Manipulation
向托管表加载数据Hive不支持行级别的insert、update及其delete操作,因此,能够将数据放入表只能使用加载操作。LOAD DATA LOCAL INPATH '${env:HOME}/california-employees'OVERWRITE INTO TABLE employeesPARTITION (country = 'US', state = 'CA');通原创 2013-09-10 16:00:41 · 915 阅读 · 0 评论