Hive
文章平均质量分 94
tswisdom
这个作者很懒,什么都没留下…
展开
-
HIVE NULL 值
hive中NULL默认是以'\N'表示的示例:建表:hive> create table null_test_1(id INT, name STRING) > ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';OKTime taken: 0.275 seconds插入数据:$ cat /home/work/data转载 2014-11-20 11:33:36 · 1921 阅读 · 0 评论 -
Sqoop导入关系数据库到Hive
Sqoop 是 apache 下用于 RDBMS 和 HDFS 互相导数据的工具。本文以 mysql 数据库为例,实现关系数据库导入到 hdfs 和 hive。1. 安装 Sqoop使用 rpm 安装即可。yum install sqoop sqoop-metastore -y安装完之后需要下载 mysql jar 包到 sqoop 的 lib 目录。转载 2014-11-24 23:46:12 · 14862 阅读 · 0 评论 -
hive metadata 存mysql 注释中文乱码的有关
hive metadata 存mysql 注释中文乱码的问题hive metadata 存mysql 注释中文乱码的问题########### hive 中文乱码的问题#############解决方案:数据库编码为latin1.将一下表的字段(涉及注释的字段都改)编码设定为UTF81、然后进入数据库执行以下5条SQL语句:(1)修改表字段注解和表注转载 2014-11-24 14:00:54 · 3821 阅读 · 0 评论 -
HIVE NULL 值处理
Sqoop will by default import NULL values as string null. Hive is however using string \N to denote NULL values and therefore predicates dealing with NULL (like IS NULL) will not work correctly. You sh原创 2014-11-21 15:18:14 · 6233 阅读 · 0 评论 -
HIVE CLOB字段处理
在将数据由oracle数据库导入到Hive时,发现原创 2014-11-21 20:31:06 · 10159 阅读 · 0 评论 -
Hive CLI
Variables and Properties -- 设置 hive 变量[sql] view plaincopyprint?$ hive --define foo=bar hive> set foo; foo=bar; hive> set hivevar:foo; hivevar:foo=bar;转载 2014-11-20 15:34:18 · 1735 阅读 · 0 评论 -
hive.cli
hive.cli.errors.ignore=falsehive.cli.pretty.output.num.cols=-1hive.cli.print.current.db=falsehive.cli.print.header=falsehive.cli.prompt=easyHome转载 2014-11-20 15:28:14 · 1458 阅读 · 0 评论 -
Hive+UDTF简单示例
UDTF(User-Defined Table-Generating Functions) 用来解决输入一行输出多行(On-to-many maping)的需求。 我们来看一个简单的例子。 现在有一个名为studentScore.txt的文本,里面的内容如下: A 90转载 2014-11-20 12:23:18 · 714 阅读 · 0 评论 -
hive中的Lateral View
通过Lateral view可以方便的将UDTF得到的行转列的结果集合在一起提供服务。因为直接在SELECT使用UDTF会存在限制,即仅仅能包含单个字段,如下:hive> select my_test(“abcef:aa”) as qq,my_test(“abcef:aa”) as ww from sunwg01;FAILED: Error in semantic analysis转载 2014-11-20 12:20:00 · 691 阅读 · 0 评论 -
Hive中实现group concat功能(不用udf)
Sql代码 hive> desc t; OK id string str string Time taken: 0.249 seconds hive> select * from t; OK 1 A 1 B 2 C 2 D Time taken: 0.209 seconds hive转载 2014-11-20 14:40:12 · 12304 阅读 · 1 评论 -
hive udtf的使用
原文:http://blog.linezing.com/2011/03/hive%E4%B8%ADudtf%E7%BC%96%E5%86%99%E5%92%8C%E4%BD%BF%E7%94%A81. UDTF介绍UDTF(User-Defined Table-Generating Functions) 用来解决 输入一行输出多行(On-to-many mapin转载 2014-11-20 12:21:43 · 1584 阅读 · 0 评论 -
hive中order by,sort by, distribute by, cluster by作用以及用法
1. order by Hive中的order by跟传统的sql语言中的order by作用是一样的,会对查询的结果做一次全局排序,所以说,只有hive的sql中制定了order by所有的数据都会到同一个reducer进行处理(不管有多少map,也不管文件有多少的block只会启动一个reducer)。但是对于大量数据这将会消耗很长的时间去执行。 这里跟传统的sql还有一点区别:如...转载 2018-04-10 15:41:27 · 1033 阅读 · 0 评论