hive
文章平均质量分 78
幸运小侯子
一天学一点啊.............
展开
-
hive 安装和配置
修改配置文件 [hcr@ebsdi-23260-oozie> javax.jdo.option.ConnectionDriverName com.mysql.jdbc.Driver javax.jdo.option.ConnectionUserName hive javax.jdo.option.ConnectionPassword hive原创 2013-12-25 20:49:51 · 1913 阅读 · 0 评论 -
hive 数据查询复杂SQL
排序和聚集 正常在数据少的情况下 直接使用order by来操作即可,因为是全排序所以要在一个reduce中完成 from records select year,temperature order by year asc,temperature desc; 如果数据量大,并且不需要全排序,只是需要每个reduce中的数据排序即可。如下根据year来指定(dis原创 2013-12-26 10:24:45 · 8185 阅读 · 0 评论 -
hive 自定义函数UDF,UDAF
自定义函数 在hive中,有时候一些内置的函数,和普通的查询操作已经满足不了我们要查询的要求,这时候可以自己写一些自定义函数来处理。自定义函数(user defined function =UDF) 由于hive本身是用java语言开发,所以udf必须用java来写才可以。 Hive中有三种UDF 1. 普通udf(UDF) 操作单个数据行,且产生一个数据作为输出。例如(数学函原创 2013-12-26 10:29:56 · 11366 阅读 · 1 评论 -
hive指定行分割符和列分隔符
指定行分割符和列分隔符 由于默认的是能指定列分隔符,但是不可以指定行分隔符,所以这个时候,我们存在hdfs上的数据有的可能是\001是列分隔符,和\002是分隔符这个时候就得重写一下inputformat来使用了。 package com.hcr.hadoop.hive; import java.io.IOException; import java.io.UnsupportedE原创 2013-12-26 10:34:13 · 13593 阅读 · 0 评论 -
hiveQL学习和hive常用操作
Hive服务 Hive外壳环境是可以使用hive命令来运行的一项服务。可以在运行时使用- service选项指明要使用哪种服务。键入hive-servicehelp可以获得可用服务 列表。下面介绍最有用的一些服务。 cli Hive的命令行接口(外壳环境)。这是默认的服务。 hiveserver 让Hive以提供Trift服务的服务器形式运行,允许用不同语言编写的客户端原创 2013-12-26 10:17:17 · 2372 阅读 · 0 评论