hive
文章平均质量分 78
幸运小侯子
一天学一点啊.............
展开
-
hive 安装和配置
修改配置文件[hcr@ebsdi-23260-oozie>javax.jdo.option.ConnectionDriverNamecom.mysql.jdbc.Driverjavax.jdo.option.ConnectionUserNamehivejavax.jdo.option.ConnectionPasswordhive原创 2013-12-25 20:49:51 · 1898 阅读 · 0 评论 -
hive 数据查询复杂SQL
排序和聚集 正常在数据少的情况下直接使用order by来操作即可,因为是全排序所以要在一个reduce中完成 from recordsselect year,temperatureorder by year asc,temperature desc; 如果数据量大,并且不需要全排序,只是需要每个reduce中的数据排序即可。如下根据year来指定(dis原创 2013-12-26 10:24:45 · 8156 阅读 · 0 评论 -
hive 自定义函数UDF,UDAF
自定义函数在hive中,有时候一些内置的函数,和普通的查询操作已经满足不了我们要查询的要求,这时候可以自己写一些自定义函数来处理。自定义函数(user defined function =UDF)由于hive本身是用java语言开发,所以udf必须用java来写才可以。Hive中有三种UDF1. 普通udf(UDF)操作单个数据行,且产生一个数据作为输出。例如(数学函原创 2013-12-26 10:29:56 · 11352 阅读 · 1 评论 -
hive指定行分割符和列分隔符
指定行分割符和列分隔符由于默认的是能指定列分隔符,但是不可以指定行分隔符,所以这个时候,我们存在hdfs上的数据有的可能是\001是列分隔符,和\002是分隔符这个时候就得重写一下inputformat来使用了。 package com.hcr.hadoop.hive; import java.io.IOException;import java.io.UnsupportedE原创 2013-12-26 10:34:13 · 13548 阅读 · 0 评论 -
hiveQL学习和hive常用操作
Hive服务Hive外壳环境是可以使用hive命令来运行的一项服务。可以在运行时使用-service选项指明要使用哪种服务。键入hive-servicehelp可以获得可用服务列表。下面介绍最有用的一些服务。cli Hive的命令行接口(外壳环境)。这是默认的服务。hiveserver 让Hive以提供Trift服务的服务器形式运行,允许用不同语言编写的客户端原创 2013-12-26 10:17:17 · 2355 阅读 · 0 评论