Hive
code_____monkey
是一种近几十年来出现的新物种 是工业革命的产物 从劳动性质上称为码农 在物种归类上称为码字猴 程序猿是人类在科技研究上的一种新兴进化 拥有长时间高强度工作的耐力 超越时代的智商 横穿社会的苦逼相和低于人类平均寿命的显著特点 总之程序猿始终是一种非常悲剧的存在
展开
-
ubuntu安装hive0.12.0
本机环境:ubuntu 12.04hadoop 1.1.2mysql 5.5.35 安装hive版本0.12.0一、创建用户hive,并授权:root用户登录mysql,执行以下命令:use mysql;insert into user(Host,User,Password) values("localhost","hive",password("hive"原创 2014-04-14 19:48:17 · 3785 阅读 · 0 评论 -
系统全面的学习Hive技术
Hive作为Hadoop家族的重要一员,具有学习成本低,开发者可通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用。在攒库中,Hive也不负众望,得到了非常高的票数。为此,CSDN知识库特邀社区专家蒋守壮(博客: http://blog.csdn.net/jiangshouzhuang )绘制了Hive技术图谱,帮助广大开发者更加系统、全面的学习Hive技术转载 2017-02-22 09:33:47 · 1188 阅读 · 0 评论 -
hive文件存储格式
Hive数据压缩本文介绍Hadoop系统中Hive数据压缩方案的比较结果及具体压缩方法。一、压缩方案比较关于Hadoop HDFS文件的压缩格式选择,我们通过多个真实的Track数据做测试,得出结论如下:1. 系统的默认压缩编码方式 DefaultCodec 无论在压缩性能上还是压缩比上,都优于GZIP 压缩编码。这一点与网上的一些观点不大一致,网上不少人认为GZIP转载 2015-04-29 10:29:26 · 1262 阅读 · 0 评论 -
hive 多列转单行
原表数据如下,业务场景是取用户的top5站点访问情况,行号是根据访问次数降序生成。用户ID | 站点名 | 流量 |访问次数 |行号user_id |site_name |all_flow |net_times |rn1 a 10 5 11 b 23原创 2015-05-17 23:11:44 · 4618 阅读 · 0 评论 -
hive中null和'','NULL'
说下hive中的null。employee表hive>desc employee;empid stringdeptid stringsalary string查询employeehive>select * from employee1 NULL NULLhive 中null实际在HDFS中默认存储为'\N'即employee中的数据在HDFS中为原创 2015-04-23 15:08:17 · 5758 阅读 · 0 评论 -
Hive实现oracle的Minus函数
随着云计算和hadoop的发展,去IOA随之在各个行业开展起来。去o的过程必然涉及到一些sql用mr或hive改写的过程。本文就是在实际工作中涉及到hive改造oracle存储过程时用hive实现minus函数。原创 2014-10-08 19:46:21 · 11740 阅读 · 2 评论 -
Error: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-965200530-172.21.3.1
跑hive脚本也就是mr程序时遇到以下错误:Ended Job = job_1406698610363_0394 with errorsError during job, obtaining debugging information...Examining task ID: task_1406698610363_0394_m_000014 (and more) from job jo原创 2014-10-09 20:09:46 · 38926 阅读 · 4 评论 -
hive中的增删改如何实现
由于 Hive 是针对数据仓库应用设计的,而数据仓库的内容是读多写少的。因此,Hive 中不支持对数据的改写和添加,所有的数据都是在加载的时候中确定好的。而数据库中的数据通常是需要经常进行修改的,因此可以使用 INSERT INTO ... VALUES 添加数据,使用 UPDATE ... SET 修改数据原创 2014-10-08 20:22:35 · 39901 阅读 · 0 评论 -
hive UDF
UDF(user defined function).hive的UDF包含三种:UDF支持一个输入产生一个输出转载 2014-05-10 17:52:35 · 3745 阅读 · 0 评论 -
hive jdbc
登陆hive所在机器(172.2.2.12)启动Starting Hive Thrift Server命令:bin/hive --service hiveserver -p 10001-p指定Thrift Thrift 端口,若不指定默认为10000也可以将Hive Thrift Server放在后台执行:bin/hive --service hiveserve原创 2015-03-09 22:39:43 · 1038 阅读 · 0 评论