Hive源码走读
文章平均质量分 85
从认识hive,安装,cli命令到java UDF编程,再到源码解读,给你一个不一样的提高
搜索与推荐Wiki
这个作者很懒,什么都没留下…
展开
-
Hive Join 分析和优化
转载请注明出处:http://blog.csdn.net/gamer_gyt博主微博:http://weibo.com/234654758Github:https://github.com/thinkgamer背景Sku对应品牌进行关联,大表对应非大表(这里的非大表并不能用小表来定义)问题分析进行表左关联时,最后一个reduce任务卡到99%,运行时间很长,发生了...原创 2019-01-03 13:34:48 · 1912 阅读 · 0 评论 -
hive2.1.0初探以及其中踩的坑
hive2.1.0新特性初探和部署,以及这其中踩得坑原创 2016-11-02 00:50:53 · 8186 阅读 · 2 评论 -
基于python impyla的hive客户端
impyla,基于thrift,利用python和hive进行交互原创 2016-09-21 13:54:23 · 15119 阅读 · 8 评论 -
关于Hive中的复杂数据类型Array,Map,Structs的一些使用案例
写在前边的话: 同样是在做豆瓣电影数据分析的小课题的时候遇到的一个问题:hive表中的电影类型存储格式为array,那么我如何针对每一个类型做统计呢? 本来是想在基于豆瓣电影数据进行相关的数据分析项目 中进行相关解释说明的,仔细想了下,刚好拿出来,对hive的三个复杂数据类型做一个总结性的学习 关于Hive的一些其他数据类型使用参考:...原创 2016-08-10 13:39:54 · 41716 阅读 · 0 评论 -
hive中的表、外部表、分区和桶的理解
一、概念介绍 Hive 没有专门的数据存储格式,也没有为数据建立索引,用户可以非常自由的组织 Hive 中的表,只需要在创建表的时候告诉 Hive 数据中的列分隔符和行分隔符,Hive 就可以解析数据 Hive 中的 Table 和数据库中的 Table 在概念上是类似的,每一个 Table 在 Hive 中都有一个相应的目录存储数据。例如,一个表 pvs...原创 2015-08-02 20:19:09 · 6185 阅读 · 0 评论 -
Hive的内置服务和hiveserver/hiveserver2的比较
两者都允许远程客户端使用多种编程语言,通过HiveServer或者HiveServer2,客户端可以在不启动CLI的情况下对Hive中的数据进行操作,连这个和都允许远程客户端使用多种编程语言如java,python等向hive提交请求,取回结果(从hive0.15起就不再支持hiveserver了),但是在这里我们还是要说一下hiveserver HiveServer或者HiveServer2都是基于Thrift的,但HiveSever有时被称为Thrift server,而HiveServe原创 2016-08-01 19:01:49 · 30710 阅读 · 12 评论 -
Hive的数据类型解析和表的操作实例
一:Hive中的数据类型Hive支持两种数据类型,一类叫原子数据类型,一类叫复杂数据类型。 原子数据类型包括数值型、布尔型和字符串类型,具体如下表所示:基本数据类型类型描述示例TINYINT1个字节(8位)有符号整数1SMALLINT2字节(16位)原创 2016-06-21 20:00:39 · 9419 阅读 · 0 评论 -
HIVE一些小技巧和java操作hive
转载请注明出处:http://blog.csdn.net/gamer_gyt 博主微博:http://weibo.com/234654758 Github:https://github.com/thinkgamer1.写在前边的话自己电脑上部署的hive版本是hive1.1.1,在终端执行hive 命令时,凡是涉及where语句时,就会出现异常退出,对于一个开发者怎么能忍受这种情原创 2016-09-17 01:34:35 · 6041 阅读 · 0 评论 -
hive1.2伪分布mysql数据库配置详解
hadoop2.6伪分布配置:http://blog.csdn.net/gamer_gyt/article/details/46793731hive1.2 derby元数据库配置:http://blog.csdn.net/gamer_gyt/article/details/47150621环境说明hadoop2.6伪分布 Ubuntu14.04 ...原创 2015-08-19 10:30:29 · 3761 阅读 · 1 评论 -
四、伪分布下安装hive1.2
声明:本篇blog并没有配置MySQL,元数据库为derby如需配置mysql请点击:http://blog.csdn.net/gamer_gyt/article/details/47776369一、环境Ubuntu14.04hadoop2.6伪分布(安装教程请参考:点击打开链接)hive-1.2.1(下载链接:点击打开链接)二、安装1、将其下载的安装包解压到相应的目录...原创 2015-07-30 15:57:36 · 5588 阅读 · 3 评论