hive
youzhouliu
目前供职于深圳某AI科技公司,从事人工智能相关工作,对Java、Python有深入研究。
展开
-
hive视图操作
Hive 0.6版本及以上支持视图Hive View具有以下特点:1. View是逻辑存在,Hive暂不支持物化视图(1.0.3)2. View只读,不支持LOAD/INSERT/ALTER。需要改变View定义,可以是用Alter View3. View内可能包含ORDER BY/LIMIT语句,假如一个针对view的查询也包含这些语句, 则view中的语句优先级高。例如,定义v原创 2016-09-21 16:39:02 · 10258 阅读 · 1 评论 -
Hive总结(五)hive日志
日志记录了程序运行的过程,是一种查找问题的利器。Hive中的日志分为两种1. 系统日志,记录了hive的运行情况,错误状况。2. Job 日志,记录了Hive 中job的执行的历史过程。系统日志存储在什么地方呢 ?在hive/conf/ hive-log4j.properties 文件中记录了Hive日志的存储情况,默认的存储情况:hive.root.log转载 2017-03-06 17:44:59 · 654 阅读 · 0 评论 -
Hive总结(四)hive安装记录
本篇为安装篇较简单:前提:1: 安装了hadoop-1.0.4(1.0.3也可以)正常运行2:安装了hbase-0.94.3, 正常运行接下来,安装Hive,基于已经安装好的hadoop,步骤如下:1:下载从http://hive.apache.org/下载hive-0.9.0/创建目录/hive将文件hive-0.9.0保存在/hive下转载 2017-03-06 17:39:34 · 470 阅读 · 0 评论 -
Hive总结(三)hive组件和执行过程
1、组件:元存储(Metastore )-存储“系统目录以及关于表、列、分区等的元数据”的组件。驱动(Driver )- 控制 HiveQL 生命周期的组件,当 HiveQL 查询穿过 Hive时。该驱动管理着会话句柄以及任何会话的统计。查询编译器(Query Compiler) - 是一个组件,将HiveQL编译成有向无环图(directed acyclic graph,转载 2017-03-06 16:51:18 · 979 阅读 · 0 评论 -
Hive总结(二)hive基本操作
阅读本文章可以带着下面问题:1.与传统数据库对比,找出他们的区别2.熟练写出增删改查(面试必备)创建表:hive> CREATE TABLE pokes (foo INT, bar STRING); Creates a table called pokes with two columns, the first being an integer and th转载 2017-03-06 16:04:24 · 495 阅读 · 0 评论 -
Hive总结(一)hive初始
1.没有接触,不知道这个事物是什么,所以不会产生任何问题。2.接触了,但是不知道他是什么,反正我每天都在用。3.有一定的了解,不够透彻。那么hive,1.我们对它了解多少?2.它到底是什么?3.hive和hadoop是什么关系?扩展:hbase和hive是什么关系?Hive最初是应Facebook每天产生的海量新兴社会网络数据进行管理和机器学习的需求转载 2017-03-06 15:28:25 · 562 阅读 · 0 评论 -
Hive 中内部表与外部表的区别与创建方法
先来说下Hive中内部表与外部表的区别: Hive 创建内部表时,会将数据移动到数据仓库指向的路径;若创建外部表,仅记录数据所在的路径, 不对数据的位置做任何改变。在删除表的时候,内部表的元数据和数据会被一起删除, 而外部表只删除元数据,不删除数据。这样外部表相对来说更加安全些,数据组织也更加灵活,方便共享源数据。 需要注意的是传统数据库对表数据验证是 schema on wr转载 2017-03-03 17:50:38 · 1080 阅读 · 0 评论 -
hive——创建表不支持新增字段问题
创建hive表后,可能会遇到需要增加字段的情况,我们可能会想当然的像mysql或其他数据库那样,直接添加一个字段。但对于hive,直接添加的字段可能并不能使用,比如可能会在添加字段后,在插入数据时,会出现类似如下的错误:Error: java.io.IOException: java.lang.ArrayIndexOutOfBoundsException: 9 at org原创 2016-11-01 18:24:59 · 7954 阅读 · 1 评论 -
hive——通过外部向表中插入数据问题
最近在使用hive的过程上遇到一个比较坑的问题,当手动向hive中的表插入数据时,若含有中文字符,插入hive表后中文乱码。比如在hive的client中执行如下脚本:INSERT INTO TABLE table_info PARTITION (date_key='2016-11-07') values('成品2库')从hive中查看插入的结果如下图:同时也尝试了通过使用原创 2016-11-10 10:40:43 · 3099 阅读 · 0 评论 -
HiveSQL解析原理:包括SQL转化为MapReduce过程及MapReduce如何实现基本SQL操作
Hive是基于Hadoop的一个数据仓库系统,在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建,每天执行近万次的Hive ETL计算流程,负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。在几次升级Hive的过程中,我们遇到了一些大大小小的问题。通过向社区的 咨询和自己的努力,在解决这些问题的同时我们对Hive将SQL编译为MapReduce的转载 2017-04-26 16:37:39 · 17560 阅读 · 5 评论