![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
youzhouliu
目前供职于深圳某AI科技公司,从事人工智能相关工作,对Java、Python有深入研究。
展开
-
hive视图操作
Hive 0.6版本及以上支持视图 Hive View具有以下特点: 1. View是逻辑存在,Hive暂不支持物化视图(1.0.3) 2. View只读,不支持LOAD/INSERT/ALTER。需要改变View定义,可以是用Alter View 3. View内可能包含ORDER BY/LIMIT语句,假如一个针对view的查询也包含这些语句, 则view中的语句优先级高。例如,定义v原创 2016-09-21 16:39:02 · 10225 阅读 · 1 评论 -
Hive总结(五)hive日志
日志记录了程序运行的过程,是一种查找问题的利器。 Hive中的日志分为两种 1. 系统日志,记录了hive的运行情况,错误状况。 2. Job 日志,记录了Hive 中job的执行的历史过程。 系统日志存储在什么地方呢 ? 在hive/conf/ hive-log4j.properties 文件中记录了Hive日志的存储情况, 默认的存储情况: hive.root.log转载 2017-03-06 17:44:59 · 638 阅读 · 0 评论 -
Hive总结(四)hive安装记录
本篇为安装篇较简单: 前提: 1: 安装了hadoop-1.0.4(1.0.3也可以)正常运行 2:安装了hbase-0.94.3, 正常运行 接下来,安装Hive,基于已经安装好的hadoop,步骤如下: 1:下载 从http://hive.apache.org/下载hive-0.9.0/ 创建目录 /hive 将文件hive-0.9.0保存在/hive下转载 2017-03-06 17:39:34 · 461 阅读 · 0 评论 -
Hive总结(三)hive组件和执行过程
1、组件: 元存储(Metastore )-存储“系统目录以及关于表、列、分区等的元数据”的组件。 驱动(Driver )- 控制 HiveQL 生命周期的组件,当 HiveQL 查询穿过 Hive时。该驱动管理着会话句柄以及任何会话的统计。 查询编译器(Query Compiler) - 是一个组件,将HiveQL编译成有向无环图(directed acyclic graph,转载 2017-03-06 16:51:18 · 952 阅读 · 0 评论 -
Hive总结(二)hive基本操作
阅读本文章可以带着下面问题: 1.与传统数据库对比,找出他们的区别 2.熟练写出增删改查(面试必备) 创建表: hive> CREATE TABLE pokes (foo INT, bar STRING); Creates a table called pokes with two columns, the first being an integer and th转载 2017-03-06 16:04:24 · 485 阅读 · 0 评论 -
Hive总结(一)hive初始
1.没有接触,不知道这个事物是什么,所以不会产生任何问题。 2.接触了,但是不知道他是什么,反正我每天都在用。 3.有一定的了解,不够透彻。 那么hive, 1.我们对它了解多少? 2.它到底是什么? 3.hive和hadoop是什么关系? 扩展: hbase和hive是什么关系? Hive最初是应Facebook每天产生的海量新兴社会网络数据进行管理和机器学习的需求转载 2017-03-06 15:28:25 · 554 阅读 · 0 评论 -
Hive 中内部表与外部表的区别与创建方法
先来说下Hive中内部表与外部表的区别: Hive 创建内部表时,会将数据移动到数据仓库指向的路径;若创建外部表,仅记录数据所在的路径, 不对数据的位置做任何改变。在删除表的时候,内部表的元数据和数据会被一起删除, 而外部表只删除元数据,不删除数据。这样外部表相对来说更加安全些,数据组织也更加灵活,方便共享源数据。 需要注意的是传统数据库对表数据验证是 schema on wr转载 2017-03-03 17:50:38 · 1072 阅读 · 0 评论 -
hive——创建表不支持新增字段问题
创建hive表后,可能会遇到需要增加字段的情况,我们可能会想当然的像mysql或其他数据库那样,直接添加一个字段。 但对于hive,直接添加的字段可能并不能使用,比如可能会在添加字段后,在插入数据时,会出现类似如下的错误: Error: java.io.IOException: java.lang.ArrayIndexOutOfBoundsException: 9 at org原创 2016-11-01 18:24:59 · 7916 阅读 · 1 评论 -
hive——通过外部向表中插入数据问题
最近在使用hive的过程上遇到一个比较坑的问题,当手动向hive中的表插入数据时,若含有中文字符,插入hive表后中文乱码。比如在hive的client中执行如下脚本: INSERT INTO TABLE table_info PARTITION (date_key='2016-11-07') values('成品2库')从hive中查看插入的结果如下图: 同时也尝试了通过使用原创 2016-11-10 10:40:43 · 3078 阅读 · 0 评论 -
HiveSQL解析原理:包括SQL转化为MapReduce过程及MapReduce如何实现基本SQL操作
Hive是基于Hadoop的一个数据仓库系统,在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建,每天执行近万次的Hive ETL计算流程,负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。 在几次升级Hive的过程中,我们遇到了一些大大小小的问题。通过向社区的 咨询和自己的努力,在解决这些问题的同时我们对Hive将SQL编译为MapReduce的转载 2017-04-26 16:37:39 · 17433 阅读 · 5 评论