hive
gao634209276
这个作者很懒,什么都没留下…
展开
-
Hive SQL的编译过程
Hive SQL的编译过程木叶丸 ·2014-02-12 17:30Hive是基于Hadoop的一个数据仓库系统,在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建,每天执行近万次的Hive ETL计算流程,负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。在几次升级Hive的过程中,我们遇到了一些大大小小的问题。通过向社区的咨询和自己的努力转载 2016-05-14 12:39:03 · 441 阅读 · 0 评论 -
深入浅出数据仓库中SQL性能优化之Hive篇
一个Hive查询生成多个Map Reduce Job,一个Map Reduce Job又有Map,Reduce,Spill,Shuffle,Sort等多个阶段,所以针对Hive查询的优化可以大致分为针对MR中单个步骤的优化(其中又会有细分),针对MR全局的优化,和针对整个查询(多MR Job)的优化,下文会分别阐述。 在开始之前,先把MR的流程图帖出来(摘自Hadoop权威指南转载 2016-08-17 11:55:21 · 394 阅读 · 0 评论 -
Hive中的InputFormat、OutputFormat与SerDe
前言Hive中,默认使用的是TextInputFormat,一行表示一条记录。在每条记录(一行中),默认使用^A分割各个字段。在有些时候,我们往往面对多行,结构化的文档,并需要将其导入Hive处理,此时,就需要自定义InputFormat、OutputFormat,以及SerDe了。首先来理清这三者之间的关系,我们直接引用Hive官方说法:SerDe is a short name转载 2016-06-03 18:53:16 · 2143 阅读 · 0 评论 -
hadoop2.7.2分布式集群搭建和生态系统配置
本文只介绍apache版hadoop2.7.2集群环境安装配置,其中的功能使用不做过多说明.详情参考其他资料集群没有配置HA,详情参考其他资料,或本人接下来的文章一 根据官方说明,匹配合适的版本:hadoop使用的是目前比较新的稳定版本hive27 June 2015 : release 1.2.1 availableThis release works with Hadoop 1.x.y, 2.x.y原创 2016-05-15 21:07:35 · 752 阅读 · 0 评论 -
Hive基本原理及环境搭建
今天我主要是在折腾这个Hive,早上看了一下书,最开始有点凌乱,后面慢慢地发现,hive其实挺简单的,以我的理解就是和数据库有关的东西,那这样的话对我来说就容易多啦,因为我对sql语法应该是比较熟悉了,而这个是HQL的,其实很多都差不多。先来看一下Hive的基本介绍:一、Hive基本原理 hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表转载 2016-05-29 11:30:28 · 260 阅读 · 0 评论 -
hive1.2.1 web interface配置(hive-hwi-1.2.1)
基本配置可以在原来基础上添加hive的hwi配置/opt/software/apache-hive-1.2.1-bin/conf/hive-env.shexport HADOOP_HOME=/opt/modules/hadoop-2.7.1export HIVE_CONF_DIR=/opt/software/apache-hive-1.2.1-bin/confexport HADO原创 2016-05-16 16:52:53 · 1189 阅读 · 0 评论 -
Hive – Distinct 的实现
准备数据语句SELECT COUNT, COUNT(DISTINCT uid) FROM logs GROUP BY COUNT;hive> SELECT * FROM logs;OKa 苹果 3a 橙子 3a 烧鸡 1b 烧鸡 3 hive> SELECT COUNT, COUNT(DISTINCT uid)转载 2016-05-14 13:25:19 · 1135 阅读 · 0 评论 -
hive 结合执行计划 分析 limit 执行原理
标签:hive 执行计划 limit 原理转载: 原始出处 http://yaoyinjie.blog.51cto.com/3189782/923378 在hive查询中要限制查询输出条数, 可以用limit 关键词指定,如 select columnname1 from table1 limit 10; 这样hive将输出符合查询条件的10个记录,从根本上说, hive是h转载 2016-05-14 13:29:41 · 1412 阅读 · 0 评论 -
hadoop2.7.2集群hive-1.2.1整合hbase-1.2.1
本文操作基于官方文档说明,以及其他相关资料,若有错误,希望大家指正根据hive官方说明整合hbase链接如下https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration文中指出hive0.9.0匹配的Hbase版本至少要0.92,比这更早的hive版本要匹配Hbase0.89或者0.90自Hive1.x后,hive能原创 2016-05-12 14:19:10 · 6104 阅读 · 1 评论 -
hive 使用TEZ的安装配置
hive,tez,hadoop2原创 2016-08-27 00:06:57 · 11191 阅读 · 5 评论