![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
wankunde
这个作者很懒,什么都没留下…
展开
-
Hive SQL的编译过程
转自:http://tech.meituan.com/hive-sql-to-mapreduce.html Hive是基于Hadoop的一个数据仓库系统,在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建,每天执行近万次的Hive ETL计算流程,负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。在几次升级Hive的过程中,我们遇到了一些大大转载 2015-04-21 16:08:40 · 920 阅读 · 0 评论 -
ANTLR使用入门
简介简介ANTLR是一个有力的用于读,处理,执行,翻译结构化文本或者二进制文件的解析生成器。它被广泛的使用在编译语言,工具和框架中。通过一个语法,ANTLR可以生成一个能够编译和走通编译树的解析(parser)。使用入门安装Java环境。Antlr是使用Java开发的,所以这个是需要的。到这个地方下载Antlr工具包antlr-4.1-complet...原创 2013-10-12 13:58:39 · 423 阅读 · 0 评论 -
Hive开窗函数测试-cube,rollup
作者:万昆 日期:20130605 准备表和测试数据建表create table group_test (group_id int, job string, name string, salary int); 准备数据文件 10 Coding Bruce 100010 Programmer Clair 100010 A...原创 2013-05-29 17:15:36 · 276 阅读 · 0 评论 -
Hive groovy 动态代码生成
JIRA HIVE-5252测试文件compile_processor.qcompile `import org.apache.hadoop.hive.ql.exec.UDF \;public class Pyth extends UDF { public double evaluate(double a, double b){ return Math.sqrt((a...原创 2018-05-30 01:12:23 · 775 阅读 · 0 评论 -
Hive Server2组件分析
组件关系图HiveServer2作用 : 启动Hive Server2 入口主要实现内容启动CliService服务启动new ThriftBinaryCLIService(cliService); 通过thrift的TThreadPoolServer用线程池来接收外部请求,然后调用父类ThriftCLIService类处理请求,使用zookeeper对Java服务进行管...原创 2018-04-25 18:56:00 · 1953 阅读 · 0 评论 -
Hive 编译并提交Patch
Hive编译安装Hive 源码编译 编译itests模块 单独编译ql模块原创 2017-02-25 22:24:33 · 1151 阅读 · 0 评论 -
Hive Developing
Hive Developing原创 2015-08-31 11:21:04 · 1293 阅读 · 2 评论 -
hive元数据从mysql迁移到oracle
Source CodeStop Hive MetaStore and Hive Server sudo service hive-metastore stop sudo service hive-server2 stopDump myql数据执行脚本 : sh mysql_export.sh, 导出结果文件为data2.sql数据灌入Oracle拷贝data2.sql文件到oracle原创 2016-04-13 19:00:37 · 1353 阅读 · 0 评论 -
Hive 处理count distinct 产生数据倾斜处理
Hive Multiple count distinct .原创 2015-11-10 11:57:24 · 5838 阅读 · 0 评论 -
hive启动web程序流程
1.通过hwi service启动hwi.sh,在hwi.sh中到lib目录下找到hwi.jar和hwi.war,并执行主类org.apache.hadoop.hive.hwi.HWIServer 2.在HWIServer中进入start方法,设置好host和port变量,默认为0.0.0.0:9999,通过webServer = ShimLoader.getJettyShims().sta...原创 2013-10-12 14:16:02 · 254 阅读 · 0 评论