小万万的博客

大数据

Hive groovy 动态代码生成

JIRA HIVE-5252 测试文件 compile_processor.q compile `import org.apache.hadoop.hive.ql.exec.UDF \; public class Pyth extends UDF { public double ev...

2018-05-30 01:12:23

阅读数 195

评论数 0

Hive Server2组件分析

组件关系图 HiveServer2 作用 : 启动Hive Server2 入口 主要实现内容 启动CliService服务 启动new ThriftBinaryCLIService(cliService); 通过thrift的TThreadPoolServer用线程池来接收外部请求...

2018-04-25 18:56:00

阅读数 370

评论数 0

Hive 编译并提交Patch

Hive编译安装 Hive 源码编译 编译itests模块 单独编译ql模块

2017-02-25 22:24:33

阅读数 696

评论数 0

hive元数据从mysql迁移到oracle

Source CodeStop Hive MetaStore and Hive Server sudo service hive-metastore stop sudo service hive-server2 stop Dump myql数据执行脚本 : sh mysql_export...

2016-04-13 19:00:37

阅读数 1046

评论数 0

Hive 处理count distinct 产生数据倾斜处理

Hive Multiple count distinct .

2015-11-10 11:57:24

阅读数 3821

评论数 0

Hive Developing

Hive Developing

2015-08-31 11:21:04

阅读数 1012

评论数 2

Hive SQL的编译过程

转自:http://tech.meituan.com/hive-sql-to-mapreduce.html  Hive是基于Hadoop的一个数据仓库系统,在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建,每天执行近万次的Hive ETL计算流程,负责每天数百GB的数据存储和分析。...

2015-04-21 16:08:40

阅读数 772

评论数 0

hive启动web程序流程

1.通过hwi service启动hwi.sh,在hwi.sh中到lib目录下找到hwi.jar和hwi.war,并执行主类org.apache.hadoop.hive.hwi.HWIServer 2.在HWIServer中进入start方法,设置好host和port变量,默认为0.0.0.0:...

2013-10-12 14:16:02

阅读数 25

评论数 0

ANTLR使用入门

简介 简介 ANTLR是一个有力的用于读,处理,执行,翻译结构化文本或者二进制文件的解析生成器。它被广泛的使用在编译语言,工具和框架中。通过一个语法,ANTLR可以生成一个能够编译和走通编译树的解析(parser)。 使用入门 安装Java环境。Antlr是使用Ja...

2013-10-12 13:58:39

阅读数 80

评论数 0

Hive开窗函数测试-cube,rollup

作者:万昆 日期:20130605       准备表和测试数据 建表 create table group_test (group_id int, job string, name string, salary int);       准备数据文件       1...

2013-05-29 17:15:36

阅读数 18

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭