-----Hive
唐予之_
Java Scala Hadoop Spark Hive Kafka
展开
-
Hive SQL的编译过程
Hive SQL的编译过程木叶丸 ·2014-02-12 17:30Hive是基于Hadoop的一个数据仓库系统,在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建,每天执行近万次的Hive ETL计算流程,负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。在几次升级Hive的过程中,我们遇到了一些大大小小的问题。通过向社区的咨询转载 2017-01-21 14:21:06 · 742 阅读 · 0 评论 -
遇到的Hive的坑
hive CLI 启动错误hive CLI启动时报错:(hadoop-2.5.2 + HIVE 1.1.0)root@ubuntu:/hadoop-2.5.2/etc/hadoop# hiveLogging initialized using configuration in jar:file:/hive/apache-hive-1.1.0-bin/lib/hive-common-1.1.0.jar原创 2017-02-21 19:13:58 · 948 阅读 · 0 评论 -
Hive学习笔记
1.增增数据库 增table(内部表,外部表) 增列 增分区2.删删库 删表 删列 删分区3.改改库名 改表名 改列名 改分区名4.查查有哪些库 查有哪些表 查表结构5.导(注意,如果创建的内部表的话,会把hdfs上的csv文件移动到相应的位置)导入本地(hdfs)csv 到hive 匹配导入 导入csv到hive的某几个列,某个分区。hive:hdfs: load da原创 2017-02-22 10:07:16 · 1114 阅读 · 0 评论 -
Hive UDF /UDAF /UDTF Example
一些Hive UDF UDAF UDTF 例子 来源于Hive源码UDF:1/** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE原创 2017-08-15 21:17:54 · 867 阅读 · 0 评论 -
本地调试(local debug)Hive源码
本地调试(local debug)本次调试本为了修改HiveServer2 以提供授权校验接口,因此下了Hive源码 准备调试一番。主要测试了CliDriver和HiveServer2.主要流程参考了这篇文文章的实现:http://b865a395.wiz03.com/share/s/2Upqel3Vs45O2q1eTZ1wyr_O0urkGT29lAco2pq2Ol26_NM3 在此篇文章对细节原创 2018-01-17 20:30:54 · 2614 阅读 · 0 评论 -
Hive 中文分区 展示 乱码 注释乱码问题
遇到神一样的客户,遇到神一样的问题,用神一样的脚本来解决。神问题:1.要求分区名是中文 例如 dt=今天/city=杭州插入不进去:2.Select * from table 时,展示乱码例如:hive> > select * from test_table_xuehuan13;OK工作流目录 ?????可见这里本来两个都是中文结果分区字段显示...原创 2018-07-06 17:15:40 · 4345 阅读 · 0 评论