![](https://img-blog.csdnimg.cn/20190918140129601.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Apache Hive
文章平均质量分 68
分享hive使用技巧,问题和解决
终回首
只是向上走,不必听自暴自弃者流的话。能做事的做事,能发声的发声。
有一分热,发一分光,就令萤火一般,也可以在黑暗里发一点光,不必等候炬火。
此后如竟没有炬火:我便是唯一的光。
展开
-
Apache Hive源码阅读环境搭建
下载hive编译源码遇到的问题与解决原创 2023-11-18 10:51:54 · 573 阅读 · 0 评论 -
数仓开发过程(开发向)
一、需求调研1 确定需求1.1 业务调研1.2 确定需求2 分析业务过程3 划分数据域(主题域)4 确定维度与构建总线矩阵4.1 确定维度4.2 构建总线矩阵5 明确统计指标原子指标和派生指标二、方案设计1 数据探查2 开发设计2.1 DDL表设计2.2 DML设计2.3 调度设计依赖设计运行周期设置基线设置优先级数据流设计三、数据开发1 代码开发2 单元测试3 代码评审参考资料......转载 2022-05-05 20:00:00 · 4299 阅读 · 0 评论 -
Apache Hive基础知识
我的hive学习笔记一、简介Apache Hive是一个提供访问HDFS上存储数据的SQL接口的数据仓库。适合存储数据不会频繁变化,且不需要快速响应给出结果的场景。Hive暂不支持记录级别的更新、删除。原创 2021-05-05 12:27:12 · 1545 阅读 · 11 评论 -
9.Apache Hive 映射Hbase表 出现数据重复
在hive中创建一个映射hbase的外部表,用来查询hbase的数据。查询hive外部表时发现数据重复。解决方法。原创 2021-03-22 00:36:42 · 619 阅读 · 1 评论 -
4.Apache Hive 查询视图中文乱码
一、问题查询创建好的视图时出现中文乱码创建语句:create view view_test1 as select case sex when 0 than '女' when 1 than '男' else '' end as sex ,case level when 1 than '一级' when 2 than '二级' else '' end as level from tablename1查询结果:二、解决1 直接用select查发现可以正常显示中文,说明查询的过程没问题2 怀疑原创 2021-02-24 21:18:03 · 608 阅读 · 0 评论 -
5.Apache Kylin 构建 第一步报错 Container complete event for unknown container
版本:Apache Kylin 3.0.0一、问题build cube第一步(#1 Step Name: Create Intermediate Flat Hive)报错Container complete event for unknown containerHive Runtime Error: Map local work exhausted memoryyarn job日志:2021-02-08 17:00:18,379 INFO [RMCommunicator Allocator原创 2021-02-08 18:07:59 · 2016 阅读 · 1 评论 -
3.Apache Hive 查询报错 FAILED: org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask
版本CDH 6.2.0Hive 2.1.1-cdh6.2.0一、问题执行查询视图的sql报错:FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask视图由多个表join生成。sql如下select * from view_test limit 10;日志:Task failed!Task ID: Stage-11Logs:/tmp/hdfs/h原创 2021-01-29 10:59:39 · 1595 阅读 · 2 评论 -
3.Apache Kylin build cube 第一步(Create Intermediate Flat Hive Table)失败
一、问题kylin版本:3.0.0CDH版本:6.2.0问题描述:几分钟内提交8个build cube任务。top命令看到kylin所在节点cpu飙升到了100,找到对应的进程id,cd /proc/id下,发现都是kylin的进程,kill -9 杀死所有进程。重启一下kylin看看,重启后发现下面的日志。重启后,重新构建一个cube,在yarn页面可以看到build的第一个阶段已经完成,但是kylin界面显示仍然在执行Create Intermediate Flat Hive Table。看ky原创 2020-11-10 19:07:06 · 1508 阅读 · 0 评论 -
2.Apache Kylin 清理存储 kylin.sh org.apache.kylin.tool.StorageCleanupJob --delete true 进入阻塞状态
一、问题kylin在hive中和hbase中创建了太多中间表,于是想要清理一下,执行官方提供的清理命令时进入阻塞状态,这个命令之前运行过是没问题的清理命令${KYLIN_HOME}/bin/kylin.sh org.apache.kylin.tool.StorageCleanupJob --delete true在等待了10分钟后,终于决定停掉看看这个命令是什么原理。二、解决其实是先想到思路二,在按照思路二干的时候突然想到思路一的。由于思路一更快的解决了问题,所以就把思路一放到了前面。原创 2020-09-18 20:36:16 · 605 阅读 · 0 评论 -
2.Apache Spark sql 一次80000并行度sql的优化经历
一、问题一位同事遇到的问题他调试spark sql任务时发现,任务并行度达到了恐怖的81835个,运行速度自然也快不到哪去。spark任务界面如下图所示二、解决1.排查过程先看了下入参的hive表下的文件个数su hdfshdfs dfs -count /user/hive/warehouse/database_name.db/table_name发现对应的文件数刚好是和spark任务并行度一样的81835这说明sparksql里的where的过滤没有生效又看了下where里的字段原创 2020-08-31 18:35:08 · 319 阅读 · 0 评论 -
2.hive 中查询 映射hbase的映射表报错unable to create manager for /var/log/hive/operation_logs/
一、问题问题详细描述:查询报错命令行查询hive映射hbase表时报unable to create manager for /var/log/hive/operation_logs/,结果可以查询出来而且可以打印到控制台,但会输出一大堆看起来很不舒服的日志。sql查询语句如下:select * from hive_map_hbase_test1 limit 100;日志如下:2020-08-10 18:38:42,649 main ERROR Unable to invoke factor原创 2020-08-10 18:47:31 · 1136 阅读 · 0 评论 -
1.hive truncate table 阻塞
1.hive truncate table 阻塞一、问题1.hive脚本中** truncate table**时,进入阻塞状态。2.日志截图:3.脚本内容节选hive -e "truncate table aero_test_3u.flight;"二、解决1.具体操作设置hive.lock.mapred.only.operation属性为true再truncate。改完的脚本如下所示:hive -e "set hive.lock.mapred.only.operation=tr原创 2020-07-03 12:38:10 · 1740 阅读 · 0 评论