hive的这些事
文章平均质量分 77
数据社
欢迎关注公众号:数据社
展开
-
Hive|如何避免数据倾斜
1. hive中桶的概述 对于每一个表(table)或者分区, Hive可以进一步组织成桶,也就是说桶是更为细粒度的数据范围划分。Hive也是 针对某一列进行桶的组织。Hive采用对列值...原创 2020-11-09 06:50:00 · 2665 阅读 · 0 评论 -
hive数据迁移
比如需要把生产的hive集群数据迁移到另一个集群,hive提供了2个命令工具,可以实现表的批量迁移。[export/import]设置默认需要导出的hive数据库在hive目录/etc/alternatives/hive-conf下添加.hivercvi ~/.hivercuse test;创建数据临时目录hdfs dfs -mkdir /tmp/test生成导出数据脚本hive -原创 2016-08-22 15:31:16 · 2447 阅读 · 0 评论 -
关于hive数据导入方式的总结
从本地导入数据到hive:load data local inpath '/home/hive/tb_dw_cu_three_type_list_dtal/*.dat' overwrite into table csap.tb_dw_cu_three_type_list_dtal partition(statis_date=20160121);从HDFS直接导入数据到hive:原创 2016-02-16 16:28:39 · 953 阅读 · 1 评论 -
收藏,二万字讲解HiveSQL技术原理、优化与面试
来源:大数据老哥全文共12336个字,建议收藏阅读本文基本涵盖以下内容:Hive SQL 编译成MapReduce过程Hive 千亿级数据倾斜Hive执行计划Hive 底层执行架构-...转载 2022-03-07 07:06:00 · 2792 阅读 · 0 评论 -
hive改表结构的两个坑
坑一:改变字段类型后更新数据不成功关于hive插入数据的一个小坑,今天插入一个表中数据,插入时写的是常数,比如0.01 ,表中的字段也是DECIMAL(5,2) 按照常理插入的应该是0.01,但是插入后查询是0,为甚! 就分析呀,看语句没问题啊,上网查,上hive官网查,呀~ 发现了原因哦https://cwiki.apache.org/原创 2016-05-24 10:26:22 · 63663 阅读 · 3 评论 -
Hive面试,如何优化查询效率!
1,开启FetchTask 一个简单的查询语句,是指一个没有函数、排序等功能的语句,当开启一个Fetch Task功能,就执行一个简单的查询语句不会生成MapRreduce作业,而是直接...原创 2020-11-10 07:30:00 · 2046 阅读 · 0 评论 -
Hive改表结构的两个坑|避坑指南
Hive在大数据中可能是数据工程师使用的最多的组件,常见的数据仓库一般都是基于Hive搭建的,在使用Hive时候,遇到了两个奇怪的现象,今天给大家聊一下,以后遇到此类问题知道如何避坑!坑...原创 2020-09-17 07:00:00 · 5073 阅读 · 0 评论 -
数仓实战|两步搞定Hive数据加载到Greenplum
如果说Hive是离线数仓的代表,那么Greenplum就是MPP数据库的代表。在离线数仓的年代,以Hive为核心的数据仓库席卷数据仓库市场,几乎成为了离线数仓的代名词。...转载 2021-08-23 07:06:00 · 3353 阅读 · 3 评论 -
hive的这些事(一)——hive数据迁移
比如需要把生产的hive集群数据迁移到另一个集群,hive提供了2个命令工具,可以实现表的批量迁移。[export/import]设置默认需要导出的hive数据库在hive目录/etc/alternatives/hive-conf下添加.hivercvi ~/.hivercuse test;创建数据临时目录hdfs dfs -mkdir /tmp/test...原创 2018-06-05 15:52:23 · 6847 阅读 · 0 评论 -
Hive 核心知识点灵魂 16 问
全文共6100个字,建议阅读16分钟本文目录No1. 请谈一下 Hive 的特点No2. Hive 底层与数据库交互原理?No3. Hive 的 HSQL 转换为 MapReduce 的过程?No4. Hive 的两张表关联,使用 MapReduce 怎么实现?No5. 请说明 hive 中 Sort By,Order By,Cluster By,Distrbute By...转载 2022-04-10 13:30:00 · 5307 阅读 · 0 评论 -
Hive提高查询效率的八条军规
编辑:数据社,作者:数据一哥全文共3881个字,建议阅读10分钟大家好,我是一哥,今天分享一下Hive如何提升查询效率。Hive作为最常用的数仓计算引擎,是我们必备的技能,但是很多人只是会...原创 2021-09-13 07:06:00 · 1600 阅读 · 0 评论