hive
文章平均质量分 57
怦然心动A
初来乍到,多多关照
展开
-
java连接Hive
java连接Hive一、BaseConfig类二、BaseDao类三、Result类一、BaseConfig类import java.io.FileReader;import java.sql.Connection;import java.sql.DriverManager;import java.sql.SQLException;import java.util.Properties;import java.util.regex.Matcher;import java.util.rege原创 2021-01-09 23:21:35 · 1678 阅读 · 1 评论 -
Hadoop和Hive
一、什么是动态分区二、 为什么使用动态分区从业务层面: ①:当我们在业务中频繁的对某一个字段分区聚合时,就会将该字段作为分区字段来设置分区,当有大量的数据需要存储时, 可以一次性的将这些数据导入分区中(与静态分区不一样,静态分区一次只能导入一个分区的数据) ②: 在分布式计算框架中减少数据的IO迁移带来的负载,从而提升效率,性能从技术层面: 开启动态分区的模式:(静态分区不需要) set hive.exec.dynamic.partition=true原创 2020-12-21 18:44:47 · 196 阅读 · 0 评论 -
hive数据倾斜问题以及Hive的优化
数据倾斜产生的原因数据倾斜的原因很大部分是join倾斜和聚合倾斜两大类原创 2020-12-16 20:00:29 · 249 阅读 · 0 评论 -
Hive函数和查询(持续更新)
一、函数(一)常用函数(二)、窗口函数排序:row_number(): 排序时从1开始自增,相当于是自增列,1,2,3,4,5...rank(): 排序时从1开始,出现相同值时空缺,1,2,2,4,4,6...dense_rank(): 排序时从1开始,出现相同值时不留空缺:1,2,2,3,3,4...cume_dist: 从小于等于当前值的行数/分组内总行数(占比)比如:统计小于等于当前薪水的行数(人数,一行代表一个人),所占总行数(人数)的比例percent_rank原创 2020-12-14 11:04:06 · 157 阅读 · 0 评论 -
Hive介绍以及对数据库和数据表的操作
一、Hive是什么二、Hive的作用三、Hive的优势四、Hive基本操作(一)、数据库(二)、数据表分区表分桶表原创 2020-12-09 11:22:32 · 445 阅读 · 0 评论