Hive
Hive
奇迹虎虎
他很忙,忘了填
展开
-
Hive表中有上百万条用户数据,怎么只对其中一个用户修改数据?(附案例)
思路:直接覆写,先弄出完整的增量行,然后排除掉旧内容得出有效的全行数据,最后进行合并查询,得到完整有效的全行数据。原创 2022-03-01 14:01:26 · 1059 阅读 · 0 评论 -
Hive调优及参数优化(详细版)
Hive调优及参数优化,涵盖:基础配置优化、压缩配置优化、分桶优化、Map Join、Bucket-Map Join、SMB Join、Hive并行操作、Hive索引、数据清洗转换优化、统计分析优化、Hive优化器等等......原创 2022-02-18 13:32:12 · 12107 阅读 · 0 评论 -
编写sqoop的自动shell脚本完成对hive中ods层的增量数据导入
编写sqoop的自动shell脚本完成对hive中ods层的增量数据导入原创 2022-02-17 15:24:02 · 849 阅读 · 0 评论 -
导入数据到hive表中,$CONDITIONS的作用(附案例)
如果你想通过并行方式导入结果,每个map task都会执行sql的副本,结果会根据sqoop 推测的边界进行分区。query必须包含$CONDITIONS,这样每个sqoop程序都会被替换成一个独立的条件。同时你必须指定 --split -by 分区。原创 2022-02-17 15:12:16 · 696 阅读 · 0 评论 -
Hive表插入数据前的优化,分区优化、分桶优化、数据倾斜优化、并行优化等等...
Hive表插入数据前的优化,分区优化、分桶优化、数据倾斜优化、并行优化等等...原创 2022-02-17 14:32:44 · 459 阅读 · 0 评论 -
Hive表中文乱码问题
Hive表中文乱码问题,第一步:在MySQL中修改,因为MySQL记录维护着元数据,第二步:在 Hive 的 conf 配置文件中的 hive-site.xml 里添加以下内容原创 2022-02-17 14:22:38 · 1663 阅读 · 0 评论 -
Hive的存储方式和压缩方式,textfile、orc、parquet、snappy、zlib 等等...
Hive的存储方式和压缩方式,textfile、orc、parquet、snappy、zlib 等等...原创 2022-02-17 12:43:44 · 1755 阅读 · 0 评论 -
Hive开窗函数over()的使用(附案例)
Hive开窗函数over()的使用(附案例),开窗结合sum函数使用,开窗时限定窗口行区间,开窗后获取组内的TOPN,分析函数之 Lag 取前几个,分析函数之 lead 取后几个,分析函数之 first_val 第一个值,分析函数之 last_val 最后一个值,等等...原创 2022-02-17 12:24:28 · 623 阅读 · 0 评论 -
Hive表中的json处理方式(附案例)
Hive表中的json处理(附案例)原创 2022-02-17 11:41:51 · 500 阅读 · 0 评论 -
Hive侧视图 Lateral View(单个、多个、outer)(附案例)
Hive侧视图 Lateral View(单个、多个、outer)(附案例)转载 2022-02-17 01:17:27 · 4222 阅读 · 1 评论 -
Hive分桶表创建clustered by()
Hive分桶表创建clustered by()原创 2022-02-16 23:42:06 · 803 阅读 · 0 评论 -
Hive时间函数的使用,时间戳与日期之间的转换,获取时间,获取季度等...
Hive时间函数的使用,时间戳与日期之间的转换,获取时间,获取季度等...原创 2022-02-16 17:55:31 · 4798 阅读 · 0 评论 -
Hive中 case when then 的两种语法结构
case when then 的两种语法结构原创 2022-02-16 21:41:16 · 2267 阅读 · 0 评论 -
Hive调优(简略版)
Hive调优(简略版),hive分区优化,内存溢出等...原创 2022-02-16 17:44:09 · 1496 阅读 · 0 评论 -
插入Hive表数据用 hdfs dfs -put 和 load data 方式,把hdfs里的文件映射成Hive表(附案例)
hdfs dfs -put 方式(Linux终端上操作,实现hive表映射文件)。load data 方式(SQL上操作,实现文件插入hive表)。原创 2022-02-17 00:01:36 · 3381 阅读 · 0 评论 -
Hive分区表创建partitioned by()
Hive分区表创建,静态加载,动态加载原创 2022-02-16 22:39:13 · 4464 阅读 · 0 评论 -
上传Hive表数据的 “单步插入” 和 “多重插入” 方式(附案例)
上传Hive表数据的 “单步插入” 和 “多重插入” 方式(附案例)原创 2022-02-17 00:12:09 · 627 阅读 · 0 评论