- 博客(5)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 spark dataFrame自定义函数 聚合array
spark2.4scala2.11准备环境准备数据//造数据需求//需求结果// all_v_list 不需要排序 去重即可自定义函数// 聚合函数输入数据结构// 缓存区数据结构，用于计算// 聚合函数输出值数据结构// 聚合函数是否是幂等的，即相同输入是否总是能得到相同输出// 初始化缓冲区}// 给聚合函数传入一条新数据进行处理}else{}}// 合并聚合函数缓冲区（分布式）}// 计算最终返回结果list}}注册函数//注册函数测试"""|select。
2022-10-25 17:59:05
708
原创 hive误删表，数据恢复
本文删除的表时hive的分区表，parquet格式snappy压缩。有分桶 首先你要知道你的hdfs回收站是否开启 找到你的回收站里的刚才删除的hive表数据的文件，前提是你的表示drop的，而不是truncate的，truncate的表数据我暂时不知道能不能恢复 我们hive表删除的数据是在 标记1 的这个文件里（Current）这个需要看你的配置和个人的登陆服务器情况，但是一定不会在标记2这里 新建原表 CREATE TABLE `hive_na
2022-02-16 22:09:29
2379
原创 hive基础-建表
1.最基础啥都不带的建表create table if not exists user( id string COMMENT 'ID', name string COMMENT '名字', age string COMMENT '年龄')2.添加分隔符，以逗号","分割create table if not exists user( id string COMMENT 'ID', name string C..
2022-02-11 13:37:52
1608
1
空空如也
CDH的Hue运行sql的问题
2021-12-23
TA创建的收藏夹 TA关注的收藏夹
TA关注的人