- 博客(6)
- 收藏
- 关注
RSS订阅原创 hive优化
比如两个表联接，联接的字段是userid，一个表的userid是string类型，一个表的是int类型，那这样默认按照int来计算哈希的话，那么string类型的都会被分到同一组，易发生数据倾斜。2.join的一张表的数据本身的key分布不均匀，可以把key单独拿出来，或者说说关联的时候用随机值关联，然后后面再进行一层汇总。where 中的条件会下推到主表中，但不会下推到副表中。需要表都是分桶表，join字段是分桶的字段。两表join，关联和where的限制都会下推到两个表里面。不要select *
2023-08-23 17:25:35
49
原创 MaxWell安装以及使用
1.如果在创建maxwell数据库以后，又想新增监听一个数据库。需要现在mysql那里开启新增一行开启的数据库。然后需要在maxwell库里面的database数据库里面 新增一行数据库的数据。maxwell也是通过mysql数据库的主从复制，模拟一个从节点。监听mysql的binlog二进制文件，来反映mysql数据库的变化。2.1安装mysql，并且开启binlog。3.maxwell注意事项。2.4 启动maxwell。1.maxwell介绍。2.maxwell安装。
2023-08-16 14:11:23
226
原创 Hive面试之连续问题
s思路：用日期-排序值得到基础日期，再对基础日期进行分组汇总。题型：连续登录，连续支付，最大连续登录，最大连续支付...例子：求出用户最大连续支付天数。
2023-08-14 16:14:02
72
原创 APEX日里面每个表的查询次数统计
1.背景通过APEX的报表查询情况，停止不再被查询的作业2.思路方法一：1.apex自带的日志视图apex_workspace_activity_log里面只有二级菜单栏的统计次数2.解析APX的.sql文件，找出来表和每个菜单栏对应的关系。或者使用apex的视图APEX_APPLICATION_PAGE_REGIONS里面二级菜单栏和表的对应关系方法二：1.查询oracle的查询历史记录，然后解析SQL，把表按照每次查询的pv统计。2.解析APX的.sql文件，找出来表和每
2022-05-30 18:54:55
275
1
原创 Python第三方个人模块，打包到Linux平台
一：背景由于组内成员每次连接Dli，DGC都要重新初始化一下连接，配置账号，现在把连接部分出抽出来，打包放在Linux上面，可以直接调用方法，传入sql就可以直接使用。二：实现思路1.打包的方式有两种，一种是egg包一种是whl包。按照官网说法，wheels是发行版Python的新标准并且要取代.eggpip install setuptoolspip install wheel2.新建python的setup.py文件，进行打包，放在Linux上面解压，然后导入模块三：实现步
2022-05-07 18:36:12
917
原创 Apex权限分配
目录1.问题2.解决1.问题添加权限的时候，权限过多，超过listagg函数默认的varchar长度（4000byte） 新建函数修改1以后，视图被重新创建，视图之上的触发器找不到了2.解决使用listagg进行分组拼接时，常常会报 ora-01489 错误，造成该报错的主要原因是：listagg 默认返回的数值类型是varchar oracle对字符变量的长度限制，正常情况下，oracle定义的varchar2类型变量的长度不应超过4000字节，如有必要可转换为long 或clob
2021-08-06 18:33:19
957
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人