- 博客(3)
- 资源 (2)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 HiveSQL动态实现多行区间分组维度
工作中接到一个报表需求，需要根据用户的授信额度，动态统计各个额度分段的人数例如：维度，[0,500)，主要思路是使用爆炸函数posexplode如果你也遇到类似的需求，代码直接copy复用即可。
2023-03-17 11:56:32
563
原创 Hive自定义加解密udf、udtf函数部分失效问题
例如：业务库的手机号、身份证等敏感信息在落入数仓表前都需要进行加密后再进行存储；特定场景下业务人员会再将加密后的敏感信息进行解密后进行分析。会存在加密后数据变为空值，或者解密后数据变为空值的情况。例如：当遇到流量高峰，或者其他异常请求情况，代码逻辑中会返回空值。比如一次性加解密的数据量过大，会产生大量的请求，会存在流量异常的情况，导致返回空值。例如：每天跑批加密的时候，限制一下数据量；为了防止可能还会出现空值，可以进行二次加密，即对于第一步未加密成功的数据再次加密。
2022-11-30 16:08:03
745
原创 Hive on Spark 的bigint类型与datedifff返回值精度丢失问题
Hive on Spark 的bigint类型与datedifff返回值精度丢失问题
2022-09-15 17:41:31
744
mysql MGR官方文档（京东翻译）
MySQL Group Replication（MGR）是MySQL官方在5.7.17版本引进的一个数据库高可用与高扩展的解决方案，以插件形式提供，实现了分布式下数据的最终一致性，总结MGR特点如下：
高一致性：基于分布式paxos协议实现组复制，保证数据一致性；
高容错性：自动检测机制，只要不是大多数节点都宕机就可以继续工作，内置防脑裂保护机制；
高扩展性：节点的增加与移除会自动更新组成员信息，新节点加入后，自动从其他节点同步增量数据，直到与其他节点数据一致；
高灵活性：提供单主模式和多主模式，单主模式在主库宕机后能够自动选主，所有写入都在主节点进行，多主模式支持多节点写入。
作者：偏执的工匠
链接：https://www.jianshu.com/p/ca1af156f656
來源：简书
简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。
2019-01-23
R七种武器之plyr第一部分（视频）
plyr包可以进行类似于数据透视表的操作，将数据分割成更小的数据，对分割后的数据进行些操作，最后把操作的结果汇总。
本文主要介绍以下内容：
Split-Aapply-Combine 原理介绍
baby_names的名字排名
求分段拟合的系数
部分其他函数介绍
在正式开始之前，请确保电脑上已经安装plyr，如果没有，通过install.packages()函数进行安装
2018-07-18
TA创建的收藏夹 TA关注的收藏夹
TA关注的人