- 博客(7)
- 收藏
- 关注
原创 日历表作用与HiveSQL生成
在数据处理的过程中,有时候会碰到一些需要使用日历的场景,在使用中碰到过的有1.计算工作日(可以抽象一些理解为为不同日期的权重不一样,工作日权重为1,其他为0)2.计算财年、财务月、财务周(和自然日期有所不同)3.利用日期区间展开一些计算(比如将某张账单金额拆到账单对应得一个时间区间)这里记录一段日历表的生成HiveSQL,需要执行引擎里有日期加减函数...
2020-08-18 18:47:59
1020
原创 RSA非对称加密密钥生成方法
JAVA中非对称加密经常需要使用RSA密钥,记录了一下生成方法方法一:标准答案,windows系统也可以用安装openSSL,利用openSSL生成,网上教程一大堆,此处就随便留个地址https://blog.csdn.net/yhl_jxy/article/details/51538332openSSL下载地址:https://www.openssl.org/source/官...
2019-07-29 21:39:46
2838
原创 数据仓库中敏感信息数据的收集存储与分发
业务数据中经常会有一些客户信息,标的信息等敏感信息,这部分的信息由于保密原则,不能明文存储和传输,所以会使用到一些加密的流程,这里记录了一下目前我所了解的流程,欢迎分享更多场景与见解。Step1——收集:来自不同渠道的业务数据一般会在传输时进行不同的加密,这些数据应当在业务承接系统先行按照不同的逻辑进行解密,保障不同渠道数据在录入时均是可以解析使用的。Step2——存储:敏感数据在存入数据...
2019-07-29 16:16:46
1675
原创 Hive中SQL查询结果不符合where条件可能原因
错误1.如果有多层AND和OR,需要注意括号,用AND链接多个括号内(OR)条件错误2.确认原表字段类型,where条件中原表字段类型为bigint,查询条件写成字符串时,会被转为double进行匹配,此时会丢失精度,使结果错误。注:该问题可以通过执行计划看出,附经典例图...
2019-07-26 12:27:19
1890
翻译 修改win10默认字体(资源管理器)
Step1.控制面板->外观与个性化->字体Step2.找到要更换的字体,记录下名字Step3.修改"Segoe UI"="****",替换成记录下的字体名,保存为*.reg格式Windows Registry Editor Version 5.00[HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows NT\Cur...
2019-07-16 01:37:02
4530
原创 Hive中利用正则表达式选择除指定列名以外的列的SQL语法
HiveSQL利用正则表达式可以选取指定的列,不用写出所有列名select `(anything)?+.+`from dual;anything可以换成任意列名,多个列名之间用“|”连接如果从多个表取数,则可以在表达式前面加表别名select a.`(anything)?+.+`,b.`(anything)?+.+`from table_a aleft outer ...
2019-07-15 10:41:11
2704
1
原创 win10批量替换文件名
使用windowspowershell运行的脚本$Path = '******'$Filter ='*.txt'$newtext='****'$oldtext='****'ls $Path -Include $Filter -Recurse | ForEach-Object{Rename-Item $_.FullName$_.FullName.Replace($oldtext,$...
2019-07-15 10:35:48
3131
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人