sxw_ecnu-CSDN博客

原创日历表作用与HiveSQL生成

在数据处理的过程中，有时候会碰到一些需要使用日历的场景，在使用中碰到过的有1.计算工作日（可以抽象一些理解为为不同日期的权重不一样，工作日权重为1，其他为0）2.计算财年、财务月、财务周（和自然日期有所不同）3.利用日期区间展开一些计算（比如将某张账单金额拆到账单对应得一个时间区间）这里记录一段日历表的生成HiveSQL，需要执行引擎里有日期加减函数...

2020-08-18 18:47:59 1007

原创 RSA非对称加密密钥生成方法

JAVA中非对称加密经常需要使用RSA密钥，记录了一下生成方法方法一：标准答案，windows系统也可以用安装openSSL，利用openSSL生成，网上教程一大堆，此处就随便留个地址https://blog.csdn.net/yhl_jxy/article/details/51538332openSSL下载地址：https://www.openssl.org/source/官...

2019-07-29 21:39:46 2822

原创数据仓库中敏感信息数据的收集存储与分发

业务数据中经常会有一些客户信息，标的信息等敏感信息，这部分的信息由于保密原则，不能明文存储和传输，所以会使用到一些加密的流程，这里记录了一下目前我所了解的流程，欢迎分享更多场景与见解。Step1——收集：来自不同渠道的业务数据一般会在传输时进行不同的加密，这些数据应当在业务承接系统先行按照不同的逻辑进行解密，保障不同渠道数据在录入时均是可以解析使用的。Step2——存储：敏感数据在存入数据...

2019-07-29 16:16:46 1648

原创 Hive中SQL查询结果不符合where条件可能原因

错误1.如果有多层AND和OR，需要注意括号，用AND链接多个括号内（OR）条件错误2.确认原表字段类型，where条件中原表字段类型为bigint，查询条件写成字符串时，会被转为double进行匹配，此时会丢失精度，使结果错误。注：该问题可以通过执行计划看出，附经典例图...

2019-07-26 12:27:19 1871

翻译修改win10默认字体(资源管理器)

Step1.控制面板->外观与个性化->字体Step2.找到要更换的字体，记录下名字Step3.修改"Segoe UI"="****",替换成记录下的字体名，保存为*.reg格式Windows Registry Editor Version 5.00[HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows NT\Cur...

2019-07-16 01:37:02 4447

原创 Hive中利用正则表达式选择除指定列名以外的列的SQL语法

HiveSQL利用正则表达式可以选取指定的列，不用写出所有列名select `(anything)?+.+`from dual;anything可以换成任意列名，多个列名之间用“|”连接如果从多个表取数,则可以在表达式前面加表别名select a.`(anything)?+.+`,b.`(anything)?+.+`from table_a aleft outer ...

2019-07-15 10:41:11 2672 1

原创 win10批量替换文件名

使用windowspowershell运行的脚本$Path = '******'$Filter ='*.txt'$newtext='****'$oldtext='****'ls $Path -Include $Filter -Recurse | ForEach-Object{Rename-Item $_.FullName$_.FullName.Replace($oldtext,$...

2019-07-15 10:35:48 3112

笔记本