- 博客(3)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 银行业密钥体系概述
银行业的密钥体系是个很庞大的体系，其覆盖不同的密码学算法及适应不同的业务场景。一方面保证银行的数据安全性，另一方面适应业务的变化且易于理解和使用。银行业的密钥体系与银行监管制度是紧密相关的，密钥体系保证银行内各个业务环节的安全性，而银行监管制度保证密钥体系能够有效地执行，最终依靠对操作人员进行监管使得密钥体系得到有效的实施。提到密钥，一定要先了解下密码学的一些基础算法，银行主要使用的密码学算法...
2018-10-30 09:58:29
10273
原创 spark以standalone运行时的日志清理
spark运行任务的日志一直没太大关注，原因是硬盘资源充足，除非任务出错时才去看一下，但没有清理这些日志的习惯。直到最近遇到的一个问题是，硬盘资源严重缺乏，不得不需要定时去清理日志。第一时间去看下spark本身的配置，是否支持定时清理日志的选项，毕竟spark那么成熟，相信很多人都面临过这样的问题。从spark-env.sh里面看到SPARK_WORKER_OPTS和SPARK_HISTORY...
2018-10-29 21:23:12
1217
原创 关于spark以parquet写入时的小问题
今天使用spark对一个dataframe中的数据以某一个为主键做groupby进行求和，数据类似如下：scala> userDF.show+---------+--------+| userid | count |+--------+---------+| 11111111| 102|| 2222222| 97|| 3333333| 10|| 1111111...
2018-10-17 18:02:29
2801
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人