白夜鸦羽-CSDN博客

原创 [安全开发]日志敏感信息检测-1-身份证

前言身份证号码格式正则提取地址码校验校验码校验优化思考前言防止敏感信息泄漏，保护用户和企业信息隐私，是企业安全中重要的环节。通过检测日志中的敏感信息，能够：排查潜在的泄漏敏感信息的系统和接口，防止被黑产恶意利用，盗取用户敏感信息检查数据传输、日志打印的规范，是否对敏感信息有做加密、打码等处理对于海量日志的敏感信息检测，可以采用Flink流数据处理引擎，进行检测排查。本文不讨论Flink，只记录日志中身份证号码检测规则的一点心得。身份证号码格式一代身份证基本不存在了，.

2020-09-27 23:25:28 2457 2

原创 [问题踩坑]Flink SQL CDC维表查询异常：User does not have the ‘LOCK TABLES‘ privilege required to obtain a ……

背景使用Flink SQL CDC模式创建维表如下 CREATE TABLE cdc_test ( id STRING, ip STRING, url STRING, PRIMARY KEY (id) NOT ENFORCED ) WITH ( 'connector' = 'mysql-cdc', -- Flink 1.11之后才支持 'hostname' = '127.0.0.1', 'port' = '3306', 'databa

2021-03-04 16:58:06 3842

原创 [安全开发]云服务器IP网段爬虫

在一些业务场景下，正常用户的访问IP多为运营商IP。对于少数云服务器IP访问的情况，是存在潜在的安全风险的，我们可以对云服务器IP访问进行监控。那么如何判定一个IP是云服务器IP呢？我们可以通过下面这个网站可以查询云服务器IP网段，如果用户的访问IP在云服务器IP网段内，则为云服务器IP。 https://bgp.he.net/ GitHub传送门：云IP网段爬虫 ...

2020-12-23 09:33:19 709

原创解析和校验Flink SQL语句

Flink对SQL的支持是基于Apache Calcite实现的，且Flink包中集成了Apache Calcite，所以我们可以直接调用Flink包中的SQL解析类，来解析和校验我们的Flink SQL语句。 import org.apache.calcite.avatica.util.Casing; import org.apache.calcite.sql.SqlNode; import org.apache.calcite.sql.parser.SqlParser; import org.apach

2020-12-18 16:44:22 3884 8

原创 Flink常用监控API

通常，我们可以通过Flink WebUI来查看和监控Flink任务的运行状态，如图但如果我们要基于Flink自建一个实时计算平台，则不能依赖于Flink WebUI，而需要自己实现Flink任务状态的查看和监控了。实际上，Flink有一套自己的监控REST API，Flink WebUI也是基于这套监控API实现的，我们可以调用官方提供的监控API，来实现我们自己想要的参数查看和状态监控功能。下面的表格列举了常用的Flink监控REST API：请求方法接口功能参数 GET

2020-12-02 16:35:35 4970 1

原创 [资源分享]Flink传送门（官网、社区、官方文档……）

Flink官方社区，有视频教程和实践文章：Flink中文社区Ververica Flink官网：Flink官方首页 Flink官方文档：Flink官方文档出Bug上这里搜一搜，问题都是相似的：Flink 中文用户邮件列表阿里的Flink SQL文档，开发的时候很有参考意义：阿里云Flink SQL开发文档阿里云邪大佬的博客：阿里云邪大佬的博客博客很多Flink干货：大数据技术与应用实战 ...

2020-11-29 22:58:47 1202

原创基于Docker快速搭建Hadoop集群和Flink运行环境

前言 2 3 4 前言本文主要讲，基于Docker在本地快速搭建一个Hadoop集群和Flink运行环境，用于日常Flink任务运行测试。前任栽树，后人乘凉，我们直接用Docker Hadoop镜像kiwenlau/hadoop-cluster-docker来搭建，这个镜像内已经配置部署好了Hadoop 2.7.2，感谢前辈们造好轮子。该Docker Hadoop镜像优点：基于Docker快速搭建多节点Hadoop集群我们要搭建一个3节点的Hadoop集群，集群架构如下图，一个主节点hadoo.

2020-11-29 22:43:59 3622 3

原创 [问题踩坑]Flink 1.11.1 on Yarn Application模式时，JobId始终为00000000000000000000000000000000

使用Yarn Application模式启动Flink任务的命令如下 ./bin/flink run-application -t yarn-application hdfs://hadoop-master:9000/shadow/FlinkSQLTest-1.0-SNAPSHOT.jar 当Flink 任务启动后，发现JobId异常始终为00000000000000000000000000000000，而正常的JobId应该为一个随机的字符串这是因为Flink的配置文件conf/flink-conf.

2020-11-29 20:50:02 3279 9

原创 [问题踩坑]Flink 1.11.1 SQL View中UDTF调用异常 Column ‘xxx‘ not found in any table

在Flink 1.11.1版本中，执行下面的Flink SQL，会抛出异常： “org.apache.calcite.sql.validate.SqlValidatorException: Column ‘message’ not found in any table” -- 创建kafka数据源表test_table CREATE TABLE test_table ( username STRING, message STRING ) WITH ( 'connector' =

2020-11-27 00:02:00 2687

原创 [安全开发]日志敏感信息检测-3-正则合集（手机号、邮箱、车牌号）

前言手机号邮箱车牌号前言从日志中提取所需信息时，建议两端加上\W用于匹配特殊字符，能减少不少误报 \W：匹配非单词字符，与"[^A-Za-z0-9_]"等效手机号手机号共11位，编码格式如下：前3位：网络识别号 4至7位：地区编码 8至11位：用户号码我们用下面这个正则，从日志中提取手机号 \W1[3-9]\d{9}\W 1[3-9]：匹配手机号前两位 \d{9}：匹配手机号后9位虚拟运营商的出现，导致各种手机号段都有。并且2020年之后，中国广电也开始发行新的手机.

2020-11-16 23:44:37 1995

原创 [安全开发]敏感信息脱敏函数

数据脱敏数据脱敏，是指对某些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护。这样就可以在开发、测试和其它非生产环境以及外包环境中安全地使用脱敏后的真实数据集。敏感信息如身份证号、银行卡号、手机号等个人信息，都需要进行数据脱敏，本文给出的是针对这些敏感信息的脱敏函数。脱敏函数脱敏函数代码 /** * 敏感信息脱敏(数字字母类，不支持中文) * * @param head 头显示位数 * @param tail 尾显示位数 * @param se

2020-10-24 22:13:16 1251 1

原创 [安全开发]日志敏感信息检测-2-银行卡

前言银行卡号码格式正则提取卡bin校验校验码校验优化思考前言接上一篇文章：[安全开发]日志敏感信息检测-1-身份证银行卡号码格式银行卡号码由14至19位数字组成，储蓄卡一般是19位、17位和16位，信用卡一般是16位，其中：前n位：发卡行识别码，用来标识哪个银行发行的卡，在本文中统一简称为“卡bin” 中间位：个人账户标识，由发卡行自己定义，最多12位末位：校验码，由前面的数字采用Luhn算法计算得出正则提取首先通过正则，进行简单的筛选，从日志中提取疑似银行卡号码的数.

2020-10-19 13:37:38 1048

原创 MyEclipse安装JRebel插件实现热部署

为什么要使用JRebel？之前用MyEclipse做Java Web开发的时候，有一个很头疼的问题：每次修改后台代码之后，都需要重新将项目部署到tomcat，然后启动tomcat重新运行项目才能查看修改后的结果，浪费不少时间。现在，给MyEclipose安装上JRebel这个插件，就可以实现项目热部署，修改后台代码之后，在不关闭和重启tomcat的情况下，JRebel自动将修改后的代码部署到to

2016-03-30 00:03:59 13392 1

原创 JFinal+WebUploader实现图片的异步上传

关于WebUploaderWebUploader是由Baidu WebFE(FEX)团队开发的一个简单的以HTML5为主，FLASH为辅的现代文件上传组件。界面友好，使用方便，稍作修改，可快速上手。官网：这里写链接内容如何使用webuploader到官网去下载完整的源代码包，如图解压之后只需要这三个文件夹下的文件资源，如图在项目根目录路径下新建文件夹webuploader-0.1.5，然

2016-01-30 23:54:43 6632

原创 JFinal+ajaxfileupload实现图片的异步上传

需要用到的包和资源js文件： jquery.min.js（需要jQuery的支持） ajaxfileupload.js（处理异步上传的文件）外部包： jfinal-2.0-bin-with-src.jar（JFinal核心包） fastjson-1.2.7-sources.jar和fastjson-1.2.7.jar（用于json数据的处理） cos-26Dec2008.jar（支持JFi

2016-01-29 23:40:24 8636

原创 WinPcap实战（二）——接收ARP包

ARP帧结构ARP帧结构（28B）：硬件类型（2B，Ethernet：0x1）——上层协议类型（2B，IP：0x0800）——硬件地址长度（1B，0x6）——IP地址长度（1B，0x4）——操作（2B，请求： 0x1；应答： 0x2）——源MAC地址（6B）——源IP地址（6B）——目的MAC地址（6B）——目的IP地址（6B）依据ARP帧结构定义结构体struct ArpHeader {

2015-09-17 18:21:45 5809 1

原创 WinPcap实战（一）——发送ARP包

ARP包的结构： ARP包格式：物理帧头（14B）——ARP帧结构（28B）——填充数据（18B）——CRC(4B)。这里给出一张图（图中没有18字节的填充数据和4字节的校验位）：物理帧头（14B）：目的MAC (6B) ——源MAC(6B) ——类型（2B， ARP帧：0x0806） ARP帧结构（28B）：硬件类型（2B，Ethernet：0x1）——上层协议类型（2B，IP：0x0800）—

2015-09-17 17:00:09 14349 12

原创 JSP页面分页显示数据

一、源代码（这里以一个Java web的留言板项目为例）： 1.Dao层操作数据库的方法（MessageDao.java）设置每页显示的最大留言条数： private final int MAX_SIZE = 2; // 每页显示的最大留言数从数据库读取留言的总条数，计算出总页数： public int getCountPage() throws SQLExcepti

2015-05-30 13:40:16 10723

原创 JDBC批量插入数据

一.直接上源代码（以导入课表数据为例）： // 批量插入新申请（导入默认课表） public boolean batchInsertNewApply(List labIfos) throws SQLException { Connection conn = JdbcUtils.GetConnection(); PreparedStatement ps = null; Stri

2015-05-16 17:35:20 1265

原创 Java中的初始化顺序

一.不考虑继承的情况，一个类中的初始化顺序是： 1.静态变量，包括静态代码块 2.普通变量，包括普通代码块 3.执行构造函数附上列子：class Sample{ public Sample(){ System.out.println("调用Sample的默认构造函数"); } public Sample(String s){ System.out.println

2014-10-01 21:44:22 792