- 博客(17)
- 收藏
- 关注
RSS订阅原创 大数据项目(章节二)-----登陆风险评估&评估因子实现
评估因子实现Java责任链模式顾名思义，责任模式链为请求创建一系列接收者对象。 此模式基于请求的类型将请求的发送方和接收方分离。 这种模式是行为模式。在这种模式中，通常每个接收器包含对另一个接收器的引用。如果一个对象不能处理请求，则它将相同的对象传递给下一个接收者等等。servlet中的过滤器，struts2中的拦截器等都是采用了这种设计模式，把多个责任任务绑定在一条链chain上，由ch...
2020-04-02 22:32:13
373
1
原创 用户登录风险之判断异地登陆（登陆位移速度计算）
概述登陆位移计算也就是计算当前登陆的位置与上次登陆的位置的距离与速度，根据当前速度与一个当今社会的正常交通速度相比较，如果速度过大就可以视为有盗号风险。球面距离计算公式A地：(经度：Aj,纬度：Aw)B地：(经度：Bj,纬度：Bw)两地距离：数据支持评估数据登陆时间，登陆地区经纬度历史数据上一次登陆时间，上一次登陆经纬度java代码示例@Data@AllArgsC...
2020-04-02 22:24:39
2126
原创 用户登录风险之表单输入特征评估
概述用户在填写登陆表单时，每次输入用户名密码或者验证码的所花费的时间是存在一定的规律的。多次正常输入在二维坐标系（用户名，密码）,会呈现一个圆形，三维坐标系(用户名，密码，验证码)则会呈现一个球形，多维则亦然。评估当前用户输入如果不在正常输入范围内，则说明此次登陆存在一定的风险。计算步骤：1.计算圆⼼中点2.计算两两特征距离3.对距离进⾏排序（升序），取2/3处作为评估距离阈值 - ...
2020-04-02 21:53:09
239
原创 余弦相似度算法处理密码相似度计算
概述密码相似度一般运用在大数据的风险控制领域，当用户登陆是，把当前输入密码与用户历史密码进行做相似度计算，由于相同用户对于自己的密码管理也基本都是比较相似的，相似度过低就被认定当前登录操作有风险。设计思路做密码相似度计算是一个抽象的过程，传统的java代码无法处理这种抽象的计算。只有通过数学建模，建立一个比较两对象的相似度模型，把比较的两者密码换算成两个向量，把历史密码中的出现的字符作为向量...
2020-04-01 20:58:44
683
原创 大数据项目(章节一)-----登陆风险评估&Pattern和Matcher用法用例&利用正则表达式抓取日志有效信息
用户登录风险评估参考https://zhuanli.tianyancha.com/796c88e9c3d67d3a9c59716558818e22-检查出⾮⽤户登录，或者账号被盗窃等潜在⻛险挖掘。通过对⽤户登录⾏为进⾏分析，提⾼了预测的准确性；可以应⽤于互联⽹⾦融⻛控技术中，也可应⽤于普通⽹站的⽤户恶意登录识别技术中。有以下几种情况：异地登录认定有⻛险（不在⽤户经常登陆地）登录...
2020-04-01 00:02:31
303
原创 SpringBoot集成SpringCloud牛刀小试&Eureka单机版&Eureka集群搭建
微服务特点1.由一系列小服务组成2.可以独立的运行在自己的计算机进程（服务于服务之间互不影响）3.每个服务可以独立部署4.服务都是基于分布式管理定义微服务就是一系列服务功能组成，能单独泡在自己的进程中，每个服务独立开发，独立运行，分布式管理单体架构优点容易测试容易部署缺点开发效率低代码维护难部署不灵活（必须的全部项目开发好才能部署）稳定性不高扩展性不高Sprin...
2020-03-30 23:53:55
197
原创 Apache Flink——DataStream的操作算子（章节三）
Operators操作算子将一个或多个数据流转换为新的数据流。程序可以将多个转换组合成复杂的数据流拓扑。本节将介绍基本的转换、应用这些转换后的有效物理分区以及对Flink操作符链接的深入了解。DataStream Transformations1.DataStream → DataStreammap获取一个元素并生成一个元素。例如：一个映射函数，使输入流的值加倍。dataStre...
2020-03-22 22:28:33
275
原创 FastDFS分布式文件系统-----Nginx集成&FastDHT去重&SpringBoot集成
文件系统概述分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。计算机通过文件系统管理、存储数据，而信息爆炸时代中人们可以获取的数据成指数倍的增长，单纯通过增加硬盘个数来扩展计算机文件系统的存储容量的方式，在容量大小、容量增长速度、数据备份、数据安全等方面的表现都差强人意。分布式文件系统可以有...
2020-03-21 23:30:10
395
1
原创 SpringBoot使用RestTemplate测试RestFulController接口
RestController/** * @RestController: 等价 @Controller + @ResponseBody * @RequestMapping:请求映射，在Spring4.0注解开发中对RequestMapping进行丰富，分别按照请求类型 * - @PostMapping 新增 * - @GetMapping 查询 * ...
2020-03-19 21:47:58
658
原创 MySQL主从复制与读写分离(基于MyCat以及SpringBoot)
一个项目中数据库最基础同时也是最主流的是单机数据库，读写都在一个库中。当用户逐渐增多，单机数据库无法满足性能要求时，就会进行读写分离改造（适用于读多写少），写操作一个库，读操作多个库，通常会做一个数据库集群，开启主从备份，一主多从，以提高读取性能。当用户更多读写分离也无法满足时，就需要分布式数据库了-NoSQL。正常情况下读写分离的实现，首先要做一个一主多从的数据库集群，同时还需要进行数据同步。...
2020-03-19 21:34:42
554
原创 Springboot+Mybatis+redis实现二级缓存
Mybatis的二级缓存是多个SqlSession共享的，作用于是mapper配置文件中同一个namespace，不同的SqlSession两次执行相同namespace下的sql语句且参数如果也一样则最终执行的sql语句是相同的。每次查询都会先看看缓存中是否有对应查询结果，如果有就从缓存拿，如果没有就执行sql语句从数据库中读取，从而提高查询效率。Mybatis默认开启的是一级缓存，所以二级缓存...
2020-03-19 11:23:56
308
原创 Apache Flink——DataStream的DataSource以及DataSink（章节二）
DataStream的DataSource以及DataSinkDataSourceDataSource是flink数据的来源，用户可以通过env,addSource(SourceFunction)将SourceFunction添加到程序中，Flink内置许多已经实现的SourceFunction,但是用户也可以自定义实现SourceFunction(非并行化)接口，也可以实现ParallelS...
2020-03-17 21:25:52
428
原创 Apache Flink——快速入门（章节一）
Apache Flink概述Flink是构建在数据流之上的有状态计算的流计算框架，通常被⼈们理解为是第三代⼤数据分析⽅案。第一代-Hadoop的MapReduce计算、Storm的流计算（2014.9）;两套独立的计算引擎，使用起来难度较大第二代-SparkRDD静态批处理（2014.2），DStream,Structured Streaming流计算，统一计算引擎，使用难度小第三代-...
2020-03-17 19:36:52
285
2
原创 大数据之Apache Hbase--------(章节一)
1.概述HBase 是一个基于Hadoop的分布式,可扩展,巨大数据仓库.当用户需要对海量数据进行实时(时效性)随机(记录级别数据)读/写,用户可以使用Hbase.Hbase设计目标是能够持有一张巨大的表,该表的规模能达到数十亿行 * 数百万列,并且可以运行在商用的硬件集群之上. Hbase是一个开源的,分布式,版本化的非关系化的数据库-NoSQL,改设计仿照了Google的BigTable设计...
2020-01-06 21:31:11
127
原创 springboot自动配置个人理解
自动配置原理了解springboot的自动配置原理首先要理解springboot的属性注入一级@Import注解。1.springboot属性注入(这里以注入DruidDataSource为例)1）.首先在application.yml中声明相关属性application.ymlmysql: driver: com.mysql.jdbc.Driver username: 444...
2019-12-05 21:59:56
284
原创 springboot中的war包部署
1.将打包方式改为war<packaging>war</packaging>2.将springboot的内嵌的tomcat移除掉<!--tomcat支持jsp解析--> <dependency> <groupId>org.apache.tomcat.embed</groupId> <...
2019-12-03 14:13:24
140
原创 springboot中的jar包部署
springboot中的jar包部署springboot的jar包目录结构将springboot中的jsp加入到META-INF1.将pom.xml中packaging置为jar:<packaging>jar</packaging>2.在pom.xml的加入配置<plugins> <plugin> <...
2019-12-03 11:49:50
112
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人