数据综合分析系统
展示一个用户行为的综合分析系统的项目,简单地全方位理解大数据分析
纯净天空7
漫漫长途 终有回转 余味苦涩 终有回甘
展开
-
项目实施-14完结篇(配置自动调度)
概述本篇是用户综合分析系统专栏的最后一篇。到本篇为止,我们此次的项目实施宣告终结。我们已经完成了大数据 流处理与批处理 的设计编码,已经实现了基本的数据处理任务,但是,因为批处理一般都是定期执行的,而且多数是在非服务器高峰期的半夜执行的,因此,我们需要用到 Azkaban的任务调度,帮我们完成批处理的自动执行。设计计划附:完整的计划zip包:https://pan.baidu.co...原创 2020-04-10 18:33:59 · 264 阅读 · 0 评论 -
项目实施-13(集成Flink计算引擎)
概述通过11、12 篇的数据接收与处理,我们已经拿到了标准的计算模型,之后只剩下与流计算集成,即可完成实时的用户风险评估。本篇将介绍项目中引入Flink流计算框架的方案解决。整体框架query 包中是对Flink中的可查询的状态数据的一些查询展示sql 包中是一些自定义的函数和 离线数据处理 的一些简单示例 Flink Table apistream 包中是此次项目集成 f...原创 2020-04-10 00:36:00 · 434 阅读 · 0 评论 -
项目实施-12 (数据抽取 贰)
概述本篇承接项目实施-11 https://blog.csdn.net/ASYMUXUE/article/details/105353601继续介绍 风险评估数据 的抽取。本篇涉及部分简单算法,请参考https://blog.csdn.net/ASYMUXUE/category_9862606.html抽取验证数据思路总结: 我们通过 从登录的日志中 获取到用户登录的数据:①...原创 2020-04-09 23:06:27 · 281 阅读 · 0 评论 -
项目实施-11(数据抽取 壹)
概述使用Flume从业务系统中获取到用户的行为日志之后,我们需要对这些日志进行一定的清洗,并才采集出对之后分析有用的数据。本篇和下篇将根据,用户登录行为的风险判定,对数据抽取做简单的介绍本篇主要介绍抽取原始数据整体框架引入依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.a...原创 2020-04-07 00:04:43 · 274 阅读 · 0 评论 -
项目实施-10 (搭建SpringClood微服务)
概述为了应对高并发的场景,javaweb项目一般都是部署成集群形式,同时通过Spring Cloud的 Eureka 技术,实现web模块,负载均衡的访问服务模块。本文介绍了,搭建简单的高可用的Eureka集成方案。整体框架搭建注册中心①依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://m...原创 2020-03-31 21:12:36 · 262 阅读 · 0 评论 -
项目实施-09 (对接Flume)
SpringBoot对接Flume在大数据流处理当中,我们需要从项目中,采集到用户的行为日志,通过kafka,输送到计算引擎中,进行计算分析。这其中的日志文件的采集,我们需要通过Flume完成对接。①依赖坐标 <!--引入Flume--> <dependency> <groupId>org.apache.flum...原创 2020-03-29 18:14:57 · 234 阅读 · 0 评论 -
项目实施-08 (Jquery埋点设计)
概述前端页面中要设计埋点,用来收集用户的行为习惯等信息以便进行实时流计算,从而提高系统的安全性。如:登录风险评估等。本篇简单介绍了一个登录输入时长检查的埋点的设计。引入Cookic引入cookic,目的是为了,我们可以将在页面定制的一些采集的数据,通过请求发送的形式,携带到服务器端。①引入cookic插件将下面的文本Copy到自定义的一个**.js**结尾的文件中, 完成cookic...原创 2020-03-29 16:23:53 · 722 阅读 · 0 评论 -
项目实施-07 (Jquery插件定制、表单验证定制)
概述在前端页面中,往往需要一些表单验证和额外功能,在本篇中,介绍了一些简单的定制插件。插件①验证码$.fn.extend({ //定义一个验证码插件 verifyCode:function () { $(this).click(function () { //单击事件 var codepic = document.getEleme...原创 2020-03-29 13:54:47 · 193 阅读 · 0 评论 -
项目实施-06 (Web前端 页面)
概述此次项目的前端页面采用EasyUI前端框架。同时,在可视化方面,引入Echarts库。EasyUi官网:http://www.jeasyui.net/Echarts官网:https://www.echartsjs.com/zh/index.html整体框架其中,static包中,存放一些插件、EasyUI依赖、Echarts依赖、等静态资源。work包中,存放本次项目所需的页...原创 2020-03-29 12:26:39 · 275 阅读 · 0 评论 -
项目实施-05 (Web前端 java层)
概述这是一个严格的前后分离项目,前端开发比较头疼的地方在于小细节可真的太多了。比如拦截器、全局异常的处理、验证码、JQuery插件定制等等。整体框架依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://ww...原创 2020-03-29 01:46:44 · 269 阅读 · 0 评论 -
项目实施-04(文件系统集成)
概述本次项目,采用FastDFS文件系统,存储头像文件。FastDFS文献参考:https://blog.csdn.net/weixin_38231448/article/details/95815069分布式⽂件系统(Distributed File System)是指⽂件系统管理的物理存储资源不⼀定直接连接在本地节点上,⽽是通过计算机⽹络与节点相连。判断⼀个分布式⽂件系统是否优秀...原创 2020-03-22 15:49:17 · 435 阅读 · 0 评论 -
项目实施-03(后端组件整合)
概述本篇进行对项目实施-02(后端开发)的后端模块https://blog.csdn.net/ASYMUXUE/article/details/104920206进行组件扩展。因为,此篇章将做成通用性极强的记录,所有本篇将不定期更新。日志系统的整合引入logback.xml文件标签说明%m 输出代码中指定的消息 %p 输出优先级,即DEBUG,INFO,WARN,ERROR...原创 2020-03-19 00:30:17 · 301 阅读 · 0 评论 -
项目实施-02 (后端开发)
前言本次项目的重点在于用户行为的综合分析,即平台计算处理系统。后端用户系统没有复杂的业务逻辑,只实现简单的CRUD。库表设计本次项目采用 MySQL数据库DROP TABLE IF EXISTS t_user;set character_set_results=utf8;set character_set_client=utf8;CREATE TABLE t_user ( id...原创 2020-03-17 14:41:10 · 249 阅读 · 0 评论 -
项目实施-01 (Maven依赖+yml文件)
基本此次项目采用 SpringBoot框架,因此引入以下依赖。<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:s...原创 2020-03-16 18:06:08 · 1749 阅读 · 0 评论 -
项目实施-00(引言)
项目背景近年来,伴随着互联网金融的风生水起;国家出台相关文件,要求加大互联网交易风险防控力度;鼓励通过大数据分析、用户行为建模等手段建立和完善交易风险检测模型。但是目前大数据风控还存在时效性差,准确性不高等问题。综合用户分析平台包含 综合数据分析|登陆风险|注册风险|交易风险|活动风险分析等模块。以下是个各个子系统之间的关系。业务系统:通常指的是APP+后台或Web端(服务目标用户),是业...原创 2020-03-16 17:57:33 · 213 阅读 · 0 评论