![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据分析
码上中年
目前从事于开发大数据平台开发,主要是开发特征工程工具、机器学习算法。然后将平台开发好供公安系统进行各种数据挖掘,分类,预测。
展开
-
logparser使用:解析nginx-access.log文件
1. java-maven加入依赖<dependency> <groupId>nl.basjes.parse.httpdlog</groupId> <artifactId>httpdlog-parser</artifactId> <version>5.7</version></dependency>2. 定义log日志格式2.1 理解nginx的access.log文件ngin原创 2021-04-13 23:54:45 · 1623 阅读 · 1 评论 -
canal监控mysql到Kafka(protobuf存储)
紧接上一篇:Canal实时监控mysql数据库1. canal客户端代码package com.qu.canal;import com.alibaba.fastjson.JSON;import com.alibaba.otter.canal.client.CanalConnector;import com.alibaba.otter.canal.client.CanalConnectors;import com.alibaba.otter.canal.protocol.CanalEntry;原创 2021-03-08 01:10:13 · 549 阅读 · 0 评论 -
Canal实时监控mysql数据库
1. canal原理概述*** canal将自己伪装成mysql的从节点,当mysql的binlog日志发生改变,作为从节点的canal服务端会发生dump行为,拿到日志变化的数据,然后通过canal客户端进行交互获取到变化数据,进行实时处理2. 实现条件*** mysql5以上、mysql作为主节点开启binlog日志功能2.1 修改mysql配置文件vi /etc/my.cnf [client] user=root password= port = 3306 socket = /原创 2021-03-06 12:51:17 · 2002 阅读 · 2 评论 -
实时数仓:项目学习
1. 技术选型*** 当下flink流行度又高、又稳定。成为当下实时计算最优选择2. 项目分析2.1 业务数据:一般存储在mysql(需要canal做实时采集)2.2 日志数据:一般以log文件形式存在,采用日志采集框架flume做实时采集3. 实现方案3.1 数据少于20万,可直接通过实时查询mysql,适当对关联字段做索引即可3.2 数据量比较大,mysql查询时间无法达到查询效果或者实时性太差4. 实时数仓架构...原创 2021-03-06 11:26:25 · 2288 阅读 · 6 评论 -
客户价值分析-聚类
客户分类价值最高的三要素(RFM模型)R - 最近一次消费距当前的时长(Recency)F - 消费频率(Frequency)M - 消费金额(Monetary)1.1 举例:客户A: R 180天 F 1次/月 M 100元/月客户B: R 3天 F 10次/月 M 1000元/月则: 客户B价值高于客户A1.2 客户分类超级用户/重要价值客户: RFM指标都很高 ...原创 2020-03-11 00:09:53 · 2834 阅读 · 0 评论