网站点击流实时数据分析
一直不懂
笔记
展开
-
【网站点击流实时数据分析】01-背景知识
1、什么是流量日志点击流,一般叫做点击流日志分析,网站分析的主要手段是分析网站的点击流数据,点击流这个概念更注重用户浏览网站的整个流程,我们一般也叫做用户行为轨迹。总结:点击流其实就是用户日常浏览你的网站时产生的日志信息2、如何确定用户的行为轨迹数据?在一个sessinon 会话中的操作行为(浏览行为,点击行为),每个操作都会产生一条日志信息。3...原创 2019-07-19 22:47:18 · 1437 阅读 · 0 评论 -
【网站点击流实时数据分析】02-需求分析
1、点击流日志的主要分类搜索日志:搜索历史的记录主要包括用户信息、时间、地址、检索的关键词,检索关键词拼音及缩写,用户年纪等,其中,记录的时间包括检索发生时的小时、当天是周几、当天的日期信息;地址信息包括了省市区县信息。 点击日志:点击历史记录了当前点击记录的用户信息、时间、地址、检索词、点击记录的序号、点击记录的ID,其中,记录的时间包括检索发生时的小时、当天是周几、当天的日期信息;记录了...原创 2019-07-19 22:56:48 · 538 阅读 · 0 评论 -
【网站点击流实时数据分析】03-架构设计
1、整体流程设计1、通过日志收集系统将数据获取并存放到某个存储介质中,本例可以使用kafka2、Storm程序从kafka中消费数据数据,逐条消费的日志3、Storm程序从数据库中加载产品人员配置的任务信息4、Storm程序计算每个任务的各项指标,各项指标的中间结果存放在Redis中5、同步程序,按照一定的时间周期从Redis中计算每个任务的增量数据,并将增量数据存放在my...原创 2019-07-19 23:06:40 · 367 阅读 · 0 评论 -
【网站点击流实时数据分析】04-Storm程序开发
1、Storm程序整体目录2、bloom/** * Describe: bloomFilter的java实现 * 开源地址:https://github.com/maoxiangyi/Java-BloomFilter */public class BloomFilter<E> implements Serializable { private BitSet...原创 2019-07-19 23:30:04 · 247 阅读 · 0 评论 -
【网站点击流实时数据分析】05-同步程序实现
1、程序目录2、callback/** * Describe: 计算每天的全量数据 */public class DayAppendCallBack implements Runnable{ @Override public void run() { Calendar calendar = Calendar.getInstance(); ...原创 2019-07-19 23:37:42 · 270 阅读 · 0 评论