基本流程如下:
1、页面发送请求给后台
后台分为三层:Controller层、Service层、Dao层
2、后台返回数据,展示到页面
3、埋点
埋点位置:页面、Controller层、Service层
作用:用于用户分析,收集数据(用户的所有操作–>点击、光标位置、多长时间操作一次等),日志采集;
4、日志存放位置:hdfs分布式存储结构中。
不能放在mysql中,原因:数据可能不是结构化的,数据量庞大。
5、存储流程:
(1)数据预处理;
(2)分布式运算(MapReduce、Spark、Flink);
(3)分析数据(MapReduce、Spark、Flink),为简便操作,分析时写sql来获得报表;
(4)数据可视化:数据和Dao进行对接,页面也可以设置一些按钮(再走一遍流程)用来查看某一部分的数据。
上述就是web和数据处理的一个简易的完整过程。
简述企业中web与大数据的关系
最新推荐文章于 2024-05-09 20:08:00 发布