简述企业中web与大数据的关系

在这里插入图片描述
基本流程如下:
1、页面发送请求给后台
后台分为三层:Controller层、Service层、Dao层
2、后台返回数据,展示到页面
3、埋点
埋点位置:页面、Controller层、Service层
作用:用于用户分析,收集数据(用户的所有操作–>点击、光标位置、多长时间操作一次等),日志采集;
4、日志存放位置:hdfs分布式存储结构中。
不能放在mysql中,原因:数据可能不是结构化的,数据量庞大。
5、存储流程:
(1)数据预处理;
(2)分布式运算(MapReduce、Spark、Flink);
(3)分析数据(MapReduce、Spark、Flink),为简便操作,分析时写sql来获得报表;
(4)数据可视化:数据和Dao进行对接,页面也可以设置一些按钮(再走一遍流程)用来查看某一部分的数据。
上述就是web和数据处理的一个简易的完整过程。

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值