疑问:
我们在购物浏览淘宝 或则 京东的时候,为什么过一点时间在次登录的时候,就会出现之前浏览的相同商品或则类似商品呢,还有在浏览一些网页,视频的时候,也会出现这样的现象呢?
小编之前一直有这个疑问,如今在大数据的学习当中找到了答案
为什么
是否感觉有一双眼睛在观察我的所有行为,时候感觉我的行为都有被记录,
在哪里被记录,在哪里呢 在哪里呢
一:解答
这里就设计到了一个叫做用户行为数据 操作记录和浏览记录 每一步操作都有记录
用户:人、设备
其中也叫千人千面 每个人浏览的网页不同,他所推荐记录的数据也不不同
推荐: 根据 用户行为数据(历史)+订单类型 搜索的东西 比如在京东浏览
在京东上面浏览网页 》 在右键点击有审查元素 》 里面有个network
找到 log.gif 买点,记录,,这个信息是经过编码的 ,看不出来是什么 通过这份日志可以分析出来很多的东西 每个产品你搜索多少次 浏览器 什么系统os
这个乱码可以解析出来的
在百度找urldecode 解码
你每一步的操作都有记录
不同的公司机制是不一样的 在大数据平台,告诉你为什么是透明的
这里就是最初是的日志信息
二:介绍框架
离线典型的处理框架
人 ——京东页面 ——webserver(集群,这里记录你的 操作所以行为日志 )—— 通过flume采集——hadoop的hdfs 上面存储 ——数据分析 mp/hive/spark(这里的数据存储还是在hdfs上面)——你要做前端的展示 就要(通过 用Sqoop )数据存储在ROBMS /NoSQL上面 ——UI展示
下一篇将会介绍框架流程