详解：离线项目一： 为什么大数据面前没有秘密

疑问：

我们在购物浏览淘宝 或则 京东的时候，为什么过一点时间在次登录的时候，就会出现之前浏览的相同商品或则类似商品呢，还有在浏览一些网页，视频的时候，也会出现这样的现象呢？
小编之前一直有这个疑问，如今在大数据的学习当中找到了答案

为什么

是否感觉有一双眼睛在观察我的所有行为，时候感觉我的行为都有被记录，
在哪里被记录，在哪里呢 在哪里呢

一：解答

这里就设计到了一个叫做用户行为数据 操作记录和浏览记录 每一步操作都有记录
用户：人、设备
其中也叫千人千面 每个人浏览的网页不同，他所推荐记录的数据也不不同
推荐： 根据 用户行为数据(历史)+订单类型 搜索的东西 比如在京东浏览

在京东上面浏览网页 》 在右键点击有审查元素 》 里面有个network

找到 log.gif 买点，记录，，这个信息是经过编码的 ，看不出来是什么 通过这份日志可以分析出来很多的东西 每个产品你搜索多少次 浏览器 什么系统os

这个乱码可以解析出来的
在百度找urldecode 解码

你每一步的操作都有记录
不同的公司机制是不一样的 在大数据平台，告诉你为什么是透明的

这里就是最初是的日志信息

二：介绍框架

离线典型的处理框架

人 ——京东页面 ——webserver（集群，这里记录你的 操作所以行为日志 ）—— 通过flume采集——hadoop的hdfs 上面存储 ——数据分析 mp/hive/spark（这里的数据存储还是在hdfs上面）——你要做前端的展示 就要（通过 用Sqoop ）数据存储在ROBMS /NoSQL上面 ——UI展示

下一篇将会介绍框架流程