提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档
目录
一、 课程设计背景概述
1、 《IP经纬热力图》概述
在今年疫情背景下,大家看到过疫情确诊地图吧!通过不同色重来表示确诊病例的多少。并切在日常生活中,我们经常使用到的例如百度App、高德App等的一些地图工具。在使用的时候,可能我们自己会去提前查看当前路径是否拥堵,畅通的路段显示为绿色、拥塞的路段显示为红色、极度拥堵的显示为黑色等一些路段情况。
这些其实都是热力图的一种表现。
&emsp ;这些数据生产自我们的手机,被采集到某些站点服务器,再通过一些算法统计、绘制相应的动态或静态的地图,产生一种比较直观、易读的信息。
而我们这次设计的也与之相关,主要是会统计今年的热门旅游城市、热门报考学校等,并将这样的信息显示在热点图中。因此,我们需要通过日志信息(运行商或者网站自己生成)和城市ip段信息来判断用户的ip段,统计热点经纬度、热门城市等指标。
2、 《电商分析系统》概述
其主要是对用户的浏览记录和公有信息进行收集,然后进行算法分析,例如用户的搜索、收藏等行为。
同时,并得出一系列的统计指标,借助这些统计指标知道电商平台中的商品推荐、广告推送和网站的优化工作等。
例如网易云音乐的猜你喜欢、抖音的令人上瘾的推荐等。
上报到服务器的埋点日志会经过数据采集、过滤、存储、分析、可视化这一完整流程,电商平台通过对海量用户行为数据分析,可以对用户精准的用户画像,同时,对用户行为的分析,也可以帮助电商网站找到网站的优化思路,从而在海量用户数据的基础上对网站进行改进和完善。
&emsp
二、需求分析
1、《IP经纬热力图》需求分析
我们需要通过日志信息(运行商或者网站自己生成)和城市ip段信息来判断用户的ip段,统计热点经纬度、热门城市等指标。我们决定使用spark来实现上述功能。
2、《电商分析系统》需求分析
本项目来源于企业级电商网站的大数据统计分析平台,该平台以 Spark框架为核心,对电商网站的日志进行离线和实时(在线)分析。
该大数据分析平台对电商网站的各种用户行为(访问行为、购物行为、广告点击行为等)进行分析,根据平台统计出来的数据,辅助公司中的 PM(产品经理)、 数据分析师以及管理人员分析现有产品的情况,并根据用户行为分析结果持续改进产品的设计,以及调整公司的战略和业务。最终达到用大数据技术来帮助提升公司的业绩、营业额以及市场占有率的目标。
用户的每一次操作,其实可以理解为一个 action,在本项目中,我们关注点击、 搜索、下单、支付这四个用户行为。
每一条用户访问行为数据就记录了