萌新Java开发实战记录：大数据开发之”IP热力图、地点热门TopN（文章底部附源码）

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

一、 课程设计背景概述

1、 《IP经纬热力图》概述

  在今年疫情背景下，大家看到过疫情确诊地图吧！通过不同色重来表示确诊病例的多少。并切在日常生活中，我们经常使用到的例如百度App、高德App等的一些地图工具。在使用的时候，可能我们自己会去提前查看当前路径是否拥堵，畅通的路段显示为绿色、拥塞的路段显示为红色、极度拥堵的显示为黑色等一些路段情况。
  这些其实都是热力图的一种表现。
&emsp ;这些数据生产自我们的手机，被采集到某些站点服务器，再通过一些算法统计、绘制相应的动态或静态的地图，产生一种比较直观、易读的信息。
  而我们这次设计的也与之相关，主要是会统计今年的热门旅游城市、热门报考学校等，并将这样的信息显示在热点图中。因此，我们需要通过日志信息(运行商或者网站自己生成)和城市ip段信息来判断用户的ip段，统计热点经纬度、热门城市等指标。

2、 《电商分析系统》概述

  其主要是对用户的浏览记录和公有信息进行收集，然后进行算法分析，例如用户的搜索、收藏等行为。
  同时，并得出一系列的统计指标，借助这些统计指标知道电商平台中的商品推荐、广告推送和网站的优化工作等。
  例如网易云音乐的猜你喜欢、抖音的令人上瘾的推荐等。
  上报到服务器的埋点日志会经过数据采集、过滤、存储、分析、可视化这一完整流程，电商平台通过对海量用户行为数据分析，可以对用户精准的用户画像，同时，对用户行为的分析，也可以帮助电商网站找到网站的优化思路，从而在海量用户数据的基础上对网站进行改进和完善。

&emsp

二、需求分析

1、《IP经纬热力图》需求分析

  我们需要通过日志信息(运行商或者网站自己生成)和城市ip段信息来判断用户的ip段，统计热点经纬度、热门城市等指标。我们决定使用spark来实现上述功能。

2、《电商分析系统》需求分析

  本项目来源于企业级电商网站的大数据统计分析平台，该平台以 Spark框架为核心，对电商网站的日志进行离线和实时（在线）分析。
  该大数据分析平台对电商网站的各种用户行为（访问行为、购物行为、广告点击行为等）进行分析，根据平台统计出来的数据，辅助公司中的 PM（产品经理）、 数据分析师以及管理人员分析现有产品的情况，并根据用户行为分析结果持续改进产品的设计，以及调整公司的战略和业务。最终达到用大数据技术来帮助提升公司的业绩、营业额以及市场占有率的目标。
  用户的每一次操作，其实可以理解为一个 action，在本项目中，我们关注点击、 搜索、下单、支付这四个用户行为。