基于Hadoop开发的大数据实战项目——电商日志分享系统

最新推荐文章于 2025-09-30 15:21:17 发布

原创

最新推荐文章于 2025-09-30 15:21:17 发布 · 6k 阅读

58 ·

CC 4.0 BY-SA版权

文章标签：

#big data #大数据 #database #hadoop #数据库

本文介绍了基于Hadoop的大数据电商日志分析项目，包括项目介绍、架构和需求分析。项目利用Spring+Mybatis+MySQL构建REST API，Highcharts展示数据。通过JS SDK收集用户行为数据，如pageview、chargeRequest、event等事件，对用户基本信息、浏览器、地域、浏览深度、外链、订单和事件进行分析。项目提供了详细的分析模块，包括用户、会员、会话、小时级分析、浏览器和地域信息。此外，还涉及订单分析和外链偏好。资源和学习资料可供分享。

项目介绍

大数据电商日志平台项目以某电商网站真实的业务数据架构为基础，将数据从收集到使用通过前端应用程序，后端程序，数据分析，平台部署等多方位的闭环的业务实现。形成了一套符合教学体系的电商日志分析项目。

bf_dataapi项目的主要目标有两个：第一个就是我们需要提供一个提供json数据的Rest API；另外一个目标就是提供一个展示结果的demo页面。bf_dataapi使用spring+mybatis+mysql来搭建提供rest api的项目框架，使用highcharts来进行demo页面的搭建。在本次项目中，我们将所有的API高度聚合，最终我们只会提供两个API，然后在API中根据参数的不同进行不同操作。

项目架构

项目需求分析

Js sdk执行工作流：

在我们的js sdk中按照收集数据的不同分为不同的事件，比如pageview事件等。Js sdk的执行流程如下：

PC端事件分析

针对我们最终的不同分析模块，我们需要不同的数据，接下来分别从各个模块分析，每个模块需要的数据。用户基本信息就是用户的浏览行为信息分析，也就是我们只需要pageview事件就可以了；浏览器信息分析以及地域信息分析其实就是在用户基本信息分析的基础上添加浏览器和地域这个维度信息，其中浏览器信息我们可以通过浏览器的window.navigator.userAgent来进行分析，地域信息可以通过nginx服务器来收集用户的ip地址