【在线商城系统】数据来源-爬虫篇

系列文章目录

【在线商城系统】数据来源-爬虫篇

---

---

前言

偶尔突发奇想，想做一个Springboot单体架构的商城系统，其中设计带有首页轮播图、分类商品展示、推荐商品展示、搜索商品展示。那么问题来了，我们如何让展示的商品数据生动有趣，达到京东、淘宝、拼多多真实商品的展示效果呢？
由于是个人展示系统，我们这里使用自制的spider系统来获取数据，取名：spiderX。

1、目标

常见的数据来源有多种，这里我们采用【外部数据】-【个人非盈利演示系统获取数据】模式。

2、系统设计

总体项目分为多个模块组成：

• 数据处理层（负责获取原始数据、数据清洗）
• 业务系统层（数据通过业务API、kafka等写入HDFS / Mysql）
• 数据汇总层（数据通过flink、spark、Java系统处理汇总）
• 业务前端 （展示业务数据，如：商品分类数据、商品数据）
• 数据看板（展示其他维表信息）