开发技术:Pycharm + Flask + Echarts + Mysql + Selenium 爬虫
开发一个分析用户对商品喜好程度的项目,爬虫爬取以网站热销商品网站为目标网站,采用Web应用程序测试的工具Selenium控制浏览器对目标网页内容进行抓取,爬取的类目有童装, 数码, 办公, 内衣, 美妆, 个护家清, 配饰, 食品, 家纺, 玩具等,主要抓取商品的名称,批发团购价,已经销售的数量,原价等,然后将爬取的的数据同时保存到csv文件和mysql中。分析程序采用Flask框架实现,通过打开爬取的csv文件对商品销售数据进行各种分析,将分析结果返回给前端以Echarts图标方式呈现。