数据采集:requests + parsel + Xpath
可视化模块:Echarts
开发工具:Pycharm
数据库:mysql8
数据库管理工具:navicat
其他开发语言:html + css +javascript
研究内容
我们这里以我们打算实现的系统内容,分析如下,数据来源去哪里
大屏全屏可视化展示:
- 景点基础数据:爬虫采集分析多少条数据
- 景点评分:评分1-50分、51-80分、81-90分、90-100分,以饼状图显示各个评分的数量和赞总的比例。
- 排名前10景点的评分和点评数:以柱形图的形式显示前10景点、评分、点评数
- 排名前10景点驴友到访率:以曲线图显示前10景点到
- 排名前10景点列表:以列表滚动形式显示
- 排名前10景点分数和攻略数:以双折线显示
- 点评比例图:点评数量根据0、1-5、6-20、21-50、50以上以饼状图显示对应数量和占比
- 景点列表:显示xx城市爬虫采集的所有景点,可以点击景点到采集的详细来源页面
- 景点查询:输入关键字,查询景点,结果可以按排名、评分、攻略数、点评数、驴友到访率几个条件,从高到排列
- 按条件推荐:按排名、评分、攻略数、点评数、驴友到访率几个条件,从高到排列
后台内容:
- 管理员登录、密码修改、退出系统
- 所有景点数据:爬虫采集的所有景点数据列表,可以链接到原始地址
- 评分统计:按评分0、1-50、51-80、81-90、91-100这几个参数,左侧以柱形图显示对应评分和数量、右侧以饼状图显示评分和对应数量
- 攻略数统计:按评分0、1-5、6-20、21-50、大于50这几个参数,左侧以柱形图显示对应参数和数量、右侧以饼状图显示参数和对应数量
- 点评数统计:按评分0、1-5、6-20、21-50、大于50这几个参数,左侧以折线图显示对应参数和点评数量、右侧以饼状图显示参数和对应数量以及占比
- 驴友到访率统计:按评分0、1-5、6-10、11-50、大于50这几个参数,左侧以折线图显示对应参数和点评数量、右侧以饼状图显示参数和对应数量以及占比
效果图
现在能在网上找到很多很多的学习资源,有免费的也有收费的,当我拿到1套比较全的学习资源之前,我并没着急去看第1节,我而是去审视这套资源是否值得学习,有时候也会去问一些学长的意见,如果可以之后,我会对这套学习资源做1个学习计划,我的学习计划主要包括规划图和学习进度表。
分享给大家这份我薅到的免费视频资料,质量还不错,大家可以跟着学习
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!