课程设计（四）

系列文章目录

一 课程设计任务说明及总体设计说明
二 总体设计说明
三 核心功能与代码
四 问题与讨论

---

---

前言

记录回顾之前Python课程设计的点点滴滴

---

4.1 遇到的主要问题及解决思路

主要问题：

1.对于如何获取想要的数据
2.在存储数据到数据库的时候，没有想到明明字符化了的数据却一直在执行sql语句的时候报错
3.怎么样读取数据再进行可视化

解决思路：

1.有了以前学习豆瓣的爬取知识，知道了可以先获取网页源码，再对源码中的数据进行提取。对于如何提取，有两种办法，一是用beautifulsoup直接找到我们平时访问页面中的dib标签之类的，另外一种就是这次我使用的，找到对应的API接口，这样得到数据事倍功半。
2.这里可以理解执行前的语句去掉了了一层引号，把字符数据给改成了非字符，但是sql语句的执行要求为字符类型，所以可以人为在执行前再加上一层引号（仍然为字符串类型）
3.也是有了前面一点项目经验，想到可以通过flask框架在本地呈现页面效果，页面上的数据读取可以来自于数据库里，做成柱状图和扇形图，页面上还可以展现相关数据和词云的图片

4.2.需求分析和解决思路

不足

最后的结果其实还算不错
页面效果基本达到我的预期，体现了爬取的数据和整理成果，简约大方
不过基本信息的抓取应该要更加广阔一点，比如说可以直接获取访问页面上的各类型数据；
另外分析可能还是不太够，想要得出十分有意义和价值的评论可不能单单看点赞和评论，要综合维度来看，比如说发布时间、弹幕量、投币数这些，运用较为客观的数学表达式得出数据，最好是能再绘制图表和得出结论啦
单个视频评论只抓取了主评论，对于每条主评论对应的回复（也称子评论）没有抓取，所以可能分析不够全面和客观。

改进

自己尝试书写特定的正则表达式，通过re和beausoup的配合来提取数据
页面上的效果可以更加美化一点，作出可以吸引人的动态效果最好，因为目前我做的都是静态页面效果
尝试抓取子评论和弹幕，再综合其他数据分析视频的质量高低，作出自己想要的分类型的高质量视频榜单
寒假的时候打算系统去学习python的课程了，因为发现自己对python还蛮感兴趣的