Python高级应用程序课程设计任务要求
用Python实现一个面向主题的网络爬虫程序,并完成以下内容:
【要求:】每人一题,主题内容自选,所有设计内容与源代码需提交到博客园平台。
课程设计要求独立完成,不能互相抄袭,整个代码不能少于400行以下(代码必须用源码框架提交),
课程设计占总成绩的60%。
一、主题式网络爬虫设计方案(15分)
1.主题式网络爬虫名称
2.主题式网络爬虫爬取的内容与数据特征分析
3.主题式网络爬虫设计方案概述(包括实现思路与技术难点)
二、主题页面的结构特征分析(15分)
1.主题页面的结构与特征分析
2.Htmls页面解析
3.节点(标签)查找方法与遍历方法
(必要时画出节点树结构)
三、网络爬虫程序设计(60分)
爬虫程序主体要包括以下各部分,要附源代码及较详细注释,并在每部分程序后面提供输出结果的截图。
1.数据爬取与采集(20)
2.对数据进行清洗和处理(10)
3.文本分析(可选):jieba分词、wordcloud的分词可视化
4.数据分析与可视化(例如:数据柱形图、直方图、散点图、盒图、分布图)(15分)
5.根据数据之间的关系,分析两个变量之间的相关系数,画出散点图,并建立变量之间的回归方程(一元或多元)(10分)。
6.数据持久化(5分)
7.将以上各部分的代码汇总,附上完整程序代码
四、结论(10分)
1.经过对主题数据的分析与可视化,可以得到哪些结论?
2.对本次程序设计任务完成的情况做一个简单的小结。