python课程设计作业_Python高级应用程序课程设计任务要求

Python高级应用程序课程设计任务要求

用Python实现一个面向主题的网络爬虫程序，并完成以下内容：

【要求：】每人一题，主题内容自选，所有设计内容与源代码需提交到博客园平台。

课程设计要求独立完成，不能互相抄袭，整个代码不能少于400行以下(代码必须用源码框架提交)，

课程设计占总成绩的60%。

一、主题式网络爬虫设计方案(15分)

1.主题式网络爬虫名称

2.主题式网络爬虫爬取的内容与数据特征分析

3.主题式网络爬虫设计方案概述(包括实现思路与技术难点)

二、主题页面的结构特征分析(15分)

1.主题页面的结构与特征分析

2.Htmls页面解析

3.节点(标签)查找方法与遍历方法

(必要时画出节点树结构)

三、网络爬虫程序设计(60分)

爬虫程序主体要包括以下各部分，要附源代码及较详细注释，并在每部分程序后面提供输出结果的截图。

1.数据爬取与采集(20)

2.对数据进行清洗和处理(10)

3.文本分析(可选)：jieba分词、wordcloud的分词可视化

4.数据分析与可视化(例如：数据柱形图、直方图、散点图、盒图、分布图)(15分)

5.根据数据之间的关系，分析两个变量之间的相关系数，画出散点图，并建立变量之间的回归方程(一元或多元)(10分)。

6.数据持久化(5分)

7.将以上各部分的代码汇总，附上完整程序代码

四、结论(10分)

1.经过对主题数据的分析与可视化，可以得到哪些结论？

2.对本次程序设计任务完成的情况做一个简单的小结。