python程序设计期末作业_Python高级应用程序设计任务期末作业

Python高级应用程序设计任务要求

用Python实现一个面向主题的网络爬虫程序，并完成以下内容：

（注：每人一题，主题内容自选，所有设计内容与源代码需提交到博客园平台）

一、主题式网络爬虫设计方案（15分）

1.主题式网络爬虫名称

爬取网易云音乐歌单

2.主题式网络爬虫爬取的内容与数据特征分析

爬取网易云音乐歌单前十页歌单，说唱类型的歌单名称、歌单播放量、歌单链接、用户名称。

分析歌单播放量和歌单标题关键词

3.主题式网络爬虫设计方案概述（包括实现思路与技术难点）

实现思路：使用单线程爬取，初始化信息，设置请求头部信息，获取网页资源，使用etree进行网页解析，爬取多页时刷新offset，将爬取数据保存到csv文件中。

难点：使用的翻页形式为URL的limit和offset参数，发送的get请求时froms和url的参数要一至。

二、主题页面的结构特征分析（15分）

1.主题页面的结构特

2.Htmls页面解析

3.节点（标签）查找方法与遍历方法

（必要时画出节点树结构）

三、网络爬虫程序设计（60分）

爬虫程序主体要包括以下各部分，要附源代码及较详细注释，并在每部分程序后面提供输出结果的截图。

1.数据爬取与采集

from urllib import parse

from lxml import etree

from urllib3 import disable_warnings

import requests

import csv

class Wangyiyun(object):

def __init__(self, **kwargs):

# 歌单的歌曲风格

self.t