Python高级应用程序设计任务要求
用Python实现一个面向主题的网络爬虫程序,并完成以下内容:
(注:每人一题,主题内容自选,所有设计内容与源代码需提交到博客园平台)
一、主题式网络爬虫设计方案(15分)
1.主题式网络爬虫名称
爬取网易云音乐歌单
2.主题式网络爬虫爬取的内容与数据特征分析
爬取网易云音乐歌单前十页歌单,说唱类型的歌单名称、歌单播放量、歌单链接、用户名称。
分析歌单播放量和歌单标题关键词
3.主题式网络爬虫设计方案概述(包括实现思路与技术难点)
实现思路:使用单线程爬取,初始化信息,设置请求头部信息,获取网页资源,使用etree进行网页解析,爬取多页时刷新offset,将爬取数据保存到csv文件中。
难点:使用的翻页形式为URL的limit和offset参数,发送的get请求时froms和url的参数要一至。
二、主题页面的结构特征分析(15分)
1.主题页面的结构特
2.Htmls页面解析
3.节点(标签)查找方法与遍历方法
(必要时画出节点树结构)
三、网络爬虫程序设计(60分)
爬虫程序主体要包括以下各部分,要附源代码及较详细注释,并在每部分程序后面提供输出结果的截图。
1.数据爬取与采集
from urllib import parse
from lxml import etree
from urllib3 import disable_warnings
import requests
import csv
class Wangyiyun(object):
def __init__(self, **kwargs):
# 歌单的歌曲风格
self.t