python爬虫入门+进阶_Python 爬虫从入门到进阶之路（十五）-CSDN博客

本文链接：https://blog.csdn.net/weixin_39698255/article/details/111732606

之前的文章我们介绍了一下 Python 的 json 模块，本章我们就介绍一下之前根据 Xpath 模块做的爬取《糗事百科》的糗事进行丰富和完善。

在 Xpath 模块的爬取糗百的案例中我们只是爬取了其中的糗事，然后存储到本地，并没有作者姓名，头像等信息，所有我们通过之前介绍的 path 模块讲获取到的完整信息以 json 的形式存储到本地。

我们通过 Xpath Helper 的谷歌插件经过分析获取到我们想要的内容为： //div[contains(@id,"qiushi_tag")]

1 importurllib.request2 from lxml importetree3 importssl4

5 #取消代理验证

6 ssl._create_default_https_context =ssl._create_unverified_context7

8 url = "https://www.qiushibaike.com/text/page/1/"

9 #User-Agent头

10 user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36'

11 headers = {'User-Agent': user_agent}12 req = urllib.request.Request(url, headers=headers)13 response =urllib.request.urlopen(req)14 #获取每页的HTML源码字符串

15 html = response.read().decode('utf-8')16 #解析html 为 HTML 文档

17 selector =etree.HTML(html)18 content_list = selector.xpath('//div[contains(@id,"qiushi_tag")]')19 print(content_list)

输出结果为：

从上面的输出结果可以看出我们已经拿到了我们想要的数据，并且是一个列表类型，我们对列表进行操作扥别拿到糗事再存储到本地即可。

1 items ={}2 for site incontent_list:3 imgUrl = site.xpath('./div/a/img/@src')[0] #头像

4 username = site.xpath('./div/a/img/@alt')[0] #作者

5 content = site.xpath('.//div[@class="content"]/span[1]/text()')6 items ={7 "imgUrl": imgUrl,8 "username": username,9 "content": content,10 }11

12 with open("qiushi.json", "a") as f:13 f.write(json.dumps(items, ensure_ascii=False) + ",\n")

上面就可以实现一个获取糗事百科的糗事的简单爬虫，但是只能爬取单个页面的内容，通过分析 url 我们发现 https://www.qiushibaike.com/text/page/1/ 中最后的 1 即为页码，我们就可以根据这个页码逐一爬取更多页面的内容，最终的代码如下：

1 importurllib.request2 from lxml importetree3 importjson4 importssl5

6 #取消代理验证

7 ssl._create_default_https_context =ssl._create_unverified_context8

10 classSpider:11 def __init__(self):12 #初始化起始页位置

13 self.page = 2

14 #爬取开关，如果为True继续爬取

15 self.switch =True16

17 defloadPage(self):18 """

19 作用：打开页面20 """

21 url = "https://www.qiushibaike.com/text/page/" + str(self.page) + "/"

22 #User-Agent头

23 user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36'

24 headers = {'User-Agent': user_agent}25 req = urllib.request.Request(url, headers=headers)26 response =urllib.request.urlopen(req)27 #获取每页的HTML源码字符串

28 html = response.read().decode('utf-8')29 #解析html 为 HTML 文档

30 selector =etree.HTML(html)31 content_list = selector.xpath('//div[contains(@id,"qiushi_tag")]')32 #调用dealPage() 处理糗事里的杂七杂八

33 self.dealPage(content_list)34

35 defdealPage(self, item_list):36 """

37 @brief 处理得到的糗事列表38 @param item_list 得到的糗事列表39 @param page 处理第几页40 """

41 for site initem_list:42 #根据查询发现匿名用户和非匿名用户的标签不一样

43 try:44 #非匿名用户

45 imgUrl = site.xpath('./div/a/img/@src')[0] #头像

46 username = site.xpath('./div/a/img/@alt')[0] #作者

47 exceptException:48 #匿名用户

49 imgUrl = site.xpath('./div/span/img/@src')[0] #头像

50 username = site.xpath('./div/span/img/@alt')[0] #作者

51 content = site.xpath('.//div[@class="content"]/span[1]/text()')52 items ={53 "imgUrl": "https:" +imgUrl,54 "username": username,55 "content": content,56 }57

58 self.writePage(items)59

60 defwritePage(self, items):61 """

62 @brief 将数据追加写进文件中63 @param text 文件内容64 """

65 myFile = open("./qiushi.json", 'a') #追加形式打开文件

66 myFile.write(json.dumps(items, ensure_ascii=False) + ",\n")67 myFile.close()68

69 defstartWork(self):70 """

71 控制爬虫运行72 """

73 #循环执行，直到 self.switch == False

74 whileself.switch:75 #用户确定爬取的次数

76 self.loadPage()77 command = input("如果继续爬取，请按回车(退出输入quit)")78 if command == "quit":79 #如果停止爬取，则输入 quit

80 self.switch =False81 #每次循环，page页码自增1

82 self.page += 1