爬虫那些事

使用python爬虫爬取糗事百科段子的小栗子
爬虫可以用挺多库来实现的吧，这里只是用了request发出请求，通过re正则表达式进行选择爬取，总的来说分为三步。如果可以，我币有了，点个赞，感谢支持

爬取源数据。 发出请求，获取数据
过滤数据。 过滤数据比如什么<br//>之类的，多了一个/是博客编码原因；
保存数据. 将需要的数据保存，这里只有保存为text 的栗子

过滤数据
此时我们要用到正则表达式，简单来说正则表达式就是.?和(.?)
你可以这样理解.?是扒拉扒拉的一堆我们不要的东西，而(.?)则是一堆
扒拉扒拉的我们需要的东西，两者就差一个括号

下面打开我们的爬取的网址https://www.qiushibaike.com/text/
在这里插入图片描述
可以看到需要的段子都放在class="article block untagged mb15 typs_long"的div中的class="content"的div中的span中

所以正则表达式pattern = ‘<div.?class=“article block untagged mb15 typs_long”.?>.?<.?class=“content”>.?(.?).*?’
1
这个就过滤掉了一些html 的元素
代码如下

import requests
import re

def start_spider():
r = requests.get(‘https://www.qiushibaike.com/text/’)

pattern = '<div.*?class="article block untagged mb15 typs_long".*?>.*?<.*?class="content">.*?<span>(.*?)</span>.*?</div>'
duanzi_list = re.findall(pattern,r.text,re.S)

print(duanzi_list)

start_spider()

在这里插入图片描述
这样就是提取了span之中的数据
但是还有一些
下面再过滤
在这里插入图片描述
好了已经差不多了

链接: link.

保存数据
import requests
import re

def start_spider():
r = requests.get(‘https://www.qiushibaike.com/text/’)

pattern = '<div.*?class="article block untagged mb15 typs_long".*?>.*?<.*?class="content">.*?<span>(.*?)</span>.*?</div>'
duanzi_list = re.findall(pattern,r.text,re.S)

print(duanzi_list)

#过滤
num = 1
for duanzi in duanzi_list:
	filter_duanzi = re.sub('<br/>|&quot','',duanzi)
	print(str(num) + '.' + filter_duanzi + '\n')
	#保存数据
	with open('糗事.txt','a',encoding = 'utf-8') as f:
		f.write(str(num) + '.' + filter_duanzi + '\n')
	num +=1

start_spider()

在这里插入图片描述

进阶
讲到这里，其实已经差不多完成了。
但是，段子只有一个，我们需要的是大量的数据。
原因在这，我们只是提取了
class="article block untagged mb15 typs_long"的div层，段子分开放在很多个div层的，这时候就是进一步理解正则表达的时刻

在这里插入图片描述

.?就是balabala一堆东西，前面提取class=“article block untagged mb15 typs_long”
这次把pattern换成这样
pattern = '<div.?class="article block untagged mb15 .?".?>.?<.?class=“content”>.?(.?).*?’
这就把全部的给过滤下来了
1
2
3
4
下面是完整的代码

import requests
import re

def start_spider():
r = requests.get(‘https://www.qiushibaike.com/text/’)

pattern = '<div.*?class="article block untagged mb15 .*?".*?>.*?<.*?class="content">.*?<span>(.*?)</span>.*?</div>'
duanzi_list = re.findall(pattern,r.text,re.S)

print(duanzi_list)

#过滤
num = 1
for duanzi in duanzi_list:
	filter_duanzi = re.sub('<br/>|&quot','',duanzi)
	print(str(num) + '.' + filter_duanzi + '\n')

	#保存数据
	with open('糗事.txt','a',encoding = 'utf-8') as f:
		f.write(str(num) + '.' + filter_duanzi + '\n')
	num +=1	

start_spider()