【Python】爬虫的re正则匹配和bs4两种方法

前言：

引用：「淡泊 明志」：原文链接：https://blog.csdn.net/qq_44752277/article/details/96430325
虽然学习了诸多教程视频，但发现自己的爬虫技能并不在线，至此，自己再学习下爬虫的方法经验。
对豆瓣一个网页电影的爬虫分析：有拓展可以考虑保存为xls文件。
遇到反爬，考虑添加headers
分析网址是豆瓣top250

header={
	'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36'
	}   

首先，分析我们想要的内容，html源代码里面的标签下的内容，部分实在string内，比如

也有的是在tag内。比如网页链接之类：

分析网页内容，找到所要爬取内容的平行所在标签位置：

class=pic的div标签下，有排名，有src。其平行的class="info"的div标签下，有内容。

之后大致有两种爬虫方法：

一种是直接获得html文件，使用re正则表达式解析所需的内容。

使用re的comile方法可以把正则字符串编译成正则表达式对象，方便复用。
尽量多的匹配那些不是自己需要的内容。
在图片里可以看见，每个电影的信息保存在了li标签里，我想提取的是排名，图片url，电影名，导演演员名单，但在导演演员名中间有&nbsp ;还有大量空格，所以我在< br >前面加了\s*它可以表示空格。在查找之前用re.sub(’&nbsp ;’,’’,html)把&nbsp ;换成没有，这样方便正则表达式的书写

通过括号，将想要爬取的内容括起来。其余内容不考虑。这种直接一次匹配所有所需内容的匹配方式需要添加re.S。不然匹配结果为空！

pattern=re.compile('<em class="">(\d+)</em>.*?<span class="title">(.*?)</span>.*?<p class="">(.*?)</p>.*?<span class="rating_num" property="v:average">(.*?)</span>.*?<span>(.*?)</span>.*?<span class="inq">(.*?)</span>'
r=re.findall(pattern,html,re.S)

import re
import requests
url="https://movie.douban.com/top250"
hd={
	'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36'
}
def getHTMLText(url):
    try:
        r = requests.get(url, timeout=30,headers=hd)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return "geturl wrong!"


def main():
	s=getHTMLText(url)
	s=re.sub(' ','',s)
	pattern=re.compile('<em class="">(\d+)</em>.*?<span class="title">(.*?)</span>.*?<p class="">(.*?)</p>.*?<span class="rating_num" property="v:average">(.*?)</span>.*?<span>(.*?)</span>.*?<span class="inq">(.*?)</span>'
,re.S)
	r = re.findall(pattern, s)
	print("re OK!")
	print(r)
	for i in r: 
		print("排名"+i[0], "电影名："+i[1],"概述："+i[2],"评分："+i[3],"评价数："+i[4])
main()

另一种是借助bs4的BeautifulSoup，解析树状结点下的内容。

可以很方便的解析到特定标签下的string，或标签属性。对于原例子，我们修改如下代码。
找到大的类，找到其中全部相同的标签，比如此例下是：

from bs4 import BeautifulSoup
soup=BeatutifulSoup(html,"html.parser")
#找到属性为item的div标签
list = soup.find_all('div','item')

def main():
	s=getHTMLText(url)
	#删除空格和<br>这些多余的部分
	s=re.sub('&nbsp;','',s)
	s=re.sub('<br>',' ',s)
	soup=BeautifulSoup(s,"html.parser")
	#找到属性为item的div标签，包含一个电影的全部要爬取的内容
	list=soup.find_all('div','item')
	print("re OK!")
	print(list)
	for item in list: 
		#找到其下的属性为title的标签
		item_name = item.find(class_='title').string
		#找到其下的标签名为a，再其下标签名为img，再其下找属性值为src的标签
		item_img = item.find('a').find('img').get('src')
		#找到其下的class属性及其值为空的string
		item_index = item.find(class_='').string
		#找到其下的class属性及其值为rating_num的string
		item_score = item.find(class_='rating_num').string
		#找到其下的class属性及其值为rating_num的string
		item_author = item.find('p').text
		if (item.find(class_='inq') != None):
			item_intr = item.find(class_='inq').string
		print('爬取电影：' + item_index + ' | ' + item_name + ' | ' + item_score + ' | ' + item_intr+' | '+item_img)
main()

因为不同界面url存在变化。有两种方式：
对i调用函数。

def main(i):
	url="https://movie.douban.com/top250?start="+str(i*25)+"&filter="
	html=get_one_page(url)
	parser_one_page(html)

另一种：

#制成列表型urls
urls=['https://movie.douban.com/top250?start={}&filter='.format(str(i)) for i in range(0,250,25]
for url in urls:
	html=get_one_page(url)
	parser_one_page(html)

完整代码：

import re
import requests
from bs4 import BeautifulSoup
import xlwt
import time
def get_one_page(url):
	hd={
	'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36'
}
	try:
		r = requests.get(url, timeout=30,headers=hd)
		r.raise_for_status()
		r.encoding = r.apparent_encoding
		return r.text
	except:
		return "geturl wrong!"


def parser_one_page(s):
	s=re.sub('<br>',' ',s)
	s=re.sub('&nbsp;','',s)
	soup=BeautifulSoup(s,"html.parser")
	list=soup.find_all('div','item')
	for item in list: 
		item_name = item.find(class_='title').string
		item_img = item.find('a').find('img').get('src')
		item_index = item.find(class_='').string
		item_score = item.find(class_='rating_num').string
		item_author = item.find('p').text
		if (item.find(class_='inq') != None):
			item_intr = item.find(class_='inq').string
		print('爬取电影：' + item_index + ' | ' + item_name +' | ' + item_img +' | ' + item_score +' | ' + item_author +' | ' + item_intr )
		#print('爬取电影：' + item_index + ' | ' + item_name + ' | ' + item_score + ' | ' + item_intr+' | '+item_img)
		global n
		sheet.write(n, 0, item_name)
		sheet.write(n, 1, item_img)
		sheet.write(n, 2, item_index)
		sheet.write(n, 3, item_score)
		sheet.write(n, 4, item_author)
		sheet.write(n, 5, item_intr)
		n = n + 1


if __name__ == '__main__':
	book = xlwt.Workbook(encoding='utf-8', style_compression=0)
	sheet = book.add_sheet('豆瓣电影Top250', cell_overwrite_ok=True)
	sheet.write(0, 0, '名称')
	sheet.write(0, 1, '图片')
	sheet.write(0, 2, '排名')
	sheet.write(0, 3, '评分')
	sheet.write(0, 4, '作者')
	sheet.write(0, 5, '简介')
	n= 1
	urls=['https://movie.douban.com/top250?start={}&filter='.format(str(i)) for i in range(0,250,25)]
	for url in urls:
		html=get_one_page(url)
		parser_one_page(html)
		time.sleep(2)
	book.save(u'豆瓣最受欢迎的250部电影.csv')

最终效果：

另一个bs爬虫实例：

找到type属性值为hidden的input标签，取value属性的值。
s=soup.find('input',type='hidden').get('value')