前言:
引用:「淡泊 明志」:原文链接:https://blog.csdn.net/qq_44752277/article/details/96430325
虽然学习了诸多教程视频,但发现自己的爬虫技能并不在线,至此,自己再学习下爬虫的方法经验。
对豆瓣一个网页电影的爬虫分析:有拓展可以考虑保存为xls文件。
遇到反爬,考虑添加headers
分析网址是豆瓣top250
header={
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36'
}
首先,分析我们想要的内容,html源代码里面的标签下的内容,部分实在string内,比如
也有的是在tag内。比如网页链接之类:
分析网页内容,找到所要爬取内容的平行所在标签位置:
class=pic的div标签下,有排名,有src。其平行的class="info"的div标签下,有内容。
之后大致有两种爬虫方法:
一种是直接获得html文件,使用re正则表达式解析所需的内容。
使用re的comile方法可以把正则字符串编译成正则表达式对象,方便复用。
尽量多的匹配那些不是自己需要的内容。
在图片里可以看见,每个电影的信息保存在了li标签里,我想提取的是排名,图片url,电影名,导演演员名单,但在导演演员名中间有  ;还有大量空格,所以我在< br >前面加了\s*它可以表示空格。在查找之前用re.sub(’  ;’,’’,html)把  ;换成没有,这样方便正则表达式的书写
通过括号,将想要爬取的内容括起来。其余内容不考虑。这种直接一次匹配所有所需内容的匹配方式需要添加re.S
。不然匹配结果为空!
pattern=re.compile('<em class="">(\d+)</em>.*?<span class="title">(.*?)</span>.*?<p class="">(.*?)</p>.*?<span class="rating_num" property="v:average">(.*?)</span>.*?<span>(.*?)</span>.*?<span class="inq">(.*?)</span>'
r=re.findall(pattern,html,re.S)
import re
import requests
url="https://movie.douban.com/top250"
hd={
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36'
}
def getHTMLText(url):
try:
r = requests.get(url, timeout=30,headers=hd)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return "geturl wrong!"
def main():
s=getHTMLText(url)
s=re.sub(' ','',s)
pattern=re.compile('<em class="">(\d+)</em>.*?<span class="title">(.*?)</span>.*?<p class="">(.*?)</p>.*?<span class="rating_num" property="v:average">(.*?)</span>.*?<span>(.*?)</span>.*?<span class="inq">(.*?)</span>'
,re.S)
r = re.findall(pattern, s)
print("re OK!")
print(r)
for i in r:
print("排名"+i[0], "电影名:"+i[1],"概述:"+i[2],"评分:"+i[3],"评价数:"+i[4])
main()
另一种是借助bs4的BeautifulSoup,解析树状结点下的内容。
可以很方便的解析到特定标签下的string,或标签属性。对于原例子,我们修改如下代码。
找到大的类,找到其中全部相同的标签,比如此例下是:
from bs4 import BeautifulSoup
soup=BeatutifulSoup(html,"html.parser")
#找到属性为item的div标签
list = soup.find_all('div','item')
def main():
s=getHTMLText(url)
#删除空格和<br>这些多余的部分
s=re.sub(' ','',s)
s=re.sub('<br>',' ',s)
soup=BeautifulSoup(s,"html.parser")
#找到属性为item的div标签,包含一个电影的全部要爬取的内容
list=soup.find_all('div','item')
print("re OK!")
print(list)
for item in list:
#找到其下的属性为title的标签
item_name = item.find(class_='title').string
#找到其下的标签名为a,再其下标签名为img,再其下找属性值为src的标签
item_img = item.find('a').find('img').get('src')
#找到其下的class属性及其值为空的string
item_index = item.find(class_='').string
#找到其下的class属性及其值为rating_num的string
item_score = item.find(class_='rating_num').string
#找到其下的class属性及其值为rating_num的string
item_author = item.find('p').text
if (item.find(class_='inq') != None):
item_intr = item.find(class_='inq').string
print('爬取电影:' + item_index + ' | ' + item_name + ' | ' + item_score + ' | ' + item_intr+' | '+item_img)
main()
因为不同界面url存在变化。有两种方式:
对i调用函数。
def main(i):
url="https://movie.douban.com/top250?start="+str(i*25)+"&filter="
html=get_one_page(url)
parser_one_page(html)
另一种:
#制成列表型urls
urls=['https://movie.douban.com/top250?start={}&filter='.format(str(i)) for i in range(0,250,25]
for url in urls:
html=get_one_page(url)
parser_one_page(html)
完整代码:
import re
import requests
from bs4 import BeautifulSoup
import xlwt
import time
def get_one_page(url):
hd={
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36'
}
try:
r = requests.get(url, timeout=30,headers=hd)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return "geturl wrong!"
def parser_one_page(s):
s=re.sub('<br>',' ',s)
s=re.sub(' ','',s)
soup=BeautifulSoup(s,"html.parser")
list=soup.find_all('div','item')
for item in list:
item_name = item.find(class_='title').string
item_img = item.find('a').find('img').get('src')
item_index = item.find(class_='').string
item_score = item.find(class_='rating_num').string
item_author = item.find('p').text
if (item.find(class_='inq') != None):
item_intr = item.find(class_='inq').string
print('爬取电影:' + item_index + ' | ' + item_name +' | ' + item_img +' | ' + item_score +' | ' + item_author +' | ' + item_intr )
#print('爬取电影:' + item_index + ' | ' + item_name + ' | ' + item_score + ' | ' + item_intr+' | '+item_img)
global n
sheet.write(n, 0, item_name)
sheet.write(n, 1, item_img)
sheet.write(n, 2, item_index)
sheet.write(n, 3, item_score)
sheet.write(n, 4, item_author)
sheet.write(n, 5, item_intr)
n = n + 1
if __name__ == '__main__':
book = xlwt.Workbook(encoding='utf-8', style_compression=0)
sheet = book.add_sheet('豆瓣电影Top250', cell_overwrite_ok=True)
sheet.write(0, 0, '名称')
sheet.write(0, 1, '图片')
sheet.write(0, 2, '排名')
sheet.write(0, 3, '评分')
sheet.write(0, 4, '作者')
sheet.write(0, 5, '简介')
n= 1
urls=['https://movie.douban.com/top250?start={}&filter='.format(str(i)) for i in range(0,250,25)]
for url in urls:
html=get_one_page(url)
parser_one_page(html)
time.sleep(2)
book.save(u'豆瓣最受欢迎的250部电影.csv')
最终效果:
另一个bs爬虫实例:
找到type属性值为hidden的input标签,取value属性的值。
s=soup.find('input',type='hidden').get('value')