python是一个非常火热的编程语言,被称为胶水语言,可以应用于诸多领域,在爬虫领域根据它强大的生态更是有其独特的优势。
爬虫的意义就是将网页数据进行存储,自定处理,想要学习爬虫首先要了解一点html相关知识,至少能够看懂网页数据标签。下面我们就进行豆瓣250网站的数据爬取。将数据保存到本地excel文件中。
首先我们要知道爬虫的基本思路
- 要指定网址,有需要爬的源。
- 要明确想要得到什么数据,即网页中的标签存储什么数据,要懂。
- 要知道建立什么样的规则去爬取网页数据。即通过正则表达式去建立规则。
- 要懂技术,懂编程,看得懂python代码,起码要懂基础语法。
下面详细介绍python爬虫需要用到的模块
- BeautifulSoup:它是一个工具箱,通过解析文档为用户提供需要抓取的数据,
- re:正则表达式是对字符串操作的一种逻辑公式,就是用事先定义好的一些特定字符、及这些特定字符的组合,组成一个"规则字符串",这个"规则字符串"用来表达对字符串的一种过滤逻辑。
- urllib:是 Python 中的一个功能强大、用于操作 URL,并在做爬虫的时候经常要用到的库。
- xlwt:是python对Excel表格的操作
- sqllite3:一种轻便的数据库
工具:PyCharm:一种非常好用的针对python的编辑器:建议使用社区版因为免费。
下面开始正式的梳理一下爬虫步骤,首先全局变量baseurl接收要爬取的网址,及豆瓣网。savepath是要保存数据到本地的文件名。datalist是列表用来接收获取到的网页数据。savedata是具体的保存数据的函数。getData是获取的数据函数。askURL是解析网页的函数。模拟浏览器与网站进行交互,这是最关键的,只有成功与爬取源进行交互,即取得允许爬取的资格才能够进行对数据的操作,因为有些网站的数据是机密,只能浏览,不允许被其他渠道传播的,有些网站还存在反爬虫机制,所以,爬虫是有危险的。想要成功获得信任资格,就要模拟的浏览器和你自己本身的浏览器一模一样才行,即建立一个浏览器的头部信息,以及浏览器的标识,还有编码规范,这点也是很重要的。一下是所有相关代码,至于代码详解不做解释,
#Author:soul
#codeing=utf-8
#@Time:2021/3/28 17:36
#@Author:Administrator
#@Site:demo.py
#@Software:PyCharm
import sys
from bs4 import BeautifulSoup #网页解析
import re #正则表达式
import urllib.request,urllib.error
import xlwt #进行excel操作
import sqlite3 #进行数据库操作
def main():
# 爬取网页
baseurl="https://movie.douban.com/top250?start=0"
savepath="豆瓣电影250.xls"
datalist=getData(baseurl)
saveData(datalist,savepath)
askURL(baseurl)
findLink=re.compile(r'<a href="(.*?)">')#创建正则表达式规则
#提炼影片图片
findImgSrc=re.compile(r'<img.*src="(.*?)"',re.S)#re.S让换行符包含在字符中
#影片片名
findTitle=re.compile(r'<span class="title">(.*)</span>')
#影片的评分
findRating=re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
#找到评价人数
findJudge=re.compile(r'<span>(\d*)人评价</span>')
#找到概况
findInq=re.compile(r'<span class="inq>(.*)</span>')
#找到影片相关内容
findBd=re.compile(r'<p class="">(.*?)</p>',re.S)
#
#逐一解析数据
#保存数据
#获取数据
def askURL(url):
head={ #模拟浏览器头部信息
"User-Agent" :"Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:87.0) Gecko/20100101 Firefox/87.0"
}
request=urllib.request.Request(url,headers=head)#发送请求
try:
response=urllib.request.urlopen(request) #获取响应
html=response.read().decode("utf-8")
#print(html)
except urllib.error.URLError as e:
if hasattr(e,"code"):
print(e.code)
if hasattr(e,"reason"):
print(e.reason)
return html
#爬取网页
def getData(baseurl):
datalist = []
for i in range(0, 10): #调用获取页面信息的函数10次
url = baseurl + str(i * 25)
html = askURL(url) #保存获取到的源码+
#逐一解析数据
soup = BeautifulSoup(html,"html.parser")
for item in soup.find_all('div',class_="item"): #解析匹配
#print(item) #查看电影item信息
data=[] #保存一部电影的所有信息
item=str(item)
#break
#获取影片详情的连接
link=re.findall(findLink,item)[0]
data.append(link)
imgSrc=re.findall(findImgSrc,item)[0]
data.append(imgSrc)
title=re.findall(findTitle,item)
if(len(title)==2):
ctitle=title[0]
data.append(ctitle)
otitle=title[1].replace("/","")
data.append(otitle)
else:
data.append(title[0])
data.append('')
rating=re.findall(findRating,item)[0]
data.append(rating)
judge=re.findall(findJudge,item)[0]
data.append(judge)
inq=re.findall(findInq,item)
if(len(inq)!=0):
inq=inq[0].replace("。","")
data.append(inq)
else:
data.append(" ")
bd=re.findall(findBd,item)[0]
bd=re.sub('<br>(\s+)?/>(\s+)?'," ",bd) #去掉br
bd=re.sub('/'," ",bd) #替换
data.append(bd.strip()) #去掉前后的空格
datalist.append(data) #处理好一部电影信息放入datalist中
# print(link)
print(datalist)
return datalist
#保存数据
def saveData(datalist,savepath):
print("保存中.....")
workbook = xlwt.Workbook(encoding="utf-8",style_compression=0) # 创建workbook对象
worksheet = workbook.add_sheet('豆瓣电影top250',cell_overwrite_ok=True) # 创建工作表
col=("电影链接","图片链接","影片中文名","影片外国名","评分","评价数","概况","相关信息")
for i in range(0, 8):
worksheet.write(0,i,col[i])
for i in range(0,250):
print("第%d条"%(i+1))
data = datalist[i]
for j in range(0,8):
worksheet.write(i+1,j,data[j]) #写入数据
workbook.save(savepath)
print("保存完毕")
if __name__ == "__main__":
main()