2023/9/17 网络爬虫+数据可视化研究
目录
最近用一周的时间进行学习网络爬虫+数据可视化分析,因此特地记录所学知识,并向外输出以此加深自己的印象。
1.网络爬虫
本质: 网络爬虫通过向对方服务器发送请求,从而得到响应,进而分析所获取网页的内容。
因此,我们需要做三个方面的内容:分别是抓取网页、提取内容、保存内容。这样我们一个基本的爬虫框架就完成了。剩下的就是完成这三部分内容:1.0. 准备操作:
软件:python
包:bs4(用于解析HTML和XML文档)、re(处理正则表达式)、urllib(用于处理 URL)
其中网页抓取的最难之处在于正则表达式的书写,它是你能否正确获取信息的关键。
from bs4 import BeautifulSoup
import re
import urllib.request, urllib.error
import xlwt
import sqlite3
1.1. 抓取网页
我们以 豆瓣电影TOP250为例,定义一个getdata(baseurl)函数,其中baseurl为我们需要发起请求的链接地址。
def askurl(url):
head = { # 模拟头部信息,向豆瓣服务器发送消息
"User-Agent":
"""Mozilla / 5.0(Windows NT 10.0;Win64;x64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 116.0.0.0Safari / 537.36"""
} # 这是一个用户代理,告诉浏览器我们是什么类型的机器,浏览器可以接受什么水平的文件
request = urllib.request.Request(url=url, headers=head)
html = ""
try:
response = urllib.request.urlopen(request)
html = response.read().decode("utf-8")
# print(html)
except urllib.error.URLError as e:
if hasattr(e, 'code'):
print(e.code)
if hasattr(e, 'reason'):
print(e.reason)
return html
此处需要讲解的是头部信息,头部信息的作用就是模拟正常浏览器向服务器进行请求信息。那么头部信息又是如何模拟浏览器的信息从而骗过服务器。
对你想请求的网页按F12,你可以看到如下信息:
我们使用的User-Agent就是从这里获得。
1.2.获取数据
def getdata(baseurl):
datalist = []
# 2.解析数据
for i in range(0, 10):
url = baseurl + str(i * 25)
html = askurl(url)#我们定义的一个请求网址的函数,此函数的定义是模拟浏览器向豆瓣网进行请求内容,防止网站认为我们是电脑。
soup = BeautifulSoup(html, 'html.parser') # 对网页进行解析
for item in soup.find_all('div', {'class': 'item'}):#利用函数寻找所有在标签div下的名为item的类。
# print(type(item))
data = [] # 利用列表保存一部电影的所有信息
item = str(item)
link = re.findall(findlink, item)[0] # 获取到影片详情链接
# print(link)
data.append(link)
imgsrc = re.findall(findimage, item)[0] # 获取到影片图片的链接
data.append(imgsrc)
titles = re.findall(findtitle, item) # 获取到影片的片名
if (len(titles) == 2):
ctitle = titles[0]
data.append(ctitle)
otitle = titles[1].replace("/", "")#将外文标题中的/替换为空格。
data.append(otitle)
else:
data.append(titles[0])
data.append(' ')
rating = re.findall(findrating, item)[0] # 获取到影片评分
data.append(rating)
judge = re.findall(findjudge, item)[0] # 获取到评价人数
data.append(judge)
inq = re.findall(findinq, item) # 获取到概况
if len(inq) != 0:
inq = inq[0].replace("。", "")
data.append(inq)
else:
data.append(' ')
bd = re.findall(findbd, item)[0] # 获取到影片的相关内容
bd = re.sub('<br(\s+)?/>(\s+)?', " ", bd) #去掉<br/>
bd = re.sub('/', " ", bd) # 替换/
data.append(bd.strip()) # 去掉前后的空格
datalist.append(data) # 把处理好的一部电影信息放入datalist
# import pprint
# pprint.pprint(datalist)
return datalist
1.2.保存数据
保存数据我们这里住哟啊讲解2种方式:
1.2.1 保存为Excel格式
def savedata(savepath, datalist):
book = xlwt.Workbook(encoding='utf-8', style_compression=0)
sheet = book.add_sheet('豆瓣电影top250', cell_overwrite_ok=True)
col = ('电影个数', '电影详情链接', '图片链接', '影片中文名', '影片外国名', '评分', '评价数', '概况', '相关信息')
for i in range(0, 8):
sheet.write(0, i, col[i])
for i in range(0, 25):
# print('第%d条'%i)
sheet.write(i + 1, 0, "第%d条" % (i + 1))
data = datalist[i]
for j in range(0, 8):
sheet.write(i + 1, j + 1, data[j])
book.save(savepath) # 保存数据表
1.2.2 数据库格式
首先要初始化数据库,生成一个数据库。
def init_db(dbpath): # 数据库初始化
sql = '''
create table movie250
(
id integer primary key autoincrement,
info_link text,
pic_link text,
cname varchar,
ename varchar,
score numeric,
instroductionn text,
info text
)
'''
conn = sqlite3.connect(dbpath)
cursor = conn.cursor()
cursor.execute(sql)
conn.commit()
conn.close()
随后在数据库中添加我们爬取到的信息
def savedatadb(datalist, dbpath):
init_db(dbpath)#初始化数据库
conn= sqlite3.connect(dbpath)#链接数据库
cur=conn.cursor()#得到数据库的游标,所有的信息都在游标上
for data in datalist:
for index in range(len(data)):
if index==4 or index==5:
continue
data[index]='"'+data[index]+'"' #转化为字符
sql='''
insert into movie250(info_link,pic_link,cname,ename,score,instroductionn,info)
values(%s)'''%",".join(data)
# print(sql)
cur.execute(sql)
conn.commit()
cur.close()#关闭游标
conn.close()#关闭数据库
2.特别篇-正则表达式
要是想要能够正确的取出网页中的内容,那我们必须要将正则表达式能够熟练运用。
因此在这个程序中,我们所获取的内容的正则表示式如下:
为了让大家能够更好地理解正则表达式,我将网页中的内容与这里的正则表示进行一一对应。
#找到电影的链接
findlink = re.compile(r'<a href="(.*?)">')
# 得到影片图片的链接
findimage = re.compile(r'<img.*src="(.*?)"', re.S) # re.S让换行符包含在字符中
# 得到影片的片名
findtitle = re.compile(r'<span class="title">(.*)</span>')
# 影片评分
findrating = re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
# 评价人数
findjudge = re.compile(r'<span>(\d*)人评价</span>')
# 找到概况
findinq = re.compile(r'<span class="inq">(.*)</span>')
# 找到影片的相关内容
findbd = re.compile(r'<p class="">(.*?)</p>', re.S)
这样我们的一个爬虫工作就算完成了。剩下的就是多练。
3. 完整代码–
from bs4 import BeautifulSoup
import re
import urllib.request, urllib.error
import xlwt
import sqlite3
def main():
# 1.爬取网页
baseurl = 'https://movie.douban.com/top250?start=0'
datalist = getdata(baseurl)
savepath = '豆瓣电影top250.xls'
dbpath = 'move.db'
savedatadb(datalist, dbpath)
# savedata(savepath, datalist)
# 3. 保存数据
# savedata(savepath,datalist)
# askurl("https://movie.douban.com/top250")
findlink = re.compile(r'<a href="(.*?)">')
# 得到影片图片的链接
findimage = re.compile(r'<img.*src="(.*?)"', re.S) # re.S让换行符包含在字符中
# 得到影片的片名
findtitle = re.compile(r'<span class="title">(.*)</span>')
# 影片评分
findrating = re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
# 评价人数
findjudge = re.compile(r'<span>(\d*)人评价</span>')
# 找到概况
findinq = re.compile(r'<span class="inq">(.*)</span>')
# 找到影片的相关内容
findbd = re.compile(r'<p class="">(.*?)</p>', re.S)
def getdata(baseurl):
datalist = []
# 2.解析数据
for i in range(0, 1):
url = baseurl + str(i * 25)
html = askurl(url)
soup = BeautifulSoup(html, 'html.parser') # 对网页进行解析
for item in soup.find_all('div', {'class': 'item'}):
# print(type(item))
data = [] # 利用列表保存一部电影的所有信息
item = str(item)
link = re.findall(findlink, item)[0] # 获取到影片详情链接
# print(link)
data.append(link)
imgsrc = re.findall(findimage, item)[0] # 获取到影片图片的链接
data.append(imgsrc)
titles = re.findall(findtitle, item) # 获取到影片的片名
if (len(titles) == 2):
ctitle = titles[0]
data.append(ctitle)
otitle = titles[1].replace("/", "")
data.append(otitle)
else:
data.append(titles[0])
data.append(' ')
rating = re.findall(findrating, item)[0] # 获取到影片评分
data.append(rating)
judge = re.findall(findjudge, item)[0] # 获取到评价人数
data.append(judge)
inq = re.findall(findinq, item) # 获取到概况
if len(inq) != 0:
inq = inq[0].replace("。", "")
data.append(inq)
else:
data.append(' ')
bd = re.findall(findbd, item)[0] # 获取到影片的相关内容
bd = re.sub('<br(\s+)?/>(\s+)?', " ", bd) # 去掉<br/>
bd = re.sub('/', " ", bd) # 替换/
data.append(bd.strip()) # 去掉前后的空格
datalist.append(data) # 把处理好的一部电影信息放入datalist
# import pprint
# pprint.pprint(datalist)
return datalist
# 得到指定网页的指定内容
def askurl(url):
# global html
head = { # 模拟头部信息,向豆瓣服务器发送消息
"User-Agent":
"""Mozilla / 5.0(Windows NT 10.0;Win64;x64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 116.0.0.0Safari / 537.36"""
} # 这是一个用户代理,告诉浏览器我们是什么类型的机器,浏览器可以接受什么水平的文件
request = urllib.request.Request(url=url, headers=head)
html=''
try:
response = urllib.request.urlopen(request)
html = response.read().decode("utf-8")
# print(html)
except urllib.error.URLError as e:
if hasattr(e, 'code'):
print(e.code)
if hasattr(e, 'reason'):
print(e.reason)
return html
def savedata(savepath, datalist):
book = xlwt.Workbook(encoding='utf-8', style_compression=0)
sheet = book.add_sheet('豆瓣电影top250', cell_overwrite_ok=True)
col = ('电影详情链接', '图片链接', '影片中文名', '影片外国名', '评分', '评价数', '概况', '相关信息')
for i in range(0, 8):
sheet.write(0, i, col[i])
for i in range(0, 25):
# print('第%d条'%i)
data = datalist[i]
for j in range(0, 8):
sheet.write(i + 1, j, data[j])
book.save(savepath) # 保存数据表
def savedatadb(datalist, dbpath):
init_db(dbpath) # 初始化数据库
conn = sqlite3.connect(dbpath)
cur = conn.cursor()
for data in datalist:
for index in range(len(data)):
if index == 4 or index == 5:
continue
data[index] = '"' + data[index] + '"'
sql = '''
insert into movie250 (
info_link,pic_link,cname,ename,score,rated,instroduction,info)
values(%s)''' % ",".join(data)
# print(sql)
cur.execute(sql)
conn.commit()
cur.close() # 关闭游标
conn.close() # 关闭数据库
def init_db(dbpath): # 数据库初始化
sql = '''
create table movie250
(
id integer primary key autoincrement,
info_link text,
pic_link text,
cname varchar,
ename varchar,
score numeric,
rated numeric,
instroduction text,
info text
)
'''
conn = sqlite3.connect(dbpath)
cursor = conn.cursor()
cursor.execute(sql)
conn.commit()
conn.close()
# 主函数
main()
# init_db("movie_test.db")
# print("建立数据库完毕")