基于python的爬虫实战
近几天学习爬虫,感觉自己的水平可以爬出不少数据,萌生了实战的想法,后来发现自己还是太嫩了
老规矩,代码运行效果和保存文件效果:传送门
项目代码效果文件整合包:传送门
-
作为一个深度电影爱好者,我肯定首先考虑爬取电影天堂的最新电影资讯啦,可是经过我的实际操作发现那个网站不和我交互,报错
-<urlopen error EOF occurred in violation of protocol (_ssl.c:841)>
-emmm,行,所以操作无果之后就放弃了,如果有人能解决希望能私信我 -
第二个选择网抑云,毕竟自古评论出网易,我发现网易云里面是类似函数解码的东西,并且再重新获取数据的时候网页不刷新,海量代码劝退。。。
-
第三条就选择了比较简单一点糗事百科啦,它里面的排行榜是实时变化的,并且中间数量显示也可能会有一点变化,可能维护不好吧。。糗事百科 传送门
本程序分为三个模块
第一个是获取网页函数:
head头伪装的是谷歌浏览器,
由图上可以看出解码方式应该使用 utf -8 模式
def geturl(qsbk):
head={"user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36"}
request=urllib.request.Request(qsbk,headers=head)
response=urllib.request.urlopen(request)
html=response.read().decode("utf-8")
#print(html)
return html
第二个模块是注释得到数据模块
- 首先规范正则提取规则
在标题的提取中发现只有标题是文本类型,于是使用[\u3002\uff1b\uff0c\uff1a\u201c\u201d\uff08\uff09\u3001\uff1f\u300a\u300b\u4e00-\u9fa5]
来规范汉字,余下的“好笑”等字符处理在函数中
好笑值的评估中直接用re库compile然后findall精准匹配即可
在用户发布名中多看几个不难发现alt后规范的才是没有缩减后的用户名,而下面文本recmd-name中的文本过长之后会用省略号省略一部分名称,显然不符合我们的要求
具体规范如下:
findtitle=re.compile(r'[\u3002\uff1b\uff0c\uff1a\u201c\u201d\uff08\uff09\u3001\uff1f\u300a\u300b\u4e00-\u9fa5]+',re.S)
tit=re.compile(r'(.*?)好笑')
findhxz=re.compile(r"<span>(.*?)</span><span>好笑")
findwriter=re.compile(r'alt="(.*?)"')
获取信息的函数如下:
def getmusic(qsbk):
datalist=[]
for i in range(1,14):
qsbk1=qsbk+str(i)
html=geturl(qsbk1)
soup=bs4.BeautifulSoup(html,"html.parser")
for item in soup.find_all('div',class_="recmd-right"):
#print(item)
data=[]
item=str(item)
#找到标题
title=re.findall(findtitle,item)
title1=re.findall(tit,''.join(title))
#print(title1)
data.append(title1)
#找到好笑值
hxz=re.findall(findhxz,item)
hxz1='好笑值:'+str(hxz)
#print(hxz1)
data.append(hxz1)
#找到作者
writer=re.findall(findwriter,item)
#print(writer)
data.append(writer)
datalist.append(data)
return datalist
为了方便处理,跑出来的结果用excel保存,便于以后的处理
规定好datalist中的类数并计算总共需要爬取的数据范围大小(可用表达式表示),要与获得的页面数相匹配,具体需要多少数据可以根据自己的情况自我调整
保存函数如下:
def savedata(datalist,savepath):
print('------------------开始保存------------------')
book = xlwt.Workbook(encoding="utf-8",style_compression=0) #创建workbook对象
sheet = book.add_sheet('糗事百科',cell_overwrite_ok=True) #创建工作表
col = ("糗事标题","好笑值","发布作者")
for i in range(0,3):
sheet.write(0,i,col[i]) #列名
for i in range(0,181):
print("第%d条" %(i+1))
data = datalist[i]
for j in range(0,3):
sheet.write(i+1,j,data[j]) #数据
book.save(savepath)
全部代码预览:
#-*- codeing = utf-8 -*-
#@Time : 2020/8/14
#@Author : A_kang
#@File : demo.py
#@Software: VS2017
import urllib.request
import bs4
import re
import xlwt
import json
def main():
qsbk="https://www.qiushibaike.com/8hr/page/"
datalist=getmusic(qsbk)
savepath="糗事百科前13页.xls"
savedata(datalist,savepath)
findtitle=re.compile(r'[\u3002\uff1b\uff0c\uff1a\u201c\u201d\uff08\uff09\u3001\uff1f\u300a\u300b\u4e00-\u9fa5]+',re.S)
tit=re.compile(r'(.*?)好笑')
findhxz=re.compile(r"<span>(.*?)</span><span>好笑")
findwriter=re.compile(r'alt="(.*?)"')
def geturl(qsbk):
head={"user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36"}
request=urllib.request.Request(qsbk,headers=head)
response=urllib.request.urlopen(request)
html=response.read().decode("utf-8")
#print(html)
return html
def getmusic(qsbk):
datalist=[]
for i in range(1,14):
qsbk1=qsbk+str(i)
html=geturl(qsbk1)
soup=bs4.BeautifulSoup(html,"html.parser")
for item in soup.find_all('div',class_="recmd-right"):
#print(item)
data=[]
item=str(item)
#找到标题
title=re.findall(findtitle,item)
title1=re.findall(tit,''.join(title))
#print(title1)
data.append(title1)
#找到好笑值
hxz=re.findall(findhxz,item)
hxz1='好笑值:'+str(hxz)
#print(hxz1)
data.append(hxz1)
#找到作者
writer=re.findall(findwriter,item)
#print(writer)
data.append(writer)
datalist.append(data)
return datalist
def savedata(datalist,savepath):
print('------------------开始保存------------------')
book = xlwt.Workbook(encoding="utf-8",style_compression=0) #创建workbook对象
sheet = book.add_sheet('糗事百科',cell_overwrite_ok=True) #创建工作表
col = ("糗事标题","好笑值","发布作者")
for i in range(0,3):
sheet.write(0,i,col[i]) #列名
for i in range(0,181):
print("第%d条" %(i+1))
data = datalist[i]
for j in range(0,3):
sheet.write(i+1,j,data[j]) #数据
book.save(savepath)
if __name__=="__main__":
main()
print("爬取完毕!你成功了!")
“你是谁?”
“一个看帖子的人。”
“看帖子不点赞啊?”
“你点赞吗?”
“当然点了。”
“我也会点。”
“谁会把经验写在帖子里。”
“写在帖子里的那能叫经验贴?”
“上流!”
cheer!!!