前言
这几天学习爬虫,网上看了一些教程,发现这个 http://cuiqingcai.com/990.html 是相当不错的。
但可惜的是,整个教程是两年前的,但是Python是2.x版本的,跟现在的3.x有一些基本的语法不同;还有糗事百科也经过了改版。
总之原来的爬虫程序已经无法运行了。
借此学习机会,我更新一下这篇文章。
目标进程
- 本身初学python,暂时用着python2,完成这次爬虫实验
- 文章顺序按照原文章进行
- 分析原代码构成,并进行修改以适应现在的糗事
- 最后改成Python3(未完成)
1.确定URL并页面代码
现在的糗百URL为https://www.qiushibaike.com(热门板块) ,当然你可以进去到https://www.qiushibaike.com/hot/(24小时板块)
我们还是以热门板块来做,刷了几页过后发现,他是这样的: https://www.qiushibaike.com/8hr/page/5/?s=5001478,后面一堆玩意儿看不懂,
不过试了试https://www.qiushibaike.com/8hr/page/4,也是没问题,那么我们的URL就可以出来了
结合原文中的代码,我们这么写:
# -*- coding:utf-8 -*-
import urllib
import urllib2
page = 1
url = 'https://www.qiushibaike.com/8hr/page/' + str(page)
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
headers = { 'User-Agent' : user_agent }
try:
request = urllib2.Request(url,headers = headers)
response = urllib2.urlopen(request)
print response.read()
except urllib2.URLError, e:
if hasattr(e,"code"):
print e.code
if hasattr(e,"reason"):
print e.reason
2.关于headers验证
这个headers是用来判断网站访问这是否是通过浏览器访问的。
网上关于怎么查找headers很齐全。
这里以chrome为例:
- 在网页任意地方右击选择审查元素或者按下 shift+ctrl+c打开chrome自带的调试工具;
- 选择network标签,刷新网页(在打开调试工具的情况下刷新);
- 刷新后在左边查找该网页url(网址),点击
- 后右边选择headers,就可以看到当前网页的http头了;
- 我们用的自然是Request Headers
3.解码,正则表达式分析
解码:
利用2的代码我们可以抓取到网页的代码,但看上去似乎是一堆乱码,这个时候我们只需要将原始的读取稍微转化一下
response.read()变成response.read().decode('utf-8')
正则表达式
我们先来看原代码和原页面
content = response.read().decode('utf-8')
pattern = re.compile('<div.*?author">.*?<a.*?<img.*?>(.*?)</a>.*?<div.*?'+
'content">(.*?)<!--(.*?)-->.*?</div>(.*?)<div class="stats.*?class="number">(.*?)</i>',re.S)
items = re.findall(pattern,content)
for item in items:
print item[0],item[1],item[2],item[3],item[4]
现在正则表达式在这里稍作说明
1).*?
是一个固定的搭配,.和*代表可以匹配任意无限多个字符,加上?表示使用非贪婪模式进行匹配,也就是我们会尽可能短地做匹配,以后我们还会大量用到
.*? 的搭配。2)(.?)代表一个分组,在这个正则表达式中我们匹配了五个分组,在后面的遍历item中,item[0]就代表第一个(.?)所指代的内容,item[1]就代表第二个(.*?)所指代的内容,以此类推。
3)re.S 标志代表在匹配时为点任意匹配模式,点 . 也可以代表换行符。
这组样例没有图片:
分析(不考虑”+换行的问题)
pattern = re.compile(
'<div.*?author">.*?
<a.*?
<img.*?>(.*?)</a>.*?//发布人
<div.*?'+'content">(.*?)//内容
<!--(.*?)-->.*?//时间
</div>(.*?)<div class="stats.*?//图片内容
class="number">(.*?)</i>'#点赞数
,re.S)
糗百改版:
发布人:
- 从div class=”author”到div class=”author clearfix”
- 原来只有一个发布人的href,img后紧跟名字; 现在有两个,名字在第二个中的正文里
内容:没有改变
时间:已经删去此功能
图片:没有修改,在内容和点赞之间的thumb里
点赞数:没有修改
修改完成后的总代码是和效果图
import urllib
import urllib2
import re
page = 1
url = 'http://www.qiushibaike.com/hot/page/' + str(page)
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
headers = { 'User-Agent' : user_agent }
try:
request = urllib2.Request(url,headers = headers)
response = urllib2.urlopen(request)
content = response.read().decode('utf-8')
pattern = re.compile('<div.*?author clearfix">.*?</a>.*?>(.*?)</a>.*?'+
'<div.*?content">.*?<span>(.*?)</span>(.*?)'+
'<div class="stats.*?class="number">(.*?)</i>',re.S)
items = re.findall(pattern,content)
for item in items:
haveImg = re.search("img",item[2])
if not haveImg:
print "发布人: ",item[0],"内容:",item[1],"\n点赞数:",item[3]+'\n'
except urllib2.URLError, e:
if hasattr(e,"code"):
print e.code
if hasattr(e,"reason"):
print e.reason
4.完善交互,设计面向对象模式
照着源代码,稍微改改吧
import urllib
import urllib2
import re
import thread
import time
class QSBK:
#初始化方法,定义一些变量
def __init__(self):
self.pageIndex = 1
self.user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
#初始化headers
self.headers = { 'User-Agent' : self.user_agent }
#存放段子的变量,每一个元素是每一页的段子们
self.stories = []
#存放程序是否继续运行的变量
self.enable = False
#传入某一页的索引获得页面代码
def getPage(self,pageIndex):
try:
url = 'https://www.qiushibaike.com/8hr/page/' + str(pageIndex)
#构建请求的request
request = urllib2.Request(url,headers = self.headers)
#利用urlopen获取页面代码
response = urllib2.urlopen(request)
#将页面转化为UTF-8编码
pageCode = response.read().decode('utf-8')
return pageCode
except urllib2.URLError, e:
if hasattr(e,"reason"):
print u"连接糗事百科失败,错误原因",e.reason
return None
#传入某一页代码,返回本页不带图片的段子列表
def getPageItems(self,pageIndex):
pageCode = self.getPage(pageIndex)
if not pageCode:
print "页面加载失败...."
return None
pattern = re.compile('<div.*?author clearfix">.*?</a>.*?>(.*?)</a>.*?'+
'<div.*?content">.*?<span>(.*?)</span>(.*?)'+
'<div class="stats.*?class="number">(.*?)</i>',re.S)
items = re.findall(pattern,pageCode)
#用来存储每页的段子们
pageStories = []
#遍历正则表达式匹配的信息
for item in items:
#是否含有图片
haveImg = re.search("img",item[3])
#如果不含有图片,把它加入list中
if not haveImg:
replaceBR = re.compile('<br/>')
text = re.sub(replaceBR,"\n",item[1])
#item[0]是一个段子的发布者,item[1]是内容,item[3]是点赞数
pageStories.append([item[0].strip(),text.strip(),item[3].strip()])
return pageStories
#加载并提取页面的内容,加入到列表中
def loadPage(self):
#如果当前未看的页数少于2页,则加载新一页
if self.enable == True:
if len(self.stories) < 2:
#获取新一页
pageStories = self.getPageItems(self.pageIndex)
#将该页的段子存放到全局list中
if pageStories:
self.stories.append(pageStories)
#获取完之后页码索引加一,表示下次读取下一页
self.pageIndex += 1
#调用该方法,每次敲回车打印输出一个段子
def getOneStory(self,pageStories,page):
#遍历一页的段子
for story in pageStories:
#等待用户输入
input = raw_input()
#每当输入回车一次,判断一下是否要加载新页面
self.loadPage()
#如果输入Q则程序结束
if input == "Q":
self.enable = False
return
print u"第%d页\t发布人:%s\t赞:%s\n%s\n" %(page,story[0],story[2],story[1])
#开始方法
def start(self):
print u"正在读取糗事百科,按回车查看新段子,Q退出"
#使变量为True,程序可以正常运行
self.enable = True
#先加载一页内容
self.loadPage()
#局部变量,控制当前读到了第几页
nowPage = 0
while self.enable:
if len(self.stories)>0:
#从全局list中获取一页的段子
pageStories = self.stories[0]
#当前读到的页数加一
nowPage += 1
#将全局list中第一个元素删除,因为已经取出
del self.stories[0]
#输出该页的段子
self.getOneStory(pageStories,nowPage)
spider = QSBK()
spider.start()