案例:批量爬取页面数据
首先我们创建一个python文件, tiebaSpider.py,我们要完成的是,输入一个百度贴吧的地址,比如
百度贴吧LOL吧第一页:http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=0
这个是lol吧的第一页的url地址,如果打开第二页,你会发现他的url如下:
第二页: http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=50
第三页: http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=100
- 发现规律了吧,贴吧中每个页面不同之处,就是url最后的pn的值,其余的都是一样的,我们可以抓住这个规律。
简单写一个小爬虫程序,来爬取百度LOL吧的所有网页。
- 我们已经之前写出一个爬取一个网页的代码。现在,我们可以将它封装成一个小函数loadPage,供我们使用。
def loadPage(url):
'''
通过URL请求爬取到html静态页面源代码
url:需要爬取的url地址
'''
req = urllib2.Request(url)
response = urllib2.urlopen(req)
html = response.read()
return html
- 接下来,我们写一个百度贴吧爬虫接口,我们需要传递3个参数给这个接口, 一个是我们要爬取的url地址,以及起始页码和终止页码,表示要爬取页码的范围。
def tiebaSpider(url, beginPage, endPage):
'''
百度贴吧爬虫核心程序:
url: 要爬取的url地址
beginPage: 爬虫贴吧的起始页数
endPage: 爬虫贴吧的终止页数
'''
user_agent = "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;" # IE9.0 的 User-Agent
headers = {"User-Agent":user_agent}
for i in range(beginPage, endPage+1):
pn = 50 * (i - 1)
html = loadPage(url+str(pn))
- 最后如果我们希望将爬取到了每页的信息存储在本地磁盘上,我们可以简单写一个存储文件的接口。
def writeFile(file_name, text):
'''
将字符串内容写到文件中:
file_name: 文件路径
text: 要写进的字符串
'''
print "正在存储文件" + file_name
f = open(file_name, 'w+')
f.write(text)
f.close()
- ok,接下来就是写一个main函数吧,然后提示用户输入即将爬取的百度贴吧url地址。 ( 注意 :百度贴吧最后页码” pn= “后的数字,这些数字为我们传入的页码参数,所以我们再提供的时候不能包括数字)
if __name__ == '__main__':
tiebaurl = str(raw_input('请输入贴吧的地址, 去掉pn=后面的数字:'))
beginPage = int(raw_input('请输入开始的页数'))
endPage = int(raw_input('请输入结束的页数'))
tiebaSpider(tiebaurl, beginPage, endPage)
综上, 全部代码完成。
好了,最后我们测试一下:
运行后,输入lol吧的url地址 http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn= ( 注意=号后面不要加数字,因为我们要自动添加 )
Power@PowerMac ~$ python tiebaSpider.py
请输入贴吧的地址, 去掉pn=后面的数字: http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=
请输入开始的页数5
请输入结束的页数10
正在下载第5个网页
正在存储文件5.html
正在下载第6个网页
正在存储文件6.html
正在下载第7个网页
正在存储文件7.html
正在下载第8个网页
正在存储文件8.html
正在下载第9个网页
正在存储文件9.html
正在下载第10个网页
正在存储文件10.html
总结
其实很多网站都是这样的,当前网址下会有几个html页面,分别对应网址后的网页序号。
这样一个简单的爬虫程序就可以批量获取网站页面源码,然后我们就可以从中筛选自己想要的数据信息了。