python批量获取百度贴吧_python网络爬虫案例：批量爬取百度贴吧页面数据

⾸先我们创建⼀个 python⽂件, tiebaSpider.py，我们要完成的是，输⼊⼀个百度贴吧的地址，⽐如：

发现规律了吧，贴吧中每个⻚⾯不同之处，就是 url 最后的 pn 的值，其余的都是⼀样的，我们可以抓住这个规律。

1、简单写⼀个⼩爬⾍程序，来爬取百度 LOL 吧的所有⽹⻚

我们已经之前写出⼀个爬取⼀个⽹⻚的代码。现在，我们可以将它封装成⼀个⼩函数 loadPage，供我们使⽤。

def loadPage(url):

'''

'''

通过 URL 请求爬取到 html 静态⻚⾯源代码

url：需要爬取的 url 地址

req = urllib2.Request(url)

response = urllib2.urlopen(req)

html = response.read()

return html

复制代码

接下来，我们写⼀个百度贴吧爬⾍接⼝，我们需要传递 3 个参数给这个接⼝， ⼀个是我们要爬取的 url 地址，以及起始⻚码和终⽌⻚码，表示要爬取⻚码的范围。

def tiebaSpider(url, beginPage, endPage):

'''

'''

百度贴吧爬⾍核⼼程序：

url: 要爬取的 url 地址

beginPage: 爬⾍贴吧的起始⻚数

endPage: 爬⾍贴吧的终⽌⻚数

user_agent = "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1

; Trident/5.0;" # IE9.0 的 User-Agent

headers = {"User-Agent":user_agent}

for i in range(beginPage, endPage+1):

pn = 50 * (i - 1)

html = loadPage(url+str(pn))

复制代码

最后如果我们希望将爬取到了每⻚的信息存储在本地磁盘上，我们可以简单写⼀个存储⽂件的接⼝。

def writeFile(file_name, text):

'''

'''

将字符串内容写到⽂件中:

file_name: ⽂件路径

text: 要写进的字符串

print "正在存储⽂件" + file_name

f = open(file_name, 'w+')

f.write(text)

f.close()

复制代码

ok，接下来就是写⼀个 main 函数吧，然后提示⽤户输⼊即将爬取的百度贴吧 url 地址。 ( 注意 ：百度贴吧最后⻚码” pn= “后的数字，这些数字为我们传⼊的⻚码参数，所以我们再提供的时候不能包括数字)

if name == ' main ':

tiebaurl = str(raw_input('请输⼊贴吧的地址, 去掉 pn=后⾯的数字:'))

beginPage = int(raw_input('请输⼊开始的⻚数'))

endPage = int(raw_input('请输⼊结束的⻚数'))

tiebaSpider(tiebaurl, beginPage, endPage)

复制代码

综上, 全部代码完成。好了，最后我们测试⼀下。

2、爬虫代码测试

运⾏后，输⼊lol 吧的 url 地址 tieba.baidu.com/f?kw=l... ( 注意=号后⾯不要加数字，因为我们要⾃动添加 )

Power@PowerMac ~$ python tiebaSpider.py

请输⼊贴吧的地址, 去掉 pn=后⾯的数字: http://tieba.baidu.com/f?kw=lol&i

e=utf-8&pn=

请输⼊开始的⻚数 5 请输⼊结束

的⻚数 10

正在下载第 5 个⽹⻚

正在存储⽂件 5.html 正

在下载第 6 个⽹⻚ 正在

存储⽂件 6.html 正在下

载第 7 个⽹⻚ 正在存储

⽂件 7.html 正在下载第

8 个⽹⻚ 正在存储⽂件

8.html 正在下载第 9 个

⽹⻚ 正在存储⽂件

9.html 正在下载第 10

个⽹⻚ 正在存储⽂件

10.html

复制代码

3、总结

其实很多⽹站都是这样的，当前⽹址下会有⼏个 html⻚⾯，分别对应⽹址后的⽹⻚序号。

这样⼀个简单的爬⾍程序就可以批量获取⽹站⻚⾯源码，然后我们就可以从中筛选⾃⼰想要的数据信息了。

点击获取全套python爬虫视频教程，从爬虫基础到高级项目实战教程，非常值得零基础的人学习爬虫，理论+项目实践，终成爬虫大神。