python百度贴吧爬虫总体设计_爬虫爬取百度贴吧(python)

以往编写的一个爬取百度贴吧的小爬虫，发布出来，供大家参考。

本爬虫是在pycharm中编写完成，服务器环境是ubuntu16.04，使用语言是python3，导入的模块包是requests模块

# 导入模块

import requests

# 定义百度贴吧爬虫类

class TiebaSpider(object):

def __init__(self):

self.base_url = 'http://tieba.baidu.com/f'

self.headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko"}

self.tieba_name = input('请输入贴吧名字：')

self.start_page = int(input('请输入开始页数：'))

self.end_page = int(input('请输入结束页数：'))

# 1.发送请求,获得数据

def send_request(self,tieba_params):

response = requests.get(self.base_url,headers=self.headers,params=tieba_params)

data = response.content

return data

# 2.保存数据

def write_file(self,data,page):

# 设置路径页数

file_path = '/home/python/PycharmProjects/scrapy_demo/Tieba/' + str(page) + '.html'

# 打印正在抓取的页数,使用format拼接打印正在抓取的页数

print('正在抓取第{}页'.format(page))

with open(file_path,'wb') as f:

f.write(data)

# 3.调度任务

def run(self):

# 循环爬取数据

for page in range(self.start_page,self.end_page+1):

# 1.拼接数据

tieba_params = {

"kw": self.tieba_name,

# 确定页数

"pn": (page - 1)*50

}

# 2.发送请求

data = self.send_request(tieba_params)

# 3.保存数据

self.write_file(data,page)

if __name__ == '__main__':

# 实例化对象

tool = TiebaSpider()

# 调用run方法

tool.run()

在编写调试过程中，出现了几个问题，现列举如下

错误问题：

1.爬取网页时url 填写http开头，而不是填写https开头

2. User-Agent不对(之前一直提取不出来数据，还以为是爬虫哪里写错了，后来查找发现是设置的U-A有问题，换了一个U-A就能将数据爬取出来了)，也会提取不出来数据

3.路径要选择正确，不要写错了，例如 with open('file_path','wb')是错误的， with open(file_path,'wb')才是正确的