#这里调用的是requests模块
import requests
class TiebaSpider(): #定义一个TiebaSpider类
def __init__(self,tieba_name):
#定义贴吧名字
self.tieba_name=tieba_name
#组合得到要爬取的url
self.url_temp="https://tieba.baidu.com/f?kw="+tieba_name+'&ie=utf-8&pn={}'
#模拟请求头
self.headers={'User-Agent':'Mozilla/5.0'}
def get_url_list(self):#1.1根据调用的方法以及赋参,获得要爬取的url列表
return [self.url_temp.format(i*50) for i in range(1000)]
def parse_url(self,url):
print(url)#打印列表中的每个url
response=requests.get(url=url,headers=self.headers)#根据url,headers发送get请求
return response.content.decode()#对获得的响应进行解码
def save_html(self,html_str,page_num):#保存获得的url页面
file_path='{}--第{}页.html'.format(self.tieba_name,page_num)
with open (file_path,'w',encoding='utf-8')as f:
#文件名为file_path,'w'方式写入,定义了编码格式为utf-8,可以避免乱码
f.write(html_str)
def run(self):
#1.构造url列表(调用get_url_list方法)
url_list=self.get_url_list()
#2.对url列表进行遍历,发送请求,获取响应
for url in url_list:
#2.1调用parse_url方法,对获得的url地址发送get请求
html_str=self.parse_url(url)
#2.2对每个url请求得到的页面,进行编码排序
page_num=url_list.index(url)+1
#2.3简单保存爬取得到的贴吧数据
self.save_html(html_str,page_num)
if __name__ == '__main__':
ba_name=input('请输入要查询的贴吧名:')
#调用TiebaSpider这个类,并赋参ba_name
tieba_spider=TiebaSpider(ba_name)
#再调用run方法
tieba_spider.run()
爬取百度贴吧
最新推荐文章于 2021-01-30 11:54:02 发布