java 爬虫 百度贴吧_实现任意百度贴吧的爬虫

目标：爬取任意贴吧下前50页，并保存到本地

观察贴吧网页逻辑类型

LOL吧首页.png

李毅吧首页.png

LOL2.png

LOL3.png

1.前两张图片分别是LOL吧首页，李毅吧的首页，对比发现：

当我们搜索不同的贴吧时，我们看到只有网址kw后边的参数有变化，此处参数表示不同的吧名。

2.后两张图片分别是LOL吧第二页和第三页的信息，对比发现：

代表页码的参数是pn后边的参数，以50的倍数增加。

编辑代码

import requests

class TiebaSpider:

def __init__(self,tieba_name):

self.tieba_name = tieba_name

self.url_temp = "https://tieba.baidu.com/f?kw="+tieba_name+"&ie=utf-8&pn={}"

self.headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:68.0) Gecko/20100101 Firefox/68.0"}

def get_url_list(self):

url_list = []

for i in range(1000):

url_list.append(self.url_temp.format(i*50))

return url_list

def parse_url(self,url): #发送请求，获取回应

response = requests.get(url,headers=self.headers)

return response.content.decode()

def save_html(self,html_str,page_num): #保存HTML字符串

file_path = "{}-第{}页.html".format(self.tieba_name,page_num)

with open("", "")as f: #"lol-第x页.html"

f.write(html_str)

def run(self): #实现逻辑

#1.构造url列表

url_list = self.get_url_list()

#2.遍历，发送请求，获取响应

for url in url_list:

html_str = self.parse_url(url)

#3.保存

#3.保存

page_num = url_list.index(url)+i #页码数

self.save_html(html_str,page_num)

if__name___ == '__name__':

tieba_spider = TiebaSpider("lol")

tieba_spider.run()