python爬取贴吧数据_爬取百度贴吧数据（练习Python爬虫）

爬取百度贴吧数据（Python）

1.总代码：

from urllib.request import Request, urlopen

from urllib.parse import quote

def get_html(html):

headers = {

"User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:76.0) Gecko/20100101 Firefox/76.0"

}

request = Request(html, headers=headers)

response = urlopen(request)

return response.read().decode()

def save_html(html,filename):

with open(filename,'w',encoding='utf-8') as f:

f.write(html)

def main():

content = input("请输入想要获取哪个贴吧:")

num = int(input("请输入想要获取多少页:"))

for i in range(num):

url = 'https://tieba.baidu.com/f?fr=ala0&kw='+quote(content)+'&tpl={}'.format(i * 50)

html = get_html(url)

filename = '第'+ str(i+1) +'页.html'

save_html(html,filename)

if __name__ == '__main__':

main()

2.分步解析代码

思路：

1.爬取页面，需要有main方法作为入口，需要获取页面方法(get_html)和保存页面方法(save_html)

2.在get_html方法中设定请求头（header）以达到避免页面发现爬虫痕迹；response响应读取返回页面的html代码。

3.在save_html方法中以写的方式将爬取到的页面代码写入自定义的filename文件中

4.在main方法中接收需要的数据，在字符串拼接的过程中注意：要哪个页面（eg:百度贴吧、python）-->然后通过quote进行文字转换成指定字符串； 添加页码（以format的形式进行接收）