get案例 爬取百度贴吧

get案例


需求 爬取贴吧的数据

1.输入爬取贴吧的主题(列如 火影忍者)
2. 输入起始页和终止页(列如 3- 5)
3. 把每一页的数据保存到本地(列如 第一页.html 第二页.html)

思路

https://tieba.baidu.com/f?kw=%E7%81%AB%E5%BD%B1%E5%BF%8D%E8%80%85&&pn=0        第一页
https://tieba.baidu.com/f?kw=%E7%81%AB%E5%BD%B1%E5%BF%8D%E8%80%85&&pn=50      第二页
https://tieba.baidu.com/f?kw=%E7%81%AB%E5%BD%B1%E5%BF%8D%E8%80%85&&pn=100    第三页
https://tieba.baidu.com/f?kw=%E7%81%AB%E5%BD%B1%E5%BF%8D%E8%80%85&&pn=150    第四页
pn = (page -1) * 50
发起请求  ---->  数据
保存数据

```python
import urllib.request
import urllib.parse

#贴吧的主题
name = input('请输入贴吧的名称:')
begin = int(input('请输入起始页:'))
end = int (input('请输入终止页:'))

headers = {
	'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.183 Safari/537.36'
}

#对name进行处理
kw = {'kw': name}
result = urllib.parse.urlencode(kw)
#1 2 3 pn 0 50 150
for i in range(begin,end+1):
	pn = (i - 1) * 50
	#print(pn)
	#拼接url地址 https://tieba.baidu.com/f?kw=%E7%81%AB%E5%BD%B1%E5%BF%8D%E8%80%85&&pn=0
	base_url = 'https://tieba.baidu.com/f?'
	url = base_url + result + '&pn=' + str(pn)
	#print(url)
	#发起请求
	req = urllib.request.Request(url,headers=headers)
	res = urllib.request.urlopen(req)
	html = res.read().decode('utf-8')
	#保存数据
	filename = '第' + str(i) + '页.html'
	with open(filename,'w', encoding='utf-8') as f:
		f.write(html)


#大家好我是技术小白, 一直都在努力的路上,一直的期望是有大神带着我飞起来!!!!

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值