python 爬百度贴吧

最新推荐文章于 2024-10-11 17:30:36 发布

qq_37109597

最新推荐文章于 2024-10-11 17:30:36 发布

阅读量32

点赞数

文章标签： python dubbo 开发语言

本文链接：https://blog.csdn.net/qq_37109597/article/details/132961728

版权

import urllib.request
import urllib.parse
url="https://tieba.baidu.com/f"
word=input("请输入要爬的贴吧")
#将贴吧名称变成url码
word=urllib.parse.quote(word)
#完整输入贴吧链接
newUrl=url+"?ie=utf-8&kw="+word
print(newUrl)
ua_headers= {"User-Agent" : "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11"}

#对网站提出请求
req=urllib.request.Request(newUrl,headers=ua_headers)
#获取网站数据
req1=urllib.request.urlopen(req)
#读取数据，一定要加上编码格式
html=req1.read().decode("utf-8")
print(html)