import urllib.request
import urllib.parse
url='https://tieba.baidu.com/f?'
word=input("请输入你要爬取的网页关键词:")
kw={'kw':word}
kw=urllib.parse.urlencode(kw) #转换成url编码
new_url=url+kw #拼接成完整的url
headers={'user-agent':' Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36'}
req=urllib.request.Request(new_url,headers=headers) #通过request类构造一个带有各类参数的请求对象
r=urllib.request.urlopen(req)
html=r.read().decode('UTF-8')
#使用read()方法读取获取到的网页内容,用utf-8格式进行编码
print(html)
使用urllib爬取网页(1百度贴吧)
最新推荐文章于 2024-02-02 14:05:29 发布