Python爬虫——Get请求示例

最新推荐文章于 2024-07-24 10:38:58 发布

SmoMark

最新推荐文章于 2024-07-24 10:38:58 发布

阅读量453

点赞数

分类专栏： Python 文章标签： Python Get urllib 爬虫

本文链接：https://blog.csdn.net/m0_37770300/article/details/81272381

版权

Python 专栏收录该内容

9 篇文章 0 订阅

订阅专栏

Python爬虫——Get请求示例

本文使用的版本为Python3，使用的IDE为Pycharm

模仿百度搜索

from urllib import request

# 伪装成浏览器
headers = ("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36")
opener = request.build_opener()
opener.addheaders = [headers]
request.install_opener(opener)

url = "https://www.baidu.com/s?wd="
# 搜索关键字
key = "中国"
# 对中文进行编码
key_code = request.quote(key)
# 完整的请求链接
url_all = url + key_code
# 保存结果
response = request.urlretrieve(url_all, filename="D:\\中国.html")