如何给urllib.request.urlretrieve 添加UserAgent?

最新推荐文章于 2023-06-10 18:59:23 发布

圈圈山顶洞人

最新推荐文章于 2023-06-10 18:59:23 发布

阅读量5.3k

点赞数 4

分类专栏：爬虫文章标签：爬虫 urllib.request.urlretrieve 添加UserAgent

本文链接：https://blog.csdn.net/sddr_circle/article/details/82688791

版权

爬虫专栏收录该内容

1 篇文章 0 订阅

订阅专栏

使用urllib.request.urlretrieve，有时需要添加UserAgent,这里提供一种变通的方法：

opener = urllib.request.build_opener()
opener.addheaders = [('User-agent', 'Opera/9.80 (Android 2.3.4; Linux; Opera Mobi/build-1107180945; U; en-GB) Presto/2.8.149 Version/11.10')]
urllib.request.install_opener(opener)
urllib.request.urlretrieve(URL, path)   #path为本地保存路径

使用这个方法，成功给urllib.request.urlretrieve添加headers。

参考文章：https://stackoverflow.com/questions/2364593/urlretrieve-and-user-agent-python