Python爬虫——urllib下载和订制请求对象

已于 2022-07-13 14:02:02 修改
阅读量979 收藏 1
点赞数 1
分类专栏： python 文章标签： python 爬虫 user-agent
于 2022-07-13 11:46:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wpc2018/article/details/125760761
版权

文章目录

Python爬虫——urllib下载和订制请求对象

1、urllib下载资源

下载资源使用urllib.request模块的urlretrieve()方法，

urllib.request.urlretrieve()：将URL对应的互联网资源下载到本地。

import urllib.request

# 下载网页
url_page = 'http://www.baidu.com'
urllib.request.urlretrieve(url_page,'baidu.html')

#下载图片
url_picture = 'https://picsum.photos/id/1000/200/300'
urllib.request.urlretrieve(url_picture,'pic1.jpg')

#下载视频
url_mp4 = 'https://vd2.bdstatic.com/mda-jkn0avce7k4ksr1x/sc/mda-jkn0avce7k4ksr1x.mp4?v_from_s=hkapp-haokan-hnb&auth_key=1657679260-0-0-7e2648f86a186404108f974b0d2aae03&bcevod_channel=searchbox_feed&pd=1&cd=0&pt=3&logid=3460060765&vid=14392644018648491043&abtest=103455_2&klogid=3460060765'
urllib.request.urlretrieve(url_mp4,'scenery.mp4')

2、定制请求

绝大多数网站都具备一定程度的反爬能力，禁止网络爬虫程序大量地访问网站资源，以免给网站服务器带来压力，

User-Agent（用户代理） 就是反爬策略的其中一种，很多网站都会对请求头Headers的User-Agent进行检测。

用不同的浏览器在发送请求的时候，会有不同的User-Agent头：

系统浏览器User-Agent字符串
MacChromeMozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.75 Safari/537.36
MacFirefoxMozilla/5.0 (Macintosh; Intel Mac OS X 10.12; rv:65.0) Gecko/20100101 Firefox/65.0
MacSafariMozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/12.0.3 Safari/605.1.15
WindowsEdgeMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36 Edge/18.17763
WindowsIEMozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko
WindowsChromeMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36
iOSChromeMozilla/5.0 (iPhone; CPU iPhone OS 7_0_4 like Mac OS X) AppleWebKit/537.51.1 (KHTML, like Gecko) CriOS/31.0.1650.18 Mobile/11B554a Safari/8536.25
iOSSafariMozilla/5.0 (iPhone; CPU iPhone OS 8_3 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12F70 Safari/600.1.4
AndroidChromeMozilla/5.0 (Linux; Android 4.2.1; M040 Build/JOP40D) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.59 Mobile Safari/537.36
AndroidWebkitMozilla/5.0 (Linux; U; Android 4.4.4; zh-cn; M351 Build/KTU84P) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30

查看本机的浏览器版本和User-Agent信息：https://useragent.buyaocha.com/

urllib.request模块默认使用的User-Agent为：Python-urllib/x.y（x和y是Python主版本和次版本号，例如Python-urllib/3.7）

使用默认request请求访问网站资源：

import urllib.request
# https请求协议
url_page = 'https://www.baidu.com'
response = urllib.request.urlopen(url_page)
content = response.read().decode('UTF-8')
print(content)

执行结果：网站通过识别请求头中 User-Agent 信息来判断是否是爬虫访问网站，如果爬虫被识别就无法获取到网站数据

<html>
<head>
	<script>
		location.replace(location.href.replace("https://","http://"));
	</script>
</head>
<body>
	<noscript><meta http-equiv="refresh" content="0;url=http://www.baidu.com/"></noscript>
</body>
</html>

定制请求：Request()

Request()：创建一个Request对象来作为urllib.request.urlopen()的参数

参数说明：

  • url参数：请求的URL地址

  • data（默认为空）：访问URL时要提交的数据，同时HTTP请求将从“GET”方式改为“POST”方式

  • headers（默认为空）：是一个字典，包含了需要发送的HTTP请求头的键值对

import urllib.request

url_page = 'https://www.baidu.com'

# 获得User-Agent，伪装成SLBrowser浏览器访问网站
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36 SLBrowser/8.0.0.5261 SLBChan/10'}
#重构请求头，根据参数顺序使用关键字传承的方式传参，
request = urllib.request.Request(url=url_page,headers=headers)
response = urllib.request.urlopen(request)
content = response.read().decode('UTF-8')
print(content)

执行结果：破解了网站通过识别 User-Agent 来反爬虫程序的手段，成功获取到网站首页

在这里插入图片描述

万里顾—程
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
python爬虫 urllib模块发起post请求过程解析
09-18
主要介绍了python爬虫 urllib模块发起post请求过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
python爬虫之urllib3的使用示例
09-20
主要介绍了 python爬虫之urllib3的使用示例，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
python urllib下载视频、图片、网页
最新发布
zengliguang的专栏
05-04 309
在Python中，urllib库是一个用于处理URLs的模块，它允许你下载网页、图片和视频等内容。以下是如何使用。
Python和urllib库下载网页内容
weixin_73725158的博客
11-01 116
首先我们需要导入urllib库，然后使用urllib库的urlopen()函数来打开网页。urlopen()函数的第一个参数是需要下载的网页的URL，第二个参数是服务器的URL和端口。然后我们需要读取网页的内容。我们可以使用urlopen()函数的read()方法来读取网页的HTML代码。最后，我们可以将读取的HTML代码打印出来，以查看我们是否成功下载了网页的内容。，这个代码可能需要根据你的具体需求进行一些修改。
urllib库下载网页源码，图片，视频测试
flysh05的专栏
11-27 1556
测试代码：import urllib.request  # 导入库# urlurl_page ='http://www.baidu.com'下载网页源码# 下载网页的HTML文件urllib.request.urlretrieve(url_page, 'baidu.html')执行上代码后，就成功下在了百度网页的源码。打开这个baidu.html 下载图片找到网页图片地址的url后，就可以下载图片了。这里只是演示，打开一个网址，找到一个图片，鼠标右键，复制图片地址。# 下载图片url_i
python下载文件的三种方法
Python热爱者的博客
05-17 8212
Python开发中时长遇到要下载文件的情况，最常用的方法就是通过Http利用urllib或者urllib2模块，此外Python还提供了另外一种方法requests。看起来使用urllib最为简单，一句语句即可。
python 根据url下载文件使用Python实现
weixin_19970108018的博客
09-14 745
示例示例Python可以使用urllib库来下载文件。下面是一个示例代码：上面的代码将从URL指定的地址下载文件，并将其保存到当前目录的“file.zip”文件中。上面的代码将从URL指定的地址下载文件，并将其保存到当前目录的“file.zip”文件中。Python可以使用urllib库来下载文件。
python使用urlretrieve并添加header下载文件
博客
11-05 4155
import urllib print "downloading with urllib" url = 'http://www.pythontab.com/test/demo.zip' urllib.urlretrieve(url, "demo.zip") print('download done.') 参考链接：python下载文件的三种方法 ...
urllib下载
m0_74462339的博客
04-28 164
注意：pycharm是没有mp4播放器的，可以通过打开windows的文件管理器来打开这个mp4文件。一个参数url_video为下载视频的地址，第二个参数为视频的名字。第一个参数url_img为下载图片的地址，第二个参数为图片的名字。第一个参数url_page为下载网页的地址，第二个参数为文件名。运行成功后，项目文件会出现'胡彦斌.jpg'运行成功后，项目文件会出现'视频.mp4'
python学习之urllib下载文件
越过山丘
07-09 8783
urllib库 #urlretrieve 导入 import urllib.request urlretrieve方法 ------------------------#直接将远程数据下载到本地 路径：path = "D:\\"+name+".MP3" u...
Python爬虫之urllib库
12-22
值得注意的是，在Python2中，有urllib和urllib2两个库来实现请求的发送。但在Python3中，就只有urllib库了。由于现在普遍流行只用Python3了，所以了解urllib库就行了。查看Python源文件知道urllib库包括5个模块，...
urllib3-1.23.tar
10-08
Urllib3是一个功能强大，条理清晰，用于HTTP客户端的Python库，许多Python的原生系统已经开始使用urllib3。Urllib3提供了很多python标准库里所没有的重要特性
Python urllib urllib模块
02-25
Python urllib urllib2 urllib模块
python爬虫实例——基于BeautifulSoup与urllib.request
08-12
总之，理解并掌握`urllib.request`和`BeautifulSoup`的使用是Python爬虫初学者的基础课。通过实践这样的实例，你可以更深入地了解网络请求的原理，学习如何解析和提取HTML中的有用信息，从而为后续更复杂的爬虫项目...
urllib爬取图片
Relievedz的博客
05-06 820
下面是一个示例代码，它可以获取指定URL的页面源代码，并下载其中的所有图片到本地。import re# 获取页面源代码# 使用正则表达式匹配图片链接src="(.*?)"')# 下载图片并保存到本地在上面的代码中，我们使用了正则表达式匹配了所有img标签中的src属性值，然后使用urlretrieve来将每张图片下载下来并保存在当前目录下。
Python爬取文件的11种方式
琦的博客
05-11 1万+
Python下载文件的11种方式 本文将讲述使用不同的Python模块从web下载文件。说是下载其实就是爬虫啦！！！ 废话不多开始正题 使用Requests 你可以使用requests模块从一个URL下载文件。 import requests url='https://ss3.bdstatic.com/70cFv8Sh_Q1YnxGkpoWK1HF6hhy/it/u=1618309945,4014036594&fm=26&gp=0.jpg' myfile=requests.get(url)
使用urllib库的urlretrieve()方法下载网络文件到本地
Money多多
01-08 4663
概述 见源码 源码 # !/usr/bin/env python # -*- coding:utf-8 -*- """ 图片(文件)下载,核心方法是 urllib.urlrequest 模块的 urlretrieve()方法 urlretrieve(url, filename=None, reporthook=None, data=None) url: 文件u
python urllib2 下载文件_Python实现HTTP协议下的文件下载方法总结
weixin_39791349的博客
01-28 585
本文介绍了几种常用的python下载文件的方法，具体使用到了htttplib2，urllib等包，希望对大家有帮忙。1.简单文件下载使用htttplib2，具体代码如下： h = httplib2.Http()url = 'https://www.jb51.net/ip.zip'resp, content = h.request(url)if resp['status'] == '200':wit...
python3 下载文件urllib使用
热门推荐
04-27 1万+
第一python3没有urllib2模块了 urllib2.urlopen(url[,data[,timeout]]).read().decode("UTF8") 下载 urllib.urlretrieve(url[,fileName[,reporthook[,data]]])
python爬虫教程urllib
09-08
- *2* [Python爬虫 —— urllib库的使用（get/post请求+模拟超时/浏览器）](https://blog.csdn.net/qq_50587771/article/details/123840479)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630",...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

万里顾—程

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值