Python urllib模块urlopen()【打开网站,写入本地文件】与urlretrieve()【直接下载网站文件到本地】

本文介绍了Python的urllib模块中的urlopen()方法和urlretrieve()方法。urlopen()用于打开远程URL并返回类文件对象,可进行读取等操作;urlretrieve()则直接将远程数据下载到本地。通过示例代码展示了如何使用这两个方法,包括下载网页内容并保存到本地文件,以及显示下载进度。
摘要由CSDN通过智能技术生成

1.urlopen()方法
urllib.urlopen(url[, data[, proxies]]) :创建一个表示远程url的类文件对象,然后像本地文件一样操作这个类文件对象来获取远程数据。
参数url表示远程数据的路径,一般是网址;
参数data表示以post方式提交到url的数据(玩过web的人应该知道提交数据的两种方式:post与get。如果你不清楚,也不必太在意,一般情况下很少用到这个参数);
参数proxies用于设置代理。
urlopen返回 一个类文件对象,它提供了如下方法:
read() , readline() , readlines() , fileno() , close() :这些方法的使用方式与文件对象完全一样;
info():返回一个httplib.HTTPMessage 对象,表示远程服务器返回的头信息
getcode():返回Http状态码。如果是http请求,200表示请求成功完成;404表示网址未找到;
geturl():返回请求的url;
代码示例:
复制代码 代码如下:

import urllib

url = "http://www.baidu.com/"

#urlopen()
sock = urllib.urlopen(url)
htmlCode = sock.read()
sock.cl
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
`urlopen`是Python标准库中用于打开URL的函数。在Python3中,它可以通过`urllib.request.urlopen()`来调用。 如果你遇到了`urlopen`报错的问题,以下是一些可能的解决方法: 1. 检查URL是否正确:首先确保你要打开URL是正确的。如果URL不存在或无法访问,那么`urlopen`函数将会报错。 2. 检查网络连接:如果你的网络连接不稳定或中断,那么`urlopen`函数也会报错。确保你的网络连接正常。 3. 添加User-Agent:有些网站需要在请求头中添加User-Agent才能访问。你可以通过在`urllib.request.Request`中添加headers参数来添加User-Agent。示例代码如下: ```python import urllib.request url = "http://www.example.com" req = urllib.request.Request(url, headers={'User-Agent': 'Mozilla/5.0'}) response = urllib.request.urlopen(req) ``` 4. 添加超时时间:如果请求时间过长,那么`urlopen`函数也会报错。你可以通过在`urlopen`函数中添加timeout参数来设置超时时间。示例代码如下: ```python import urllib.request url = "http://www.example.com" response = urllib.request.urlopen(url, timeout=5) ``` 5. 检查代理设置:如果你使用了代理服务器来访问网站,那么请确保代理设置正确。你可以通过在`urllib.request.ProxyHandler`中指定代理服务器来设置代理。示例代码如下: ```python import urllib.request proxy_handler = urllib.request.ProxyHandler({'http': 'http://www.example.com:8080/'}) opener = urllib.request.build_opener(proxy_handler) response = opener.open('http://www.example.com') ``` 希望以上方法能帮助你解决`urlopen`报错的问题。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值