Python学习之urlib模块和urllib2模块学习

最新推荐文章于 2021-01-14 06:33:13 发布
最新推荐文章于 2021-01-14 06:33:13 发布
阅读量93 收藏
点赞数
文章标签： python json 大数据
原文链接：https://my.oschina.net/airship/blog/645783
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

            原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://john88wang.blog.51cto.com/2165294/1441495                                        

一 urlib模块

利用urllib模块可以打开任意个url。

  1. urlopen() 打开一个url返回一个文件对象，可以进行类似文件对象的操作。

In [308]: import urllib 
In [309]: file=urllib.urlopen(' 
In [310]: file.readline()
Out[310]: '<!DOCTYPE html><!--STATUS OK--><html><head><meta http-equiv="content-type" content="text/html;charset=utf-8"><meta http-equiv="X-UA-Compatible" content="IE=Edge"><link rel="dns-prefetch" href="//s1.bdstatic.com"/><link rel="dns-prefetch" href="//t1.baidu.com"/><link rel="dns-prefetch" href="//t2.baidu.com"/><link rel="dns-prefetch" href="//t3.baidu.com"/><link rel="dns-prefetch" href="//t10.baidu.com"/><link rel="dns-prefetch" href="//t11.baidu.com"/><link rel="dns-prefetch" href="//t12.baidu.com"/><link rel="dns-prefetch" href="//b1.bdstatic.com"/><title>\xe7\x99\xbe\xe5\xba\xa6\xe4\xb8


可以用read(),readlines(),fileno(),close()这些函数

In [337]: file.info()
Out[337]: <httplib.HTTPMessage instance at 0x2394a70>
 
In [338]: file.getcode()
Out[338]: 200
 
In [339]: file.geturl()
Out[339]: 'http://www.baidu.com/'

2.urlretrieve() 将url对应的html页面保存为文件

In [404]: filename=urllib.urlretrieve('http://www.baidu.com/',filename='/tmp/baidu.html')
 
In [405]: type (filename)
Out[405]: <type 'tuple'>
 
In [406]: filename[0]
Out[406]: '/tmp/baidu.html'
 
In [407]: filename
Out[407]: ('/tmp/baidu.html', <httplib.HTTPMessage instance at 0x23ba878>)
 
In [408]: filename[1]
Out[408]: <httplib.HTTPMessage instance at 0x23ba878>

3.urlcleanup()  清除由urlretrieve()产生的缓存

In [454]: filename=urllib.urlretrieve('http://www.baidu.com/',filename='/tmp/baidu.html')
 
In [455]: urllib.urlcleanup()

4.urllib.quote()和urllib.quote_plus() 将url进行编码 

In [483]: urllib.quote('http://www.baidu.com')
Out[483]: 'http%3A//www.baidu.com'
 
In [484]: urllib.quote_plus('http://www.baidu.com')
Out[484]: 'http%3A%2F%2Fwww.baidu.com'

5.urllib.unquote()和urllib.unquote_plus() 将编码后的url解码

In [514]: urllib.unquote('http%3A//www.baidu.com')
Out[514]: 'http://www.baidu.com'
 
In [515]: urllib.unquote_plus('http%3A%2F%2Fwww.baidu.com')
Out[515]: 'http://www.baidu.com'

6.urllib.urlencode() 将url中的键值对以&划分，可以结合urlopen()实现POST方法和GET方法

In [560]: import urllib 
In [561]: params=urllib.urlencode({'spam':1,'eggs':2,'bacon':0}) ]
In [562]: f=urllib.urlopen("http://python.org/query?%s" %params) 
In [563]: f.readline()
Out[563]: '<!doctype html>\n' 
In [564]: f.readlines()
Out[564]: ['<!--[if lt IE 7]>   <html class="no-js ie6 lt-ie7 lt-ie8 lt-ie9">   <![endif]-->\n',
 '<!--[if IE 7]>      <html class="no-js ie7 lt-ie8 lt-ie9">          <![endif]-->\n', 
 '<!--[if IE 8]>      <html class="no-js ie8 lt-ie9">                 <![endif]-->\n', 
 '<!--[if gt IE 8]><!--><html class="no-js" lang="en" dir="ltr">  <!--<![endif]-->\n',
  '\n',

二  urllib2模块

urllib2比urllib多了些功能，例如提供基本的认证，重定向，cookie等功能

https://docs.python.org/2/library/urllib2.html 

https://docs.python.org/2/howto/urllib2.html 

In [566]: import urllib2
 
In [567]: f=urllib2.urlopen('http://www.python.org/')
 
In [568]: print f.read(100)
--------> print(f.read(100))
<!doctype html>
<!--[if lt IE 7]>   <html class="no-js ie6 lt-ie7 lt-ie8 lt-ie9">   <![endif]-->
打开python的官网并返回头100个字节内容


HTTP基于请求和响应，客户端发送请求，服务器响应请求。urllib2使用一个Request对象代表发送的请求，调用urlopen()打开Request对象可以返回一个response对象。reponse对象是一个类似文件的对象，可以像文件一样进行操作

In [630]: import urllib2
 
In [631]: req=urllib2.Request('http://www.baidu.com')
 
In [632]: response=urllib2.urlopen(req)
 
In [633]: the_page=response.read()
 
In [634]: the_page
Out[634]: '<!DOCTYPE html><!--STATUS OK--><html><head><meta http-equiv="content-type" content="text/html;charset=utf-8"><meta http-equiv="X-UA-Compatible" content="IE=Edge"><link rel="dns-prefetch" href="//s1.bdstatic.com"/><link rel="dns-prefetch" href="//t1.baidu.com"/><link rel="dns-prefetch" href="//t2.baidu.com"/><link rel="dns-prefetch" href="//t3.baidu.


通常情况下需要向一个url以POST的方式发送数据。 
In [763]: import urllib
 
In [764]: import urllib2
 
In [765]: url='http://xxxxxx/login.php'
 
In [766]: values={'ver' : '1.7.1', 'email' : 'xxxxx', 'password' : 'xxxx', 'mac' : '111111111111'}
 
In [767]: data=urllib.urlencode(values)
 
In [768]: req=urllib2.Request(url,data)
 
In [769]: response=urllib2.urlopen(req)
 
In [770]: the_page=response.read()
 
In [771]: the_page

如果不使用urllib2.Request()发送data参数，urllib2使用GET请求，GET请求和POST请求差别在于POST请求常有副作用，POST请求会通过某些方式改变系统的状态。也可以通过GET请求发送数据。

In [55]: import urllib2
 
In [56]: import urllib
 
In [57]: url='http://xxx/login.php'
 
In [58]: values={'ver' : 'xxx', 'email' : 'xxx', 'password' : 'xxx', 'mac' : 'xxx'}
 
In [59]: data=urllib.urlencode(values)
 
In [60]: full_url=url + '?' + data
 
In [61]: the_page=urllib2.urlopen(full_url)
 
In [63]: the_page.read()
Out[63]: '{"result":0,"data":0}'

默认情况下,urllib2使用Python-urllib/2.6 表明浏览器类型，可以通过增加User-Agent HTTP头

In [107]: import urllib
 
In [108]: import urllib2
 
In [109]: url='http://xxx/login.php'
 
In [110]: user_agent='Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
 
In [111]: values={'ver' : 'xxx', 'email' : 'xxx', 'password' : 'xxx', 'mac' : 'xxxx'}
 
In [112]: headers={'User-Agent' : user_agent}
 
In [114]: data=urllib.urlencode(values)
 
In [115]: req=urllib2.Request(url,data,headers)
 
In [116]: response=urllib2.urlopen(req)
 
In [117]: the_page=response.read()
 
In [118]: the_page

当给定的url不能连接时，urlopen()将报URLError异常，当给定的url内容不能访问时，urlopen()会报HTTPError异常

#/usr/bin/python
 
from urllib2 import Request,urlopen,URLError,HTTPError
req=Request('http://10.10.41.42/index.html')
try:
   response=urlopen(req)
except HTTPError as e:
   print 'The server couldn\'t fulfill the request.'
   print 'Error code:',e.code
 
except URLError as e:
   print 'We failed to fetch a server.'
   print 'Reason:',e.reason
else:
   print "Everything is fine"

这里需要注意的是在写异常处理时，HTTPError必须要写在URLError前面

#/usr/bin/python
 
from urllib2 import Request,urlopen,URLError,HTTPError
req=Request('http://10.10.41.42')
try:
   response=urlopen(req)
 
except URLError as e:
   if hasattr(e,'reason'):
      print 'We failed to fetch a server.'
      print 'Reason:',e.reason
   elif hasattr(e,'code'):
      print 'The server couldn\'t fulfill the request.'
      print 'Error code:',e.code
else:
   print "Everything is fine"

hasattr()函数判断一个对象是否有给定的属性


使用urllib2模块登录需要基本认证的页面

登录RabbitMQ的管理页面需要进行用户名和密码验证。

In [63]: url='http://172.30.25.179:15672/api/aliveness-test/%2f'
 
In [64]: username='guest'
 
In [65]: password='guest'
 
In [66]: mgr=urllib2.HTTPPasswordMgrWithDefaultRealm()
 
In [67]: s=mgr.add_password(None,url,username,password)
 
In [68]: handler=urllib2.HTTPBasicAuthHandler(mgr)
 
In [69]: opener=urllib2.build_opener(handler)
 
In [70]: opener.open(url).read()
Out[70]: '{"status":"ok"}'
 
json.loads(opener.open(url).read())


参考文档：

https://docs.python.org/2/library/urllib2.html#module-urllib2



本文出自 “Linux SA  John” 博客，请务必保留此出处http://john88wang.blog.51cto.com/2165294/1441495


转载于:https://my.oschina.net/airship/blog/645783

weixin_33830216
关注
Python常用模块 之 urllib&&urllib3 【爬虫库】
孤寒者的博客
09-15 8万+
Python爬虫技术栈 | urllib库&&urllib3库
【python】 urllib四大模块, urllib.request+ urllib.error+ urllib.parse + urllib.robotparse
Lee_Yu_Rui的博客
08-03 1778
urllib库 urllib库是Python内置的HTTP请求库，它包含4个模块： 1.urllib.request 负责请求 http请求模块，可以用来模拟发送请求。就好比在浏览器中输入网址然后回车一样，只需要给库方法传入URL以及额外的参数，就可以模拟实现这个过程 2.urllib.error 异常处理模块 如果出现请求错误，我们可以捕捉这些异常，然后进行重试或其他操作，保证程序不会意外终止 3. urllib.parse 负责解析 个工具模块，提供了许多URL处理方法，比如拆分、解析、.
Python学习笔记__12.9章 urlib
heavyfish的博客
05-16 175
# 这是学习廖雪峰老师python教程的学习笔记1、概览urllib提供了一系列用于操作URL的功能。urllib中包括了四个模块，包括urllib.request：可以用来发送request和获取request的结果urllib.error：包含了urllib.request产生的异常urllib.parse：用来解析和处理URLurllib.robotparse：用来解析页面的robots.t...
Python:urllib 和urllib2之间的区别
weixin_33972649的博客
08-01 168
作为一个Python菜鸟，之前一直懵懂于urllib和urllib2，以为2是1的升级版。今天看到老外写的一篇《Python: difference between urllib and urllib2》才明白其中的区别。  You might be intrigued by the existence of two separate URL modules in Python -urllib ...
pip安装pkg_resources.DistributionNotFound: pip==9.0.1
行人事，知天命
04-10 3万+
执行pip命令报错Traceback (most recent call last): File "./pip", line 5, in <module> from pkg_resources import load_entry_point File "/opt/soft/distribute-0.7.3/pkg_resources.py", line 2989, in <modul
利用python爬虫(part2)–urllib.parse模块
01-20
文章目录URL地址编码模块作用常用的方法urllib.parse.utlencode({dict})urllib.parse.quote(string)编码urllib.parse.unquote(string)解码 URL地址编码模块 模块 urllib.parse 作用 对URL地址中的查询参数进行编码...
python模块urllib3.zip
03-22
使用Python 3.x版本运行py文件时报错 No module named 'urllib3' 一开始参照网上的安装方法通过pip来安装，未成功pip install urllib3 后面找到了这个文件，分享给大家。 使用方法是下载解压后，cmd里切换到解压...
python爬虫 urllib模块url编码处理详解
01-20
2.发起请求:使用urlopen函数对指定的url发起请求， 该函数返回一个响应对象，urlopen代表打开url ''' response = urllib.request.urlopen(url=url) # 3.获取响应对象中的页面数据:read函数可以获取响应对象中存储的...
Python之urlib库的基本使用（填坑）
Wang Gangdan的博客
08-18 4540
以下为个人在学习Python过程中做的笔记总结之爬虫常用库urllib 前言 urlib库为python3的HTTP内置请求库 urilib的四个模块： urllib.request:用于获取网页的响应内容 urllib.error:异常处理模块，用于处理异常的模块 urllib.parse:用于解析url urllib.robotparse:用于解析robots.txt，主要用于看哪些...
python--爬虫--获取和解析存储网页内容--以薄荷网为例
热门推荐
直到世界的尽头
04-10 4万+
如需转载请注明出处:python–爬虫–获取和解析存储网页内容–以薄荷网为例 我们在之前的文章中已经学习了如何进行数据抓包和截取 以及分析 访问网页。 例如: 抓取app数据教程–fiddler抓包数据截取-薄荷app为例 本章主要 学习怎么获取 分析出来的链接地址的内容，进行解析和进行保存。 分析网页或者手机APP请求地址 通过观察fiddler中的请求可以发现我们需要抓取的地址。 详情可参考 ...
python urllib2.urlopen()_python – 为urllib2.urlopen()遇到麻烦引发异常
weixin_33894125的博客
01-14 574
我正在使用以下代码,我无法弄清楚为什么当urlopen()失败时它不会引发异常.在我的特殊情况下,我知道为什么它失败..我的网址没有http：//在他们面前…但我想抓住这些情况,以便脚本可以继续运行我的代码而不是退出.req = urllib2.Request(link)try:url = urllib2.urlopen(req)except urllib2.URLError, e:print e...
from urllib.request import urlopen报错
gusijin的博客
09-22 3127
from urllib.request import urlopen报错环境解决方法 环境 Python 2.7.18 windows 10 解决方法 from urllib.request import urlopen报错，2.7版本的request 需要引入urllib2 from urllib2 import urlopen 安装urlopen模块包 pip install urlopen ...
如何用Python爬数据？（一）网页抓取
weixin_33933118的博客
03-03 3万+
你期待已久的Python网络数据爬虫教程来了。本文为你演示如何从网页里找到感兴趣的链接和说明文字，抓取并存储到Excel。 需求 我在公众号后台，经常可以收到读者的留言。 很多留言，是读者的疑问。只要有时间，我都会抽空尝试解答。 但是有的留言，乍看起来就不明所以了。 例如下面这个： 一分钟后，他可...
urllib和request的区别总结
tikyo772的专栏
03-13 1万+
urllib and urllib2 区别–博主提示：下面的是python2中的用法，python3需要做出相应修改。urllib和urllib2模块都做与请求URL相关的操作，但他们提供不同的功能。 urllib2.urlopen accepts an instance of the Request class or a url, （whereas urllib.urlopen only acc...
Python3 安装urllib2包之小坑
weixin_30711917的博客
12-22 708
Python3.6.6或者说python3.x找不到urllib2语法问题修改之后，会报一个没有安装urllib2的包的错误。 通过pip install urllib2也会提示找不到包。 通过pip3 install urllib2也会提示找不到包。 这是因为builtwith依赖于urllib2包。但Pyhton2中的urllib2工具包，在Python3中分拆成了url...
在python3.3后urllib2已经不能再用，全部用urllib.request来代替
x_ym的博客
02-24 1万+
把import和代码中的urllib2全部换成urllib.request，即可。可以查看网文：https://www.cnblogs.com/to-creat/p/6438280.html
深入理解urllib、urllib2及requests
didaibi1119的博客
08-11 291
urllib and urllib2 区别 –博主提示：下面的是python2中的用法，python3需要做出相应修改。 urllib和urllib2模块都做与请求URL相关的操作，但他们提供不同的功能。 urllib2.urlopen accepts an instance of the Request class or a url, （whereas...
Python学习：datetime与urllib模块详解
"这篇最新的Python学习笔记5主要涵盖了Python中处理日期和时间的datetime模块以及网络请求的urllib库。适合Python初学者进行学习和复习。" 在Python编程中，处理日期和时间的操作是非常常见的任务。datetime模块是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值