Python爬虫(一)：urllib库详解

最新推荐文章于 2024-07-10 21:29:41 发布
最新推荐文章于 2024-07-10 21:29:41 发布
阅读量392 收藏 2
点赞数
文章标签： Python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36833171/article/details/97389615
版权

urllib的使用

urllib是Python内置的HTTP请求库

包括：

  • urlib.request : 请求模块
  • urlib.error : 异常处理
  • urlib.parse url : URL解析
  • urllib.robotparser ：robots.txt解析模块

一个基本的请求

# 导入urllib库
import urllib.request

# 打开URL链接，存入response
response = urllib.request.urlopen('http://www.baidu.com')

# 结果为：<http.client.HTTPResponse object at 0x000001387150CC08>
print(response)

# read() 函数获取网页内容
print(response.read())

# decode()设置编码集
print(response.read().decode('utf-8'))

data参数的使用

import urllib.parse
import urllib.request

# bytes(urllib.parse.urlencode())：可以将post数据进行转换放到urllib.request.urlopen的data参数中
data = bytes(urllib.parse.urlencode({'word':'hello'}),encoding='utf-8')
print(data) # b'word=hello'
response = urllib.request.urlopen('http://httpbin.org/post',data=data)

# 打印请求接受的参数
print(response.read().decode('utf-8'))

timeout的使用

timeout：设定程序超时的时间

import urllib.request

# timeout程序超时时间设定
response = urllib.request.urlopen('http://httpbin.org/get',timeout=0.3)
print(response.read().decode('utf-8'))

如果设置为0.1就会报错，

Traceback (most recent call last):
  File "C:\Users\10218\AppData\Local\Programs\Python\Python37\lib\urllib\request.py", line 1317, in do_open
    encode_chunked=req.has_header('Transfer-encoding'))
  File "C:\Users\10218\AppData\Local\Programs\Python\Python37\lib\http\client.py", line 1244, in request
    self._send_request(method, url, body, headers, encode_chunked)
  File "C:\Users\10218\AppData\Local\Programs\Python\Python37\lib\http\client.py", line 1290, in _send_request
    self.endheaders(body, encode_chunked=encode_chunked)

    ...

对异常进行抓取

import socket
import urllib.request
import urllib.error

# timeout程序超时时间设定
try:
    response = urllib.request.urlopen('http://httpbin.org/get',timeout=0.1)
except urllib.error.URLError as e:
    # isinstance：判读对象是否为已知的类型
    if isinstance(e.reason,socket.timeout):
        print('Time Out')

request

设置Headers

from urllib import request,parse

url = 'http://httpbin.org/post'
headers = {
    'User-Agent': 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)',
    'Host': 'httpbin.org'
}

dict = {
    'name': 'zhangsan'
}

data = bytes(parse.urlencode(dict),encoding='utf-8')
req = request.Request(url=url, data=data, headers=headers, method='POST')
response = request.urlopen(req)
print(response.read().decode('utf-8'))

result：

{
  "args": {}, 
  "data": "", 
  "files": {}, 
  "form": {
    "name": "zhangsan"
  }, 
  "headers": {
    "Accept-Encoding": "identity", 
    "Content-Length": "13", 
    "Content-Type": "application/x-www-form-urlencoded", 
    "Host": "httpbin.org", 
    "User-Agent": "Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)"
  }, 
  "json": null, 
  "origin": "111.227.172.92, 111.227.172.92", 
  "url": "https://httpbin.org/post"
}

第二种方式

from urllib import request, parse

url = 'http://httpbin.org/post'
dict = {
    'name': 'Germey'
}
data = bytes(parse.urlencode(dict), encoding='utf8')
req = request.Request(url=url, data=data, method='POST')
req.add_header('User-Agent', 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)')
response = request.urlopen(req)
print(response.read().decode('utf-8'))

ProxyHandler代理

import urllib.request

import urllib.request

# 设置代理地址:urllib.request.ProxyHandler
proxy_handler = urllib.request.ProxyHandler({
    'http': 'http://127.0.0.1:9743',
    'https': 'https://127.0.0.1:9743'
})
opener = urllib.request.build_opener(proxy_handler)
response = opener.open('http://httpbin.org/get')
print(response.read())

cookie,HTTPCookiProcessor

import http.cookiejar, urllib.request
cookie = http.cookiejar.CookieJar()
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
response = opener.open('http://www.baidu.com')

for item in cookie:
    print(item.name+"="+item.value)

result:

BAIDUID=B847E5C816CFA63FE58503419CEEC741:FG=1
BIDUPSID=B847E5C816CFA63FE58503419CEEC741
H_PS_PSSID=1465_21097_29519_28519_29098_29567_28830_29221_29460_29588
PSTM=1564109868
delPer=0
BDSVRTM=0
BD_HOME=0

如果想要保存cookie到本地，可以使用http.cookiejar.MozillaCookieJar和http.cookiejar.LWPCookieJar()

http.cookiejar.MozillaCookieJar()方式

import http.cookiejar, urllib.request
filename = "cookie.txt"
cookie = http.cookiejar.MozillaCookieJar(filename)
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
response = opener.open('http://www.baidu.com')
cookie.save(ignore_discard=True, ignore_expires=True)

http.cookiejar.LWPCookieJar()方式

import http.cookiejar, urllib.request
filename = 'cookie.txt'
cookie = http.cookiejar.MozillaCookieJar(filename)
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
response = opener.open('http://www.baidu.com')
# save()函数带有两个参数，ignore_discard和ignore_expires。
# ignore_discard:  即保存需要被丢弃的cookie。
# ignore_expires:  即过期的cookie也保存。
cookie.save(ignore_discard=True,ignore_expires=True)

result:

# Netscape HTTP Cookie File
# http://curl.haxx.se/rfc/cookie_spec.html
# This is a generated file!  Do not edit.

.baidu.com	TRUE	/	FALSE	3711594182	BAIDUID	42B07E3E284A3F95EE69D8D8FF10F975:FG=1
.baidu.com	TRUE	/	FALSE	3711594182	BIDUPSID	42B07E3E284A3F95EE69D8D8FF10F975
.baidu.com	TRUE	/	FALSE		H_PS_PSSID	1451_21095_18560_29520_28519_29098_29567_28839_29221_26350
.baidu.com	TRUE	/	FALSE	3711594182	PSTM	1564110535
.baidu.com	TRUE	/	FALSE		delPer	0
www.baidu.com	FALSE	/	FALSE		BDSVRTM	0
www.baidu.com	FALSE	/	FALSE		BD_HOME	0

异常处理

example：

from urllib import request,error

try:
    response = request.urlopen("http://pythonsite.com/1111.html")
except error.URLError as e:
    print(e.reason)

# result: Not Found

URLError：reason
HTTPError有三个属性：reason，code，headers，是URLError的子类

from urllib import request,error
try:
    response = request.urlopen("http://pythonsite.com/1111.html")
except error.HTTPError as e:
    print(e.reason)
    print(e.code)
    print(e.headers)
except error.URLError as e:
    print(e.reason)

else:
    print("reqeust successfully")

对e.reason进行改进

import socket

from urllib import error,request

try:
    response = request.urlopen("http://www.pythonsite.com/",timeout=0.001)
except error.URLError as e:
    print(type(e.reason))
    if isinstance(e.reason,socket.timeout):
        print("time out")

URL解析

urlparse

The URL parsing functions focus on splitting a URL string into its components, or on combining URL components into a URL string.

urllib.parse.urlparse(urlstring, scheme=’’, allow_fragments=True)

from urllib.parse import urlparse

# 将URL结果返回为一个URL字符串,进行拆分
result = urlparse("http://www.baidu.com/index.html;user?id=5#comment")
print(result)   # ParseResult(scheme='http', netloc='www.baidu.com', path='/index.html', params='user', query='id=5', fragment='comment')
urlunpars

与urlparse相反，他用于拼接URL

from urllib.parse import urlunparse

data = ['http','www.baidu.com','index.html','user','a=123','commit']
print(urlunparse(data)) # http://www.baidu.com/index.html;user?a=123#commit
urljoin

直接拼接URL字符串

from urllib.parse import urljoin

print(urljoin('http://www.baidu.com', 'FAQ.html'))
print(urljoin('http://www.baidu.com', 'https://pythonsite.com/FAQ.html'))
print(urljoin('http://www.baidu.com/about.html', 'https://pythonsite.com/FAQ.html'))
print(urljoin('http://www.baidu.com/about.html', 'https://pythonsite.com/FAQ.html?question=2'))
print(urljoin('http://www.baidu.com?wd=abc', 'https://pythonsite.com/index.php'))
print(urljoin('http://www.baidu.com', '?category=2#comment'))
print(urljoin('www.baidu.com', '?category=2#comment'))
print(urljoin('www.baidu.com#comment', '?category=2')

result:

http://www.baidu.com/FAQ.html
https://pythonsite.com/FAQ.html
https://pythonsite.com/FAQ.html
https://pythonsite.com/FAQ.html?question=2
https://pythonsite.com/index.php
http://www.baidu.com?category=2#comment
www.baidu.com?category=2#comment
www.baidu.com?category=2
urlencode

用于将字典转换为URL

from urllib.parse import urlencode

params = {
    "name":"zhaofan",
    "age":23
}

base_url = "http://www.baidu.com?"

url = base_url+urlencode(params)

print(url)

总结：

urllib.request 负责处理请求

请求参数:

  • data参数：有data参数；则是POST请求，无data参数，则是get请求
  • timeout参数
设置请求头

通过 request.Request可以处理设置请求URL、请求data参数、请求头，请求方式

通过req.add_header可以设置请求头

ProxyHandler负责代理
Cookie

cookie,HTTPCookiProcessor可以保存Cookie信息

利用http.cookiejar.MozillaCookieJar和http.cookiejar.LWPCookieJar()可以保存Cookie到本地

异常处理

urllib.error为异常处理包

异常类型：URLError、HTTPError（code,reason,headers）

HTTPErro为URLError的子类

URL解析

urlparse： 用于URL的分解
urlunpars： 可用于带data的URL的拼接
urljoin： 直接拼接URL
urlencode： 将字段转换为URL参数

清紫悠悠
关注
Python 爬虫网络请求模块上——urllib
Huangqingmeng的博客
02-10 208
urllib 简介：urllib是python内置的http请求库 版本 python2 ：urllib2、urllib python3 ：把urllib和urllib2合并 1、请求模块：urllib.request urllib.request.urlopen()，urlopen()方法中的url参数可以是字符串，也可以是一个Request对象 作用 ：向网站发起一个请求并获取响应 字节流 = response.read() 字符串 = response.read().decode(“utf-8”) #
Python爬虫入门：Urllib库使用详解（模拟CSDN登录）
philos3的博客
08-06 5340
urllib是基于http的高层库，它有以下三个主要功能： （1）request处理客户端的请求 （2）response处理服务端的响应 （3）parse会解析url 一、爬取网页内容我们知道，网页上呈现的优美页面，本质都是一段段的HTML代码，加上JS 、CSS等，本人也是刚开始学python，这个文章也比较小白，资深老鸟请忽略~~。本文所说的代码都是基于python3的，使用p
Python爬虫——Urllib
WwLK123的博客
07-11 3257
通过一个程序，根据url进行爬取网页，获取游泳信息通过程序模拟浏览器，去向服务器发起请求，获取响应信息。
python网络爬虫之Urllib
最新发布
Appreciate(欣赏)
07-10 772
urllib的request模块提供了最基本的构造HTTP请求的方法，使用它可以方便地实现请求的发送并得到响应，同时它还带有处理授权验证（authentication）、重定向（redirection）、浏览器Cookies以及其他内容。
Python爬虫之urllib库
小李学不完的博客
03-23 1944
urllib库的介绍、发送请求、异常处理、解析链接-parse模块、分析Robots协议、爬虫名称
Python中的urllib.request模块
热门推荐
学愈进而愈惘
08-25 7万+
因为在玩Python challenge的时候，有用过这个模块，而且学习这个模块之后也对系统学习网络爬虫有用。当时查了各种资料学习，没有碰官网文档（因为还是对英语有抗拒性），但是还是官方的文档最具权威和学习价值，因此想要此次翻译官方文档的同时，锻炼自己的英语能力，也对urllib模块加深理解。因为是为了自己复习起来方便~所以就不一句英语一句中文的对照着翻了，有兴趣看原版的，自己点官方文档吧~翻译不足
Python爬虫教程：urllib高级用法
urllib是Python内置的HTTP请求库，包含四个模块：urllib.request、urllib.error、urllib.parse、urllib.robotparser。它可以用来发送GET和POST请求，处理服务器响应数据，处理异常，以及对URL进行解析和拼接等操作。...
Python爬虫基础教程-Urllib详解.pdf
06-12
Python的Urllib库是进行网络数据获取的重要工具，尤其在编写爬虫程序时。它集成了多种处理URL的模块，方便开发者对网络资源进行...总的来说，掌握Urllib库是Python爬虫开发的基础，也是进一步深入学习网络编程的关键。
python爬虫 urllib模块url编码处理详解
09-18
Urllib模块是Python标准库中用于操作URLs的一个模块，它提供了多个子模块，用于打开和读取URLs以及处理各种URL相关的任务。在进行网络请求时，由于URL规范要求URL中不能包含非ASCII字符，而中文等字符在URL中属于非...
python网络爬虫--urllib库的使用（2）
u010671028的博客
09-22 312
一、模拟浏览器向服务器发送请求 url组成： import urllib.request url = 'http://www.baidu.com' # 模拟浏览器向服务器发送请求 response = urllib.request.urlopen(url=url) # 读取响应的内容 print(response.read(n)) 返回二进制的值，n代表读取的字节数 二、response的类型和六个方法 类型：HTTPResponse 方法： 1.read() 2.readline() 读一行 3.
Python爬虫学习之urllib库
weixin_73002278的博客
01-25 1876
http/https(协议) 注：http 80 /https 443/ mysql 3306/ oracle 1521/ redis 6379/ mongodb 27017。作用：定制更高级的请求头，如动态cookie和代理不能使用请求对象的定制。用decode('编码的格式') 解码 二进制-->字符串。#post请求的参数，需要放在请求对象的定制里的data中。（3）、获取响应中的页面的源码content内容的意思。#read方法 返回的是字节形式的二进制数据。
（十五）Python爬虫基础库：urllib
带翅膀的猫的博客
08-12 4888
&amp;amp;amp;amp;amp;nbsp;&amp;amp;amp;amp;amp;nbsp;&amp;amp;amp;amp;amp;nbsp;&amp;amp;amp;amp;amp;nbsp;&amp;amp;amp;amp;amp;nbsp;&amp;amp;amp;amp;amp;nbsp;从今天起开始进入爬虫的世界。网络爬虫这张东西相比都了解能干嘛，我第一次知道时感觉特别棒，希望自己能写一个，不管功能强大与否。Python语言就是写爬虫的
Python爬虫教程：urllib 基础使用（一）
Python免费教程
04-17 372
人生苦短，我用 Python 引言 看到本篇实战的同学有没有很激动，经过了前面十篇基础内容的折磨，终于等到实战章节了，有没有一种激动之情。 想到一句歌词：终于等到你~~~ 首先，官方文档地址敬上： 官方文档地址：https://docs.python.org/3/library/urllib.html 在前面的前置准备中，我们一起安装了很多第三方的请求类库，在介绍这些第三方的类库前，我们...
Python爬虫之urllib库的使用
ouyangzyy的博客
06-16 792
首先urllib库是爬虫中用到的比较多的一个库，也算是比较基础的一个库，对于入门来说，urllib是蛮重要的。后面会介绍一下requests的使用。 1、urllib的介绍 按我的理解来说，要想爬取到网页中想要的东西，首先必须要爬取到网页的源码。只有爬取到了网站的源码，才能进行下一步的操作——对源码进行解析。解析完之后，才可以得到爬取到的数据。 而urllib对于初学者来说，爬取一般网页的源码来说是比较容易的。为什么说是一般？因为对于初学者来说，找到网页的接口是比较难的，特别是一般大型网站的接口特别难找。下
python爬虫之urllib库详解
Y_peak的博客
09-03 6476
python爬虫之urllib库详解 urllib库用于操作网页 URL，并对网页的内容进行抓取处理 urllib 包 包含以下几个模块： urllib.request - 打开和读取 URL。 urllib.error - 包含 urllib.request 抛出的异常。 urllib.parse - 解析 URL。 urllib.robotparser - 解析 robots.txt 文件 python爬虫主要用到的urllib库中的request和error模块 下面我们来详细说明一下这两
Python爬虫入门：urllib库详解与使用
本文主要介绍了Python爬虫的基础知识，特别是如何使用内置库urllib进行HTTP请求。urllib库包括request、error、parse和robotparser四个模块，分别用于HTTP请求、异常处理、URL处理和robots.txt解析。文章着重讲解了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值