爬虫系列(三) urllib的基本使用

最新推荐文章于 2024-08-04 15:12:57 发布
最新推荐文章于 2024-08-04 15:12:57 发布
阅读量4.3k 收藏 19
点赞数 9
分类专栏： 网络爬虫 文章标签： 网络爬虫 Python urllib
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wsmrzx/article/details/81591558
版权

一、urllib 简介

urllib 是 Python3 中自带的 HTTP 请求库，无需复杂的安装过程即可正常使用，十分适合爬虫入门

urllib 中包含四个模块，分别是

  • request：请求处理模块
  • parse：URL 处理模块
  • error：异常处理模块
  • robotparser：robots.txt 解析模块

以下我们将会分别讲解 urllib 中各模块的使用方法，但由于篇幅问题，本文只会涉及模块中比较常用的内容

详细内容可以参考官方文档：https://docs.python.org/3.7/library/urllib.html

二、urllib 使用

在开始讲解前，先给大家提供一个用于测试的网站，http://www.httpbin.org/

这个网站可以在页面上返回所发送 请求 的相关信息，十分适合练习使用

好了，下面正式开始！

1、request 模块

request 模块是 urllib 中最重要的一个模块，一般用于 发送请求和接收响应

（1）urlopen 方法
urllib.request.urlopen()

urlopen 方法无疑是 request 模块中最常用的方法之一，常见的参数说明如下：

  • url：必填，字符串，指定目标网站的 URL

  • data：指定表单数据

    该参数默认为 None，此时 urllib 使用 GET 方法 发送请求

    当给参数赋值后，urllib 使用 POST 方法 发送请求，并在该参数中携带表单信息（bytes 类型）

  • timeout：可选参数，用来指定等待时间，若超过指定时间还没获得响应，则抛出一个异常

该方法始终返回一个 HTTPResponse 对象，HTTPResponse 对象常见的属性和方法如下：

  • geturl()：返回 URL
  • getcode()：返回状态码
  • getheaders()：返回全部响应头信息
  • getheader(header)：返回指定响应头信息
  • read()：返回响应体（bytes 类型），通常需要使用 decode('utf-8') 将其转化为 str 类型

例子1：发送 GET 请求

>>> import urllib.request
>>> url = 'http://www.httpbin.org/get'
>>> response = urllib.request.urlopen(url)
>>> type(response)
# <class 'http.client.HTTPResponse'>
>>> response.geturl()
# 'http://www.httpbin.org/get'
>>> response.getcode()
# 200
>>> response.getheaders()
# [('Connection', 'close'), ('Server', 'gunicorn/19.9.0'), ('Date', 'Sat, 11 Aug 2018 01:39:14 GMT'), ('Content-Type', 'application/json'), ('Content-Length', '243'), ('Access-Control-Allow-Origin', '*'), ('Access-Control-Allow-Credentials', 'true'), ('Via', '1.1 vegur')]
>>> response.getheader('Connection')    
# 'close'
>>> print(response.read().decode('utf-8'))
# {
#   "args": {}, 
#   "headers": {
#     "Accept-Encoding": "identity", 
#     "Host": "www.httpbin.org", 
#     "User-Agent": "Python-urllib/3.7"
#   }, 
#   "origin": "183.6.159.80, 183.6.159.80", 
#   "url": "https://www.httpbin.org/get"
# }

例子2：发送 POST 请求

urllib.parse.urlencode()：进行 URL 编码，实际上是将 dict 类型数据转化成 str 类型数据

encode('utf-8')：将 str 类型数据转化成 bytes 类型数据

>>> import urllib.request
>>> import urllib.parse
>>> url = 'http://www.httpbin.org/post'
>>> params = {
    'from':'AUTO',
    'to':'AUTO'
}
>>> data = urllib.parse.urlencode(params).encode('utf-8')
>>> response = urllib.request.urlopen(url=url,data=data)
>>> html =  response.read().decode('utf-8')
>>> print(html)
# {
#   "args": {}, 
#   "data": "", 
#   "files": {}, 
#   "form": { # 这是我们设置的表单数据
#     "from": "AUTO", 
#     "to": "AUTO"
#   }, 
#   "headers": {
#     "Accept-Encoding": "identity", 
#     "Connection": "close", 
#     "Content-Length": "17", 
#     "Content-Type": "application/x-www-form-urlencoded", 
#     "Host": "www.httpbin.org", 
#     "User-Agent": "Python-urllib/3.6"
#   }, 
#   "json": null, 
#   "origin": "116.16.107.180", 
#   "url": "http://www.httpbin.org/post"
# }
（2）Request 对象

实际上，我们还可以给 urllib.request.open() 方法传入一个 Request 对象作为参数

为什么还需要使用 Request 对象呢？因为在上面的参数中我们无法指定 请求头部，而它对于爬虫而言十分重要

很多网站可能会首先检查请求头部中的 USER-AGENT 字段来判断该请求是否由网络爬虫程序发起

但是通过修改请求头部中的 USER_AGENT 字段，我们可以将爬虫程序伪装成浏览器，轻松绕过这一层检查

这里提供一个查找常用的 USER-AGENT 的网站：

urllib.request.Request()

参数说明如下：

  • url：指定目标网站的 URL
  • data：发送 POST 请求时提交的表单数据，默认为 None
  • headers：发送请求时附加的请求头部，默认为 {}
  • origin_req_host：请求方的 host 名称或者 IP 地址，默认为 None
  • unverifiable：请求方的请求无法验证，默认为 False
  • method：指定请求方法，默认为 None
>>> import urllib.request
>>> url = 'http://www.httpbin.org/headers'
>>> headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
}
>>> req = urllib.request.Request(url, headers=headers, method='GET')
>>> response = urllib.request.urlopen(req)
>>> html = response.read().decode('utf-8')
>>> print(html)
# {
#   "headers": {
#     "Accept-Encoding": "identity", 
#     "Connection": "close", 
#     "Host": "www.httpbin.org", 
#     "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36" 这是我们设置的 User-Agent
#   }
# }
（3） 使用 Cookie

什么是 Cookie？

Cookie 是指某些网站为了辨别用户身份、进行 session 跟踪而储存在用户本地终端上的数据

① 获取 Cookie

>>> import urllib.request
>>> import http.cookiejar
>>> cookie = http.cookiejar.CookieJar()
>>> cookie_handler = urllib.request.HTTPCookieProcessor(cookie)
>>> opener = urllib.request.build_opener(cookie_handler)
>>> response = opener.open('http://www.baidu.com')
>>> for item in cookie:
    	print(item.name + '=' + item.value)
        
        
# BAIDUID=486AED46E7F22C0A7A16D9FE6E627846:FG=1
# BDRCVFR[RbWYmTxDkZm]=mk3SLVN4HKm
# BIDUPSID=486AED46E7F22C0A7A16D9FE6E627846
# H_PS_PSSID=1464_21106_26920
# PSTM=1533990197
# BDSVRTM=0
# BD_HOME=0
# delPer=0

② 使用 Cookie

>>> import urllib.request
>>> import http.cookiejar
>>> # 将 Cookie 保存到文件
>>> cookie = http.cookiejar.MozillaCookieJar('cookie.txt')
>>> cookie_handler = urllib.request.HTTPCookieProcessor(cookie)
>>> opener = urllib.request.build_opener(cookie_handler)
>>> response = opener.open('http://www.baidu.com')
>>> cookie.save(ignore_discard=True,ignore_expires=True)
>>> # 从文件读取 Cookie 并添加到请求中
>>> cookie = http.cookiejar.MozillaCookieJar()
>>> cookie = cookie.load('cookie.txt',ignore_discard=True,ignore_expires=True)
>>> cookie_handler = urllib.request.HTTPCookieProcessor(cookie)
>>> opener = urllib.request.build_opener(cookie_handler)
>>> response = opener.open('http://www.baidu.com')
>>> # 此时已经得到带有 Cookie 请求返回的响应
（4）使用代理

对于某些网站，如果同一个 IP 短时间内发送大量请求，则可能会将该 IP 判定为爬虫，进而对该 IP 进行封禁

所以我们有必要使用随机的 IP 地址来绕开这一层检查，这里提供几个查找免费的 IP 地址的网站：

注意，免费的代理 IP 基本上十分不稳定，而且还可能随时更新，所以最好自己写一个爬虫去维护

>>> import urllib.request
>>> import random
>>> ip_list = [
    {'http':'61.135.217.7:80'},
    {'http':'182.88.161.204:8123'}
]
>>> proxy_handler = urllib.request.ProxyHandler(random.choice(ip_list))
>>> opener = urllib.request.build_opener(proxy_handler)
>>> response = opener.open('http://www.httpbin.org/ip')
>>> print(response.read().decode('utf-8'))
# {
#   "origin": "61.135.217.7"
# }

2、parse 模块

parse 模块一般可以用于处理 URL

（1）quote 方法

当你在 URL 中使用中文时，你会发现程序会出现莫名其妙的错误

>>> import urllib.request
>>> url = 'https://www.baidu.com/s?wd=爬虫'
>>> response = urllib.request.urlopen(url)
# UnicodeEncodeError: 'ascii' codec can't encode characters in position 10-11: ordinal not in range(128)

这时，quote 方法就可以派上用场了，它使用转义字符替换特殊字符，从而将上面的 URL 处理成合法的 URL

>>> import urllib.parse
>>> url = 'https://www.baidu.com/s?wd=' + urllib.parse.quote('爬虫')
>>> url
# 'https://www.baidu.com/s?wd=%E7%88%AC%E8%99%AB'
（2）urlencode 方法

urlencode 方法在上面的文章中曾经用到过，不知道大家还有没有印象，这里我们再重新回顾一遍

简单来说，urlencode 方法就是将 dict 类型数据转化为符合 URL 标准的 str 类型数据，请看演示：

>>> import urllib.parse
>>> params = {
    'from':'AUTO',
    'to':'AUTO'
}
>>> data = urllib.parse.urlencode(params)
>>> data
# 'from=AUTO&to=AUTO'
（3）urlparse 方法

urlparse 方法用于解析 URL，返回一个 ParseResult 对象

该对象可以认为是一个六元组，对应 URL 的一般结构：scheme://netloc/path;parameters?query#fragment

>>> import urllib.parse
>>> url = 'http://www.example.com:80/python.html?page=1&kw=urllib'
>>> url_after = urllib.parse.urlparse(url)
>>> url_after
# ParseResult(scheme='http', netloc='www.example.com:80', path='/python.html', params='', query='page=1', fragment='urllib')
>>> url_after.port
# 80

3、error 模块

error 模块一般用于进行异常处理，其中包含两个重要的类：URLError 和 HTTPError

注意，HTTPError 是 URLError 的子类，所以捕获异常时一般要先处理 HTTPError，常用的格式如下：

>>> import urllib.request
>>> import urllib.error
>>> import socket
>>> try:
	response = urllib.request.urlopen('http://www.httpbin.org/get', timeout=0.1)
except urllib.error.HTTPError as e:
	print("Error Code: ", e.code)
	print("Error Reason: ", e.reason)
except urllib.error.URLError as e:
	if isinstance(e.reason, socket.timeout):
		print('Time out')
else:
	print('Request Successfully')
    
# Time out
半虹
关注
专栏目录
urllib库的使用
weixin_44302046的博客
08-15 1888
urllib.request.urlopen() 模拟浏览器向服务器发送请求：1）定义需要访问的url地址2）模拟浏览器向服务器发送请求3）获取响应的页面源码。
Python爬虫入门系列——Urllib详解
m0_47706863的博客
09-21 916
Python爬虫入门系列——Urllib详解1.背景1.1 初识爬虫1.2 合法性1.3 robots协议2.要求2.1 当前开发环境2.2 编程基础3.快速上手Urllib3.1 request模块3.2Error 模块3.3Parse 模块4.高级应用**4.1 Opener**4.2 代理设置4.3 Cookie 1.背景 1.1 初识爬虫 网络爬虫，是一种按照一定规则，自动抓取互联网信息的程序或者脚本，其本质是模拟浏览器打开网页，获取网页中我们想要的数据。常用的百度、谷歌的搜索引擎也是一个爬虫，把互
urllib的使用
qq_39217312的博客
07-14 945
urllib时python的一个内置库，一共包含四个模块。
urllib用法
DS的博客
08-02 327
 urllib        #为HTTP,FTP提供接口 urllib2       #提供urlopen函数，通过指定的URL发出请求来获取数据, 实例： 1. import urllib2 2. response=urllib2.urlopen('http://www.douban.com') 3. html=response.read() requests  第
urllib的用法
weixin_43270619的博客
05-16 359
urllib.request模块的用法 urlopen urllib.request.urlopen(url)，括号内可传递的参数除了url，还有timeout, cafile,capath,context。 response = urllib.request.urlopen(url, data=data, timeout=100,capath=None,cafile=None,context=N...
urllib的简单用法
q974195045的博客
07-24 148
urllib的简单用法 import urllib.request #urlopen(网页地址) file=urllib.request.urlopen("http://zzuli.edu.cn") #urlretrieve（网址，本地文件存储地址）直接下载网页到本地 #导出文件路径要用双斜杠\\ ''' urllib.request.urlretrieve("http://www...
Python爬虫之urllib基础用法教程
01-20
本系列文档用于对Python爬虫技术进行简单的教程讲解，巩固自己技术知识的同时，万一一不小心又正好对你有用那就更好了。 Python 版本是3.7.4 urllib库介绍 它是 Python 内置的HTTP请求库，也就是说我们不需要额外...
Python中urllib+urllib2+cookielib模块编写爬虫实战
09-21
urllib提供了基本的URL操作，urllib2扩展了更丰富的HTTP请求功能，而cookielib则用于处理cookies，使得爬虫能够处理登录和保持会话。在实际的爬虫项目中，开发者通常会根据具体需求，灵活组合使用这三个模块，以实现...
2.跟我一起学爬虫——urllib库的使用
Wangziv_hahaha的博客
04-15 503
urllib库包含4个模块： request：模拟发送请求。像在浏览器里输入网址然后回车一样，只需要给库传入URL以及额外的参数，就可以模拟实现这个过程了。 error：异常处理模块。 parse：一个工具模块，提供许多URL处理办法，比如：拆分、解析、合并等。 robotparser：识别网站的robots.txt文件，判断哪些网站可以爬，哪些不可以爬。 ...
Python爬虫基础：urllib与requests库实战
"这篇笔记主要介绍了Python爬虫的基础库使用，包括urllib和requests库，以及如何处理代理IP和不信任的SSL证书问题。作者155ykpya272在2020年的笔记中详细讲解了这些知识点。" 在Python爬虫领域，urllib和requests是...
urllib基本用法
rootlh的博客
02-12 357
添加浏览器请求头下载网页并打印出网页html代码from urllib import request import sys import io sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='gb18030') req = request.Request("http://www.baidu.com")req.add_header(
urllib的基本用法
dayun555的博客
03-05 389
#coding:utf-8 # urllib urllib2 import urllib from urllib import request,parse,response # 使用urllib发起请求 rep = request.urlopen('http://www.baidu.com') # .read()函数读取响应中的响应数据 result = rep.read() # decod...
python urllib的基本使用方法
pin-csdn的博客
08-22 1121
#_*_ coding:utf-8 _*_ #Author:gaoqiang import urllib import urllib2 #基本使用 def demo_base(url="http://www.baidu.com/"):     try:         req=urllib2.urlopen(url,timeout=3)     except urllib2
urllib使用介绍
Taskcnjia的专栏
09-08 1265
    python在做爬虫的时候，会利用到urllib提供的功能，就是利用程序去执行各种HTTP请求。如果要模拟浏览器完成特定功能，需要把请求伪装成浏览器。伪装的方法是先监控浏览器发出的请求，再根据浏览器的请求头来伪装，User-Agent头就是用来标识浏览器的。另外随着python的版本不一致会出现些差异，如下 Py2.x： Urllib库 Urllin2库 Py3.x： Urllib...
Python 爬虫入门（六）：urllib库的使用方法
最新发布
blues_C的博客
08-04 1680
欢迎来到"Python 爬虫入门"系列的第六篇文章。今天我们来学习Python标准库中的urllib,这是一个用于处理URL的强大工具包。urllib是Python内置的HTTP请求库,不需要额外安装,就可以直接使用。它提供了一系列用于操作URL的函数和类,可以用来发送请求、处理响应、解析URL等。
Python爬虫——Urllib
WwLK123的博客
07-11 3357
通过一个程序，根据url进行爬取网页，获取游泳信息通过程序模拟浏览器，去向服务器发起请求，获取响应信息。
基于urllib的简单爬虫
Moliam的博客
02-15 379
基于urllib的简单爬虫什么是爬虫python如何访问互联网URLlib实战爬取html有道翻译隐藏代理爬取妹子图片正则表达式异常处理Scrapy 本系列来源于B站视频。UP主为IT搬運工，系列视频为[小甲鱼]零基础入门学习python。点我直达 什么是爬虫 又称为网页蜘蛛，在网页上获取所需要的信息。 python如何访问互联网 url + lib= urllib URL 协议://IP地址/资源具体地址 lib urllib 实战 爬取html 爬取网页html代码 import urllib.requ
urllib学习之爬虫
wangpi_csdn16的博客
03-14 450
1、urllib其实是一个包，包括了四个模块： urllib.request:用于打开和读取 URL urllib.parse：用于分解url urllib.error：包括了ullib.request产生的异常 urllib.robotparser：分解robots.txt文件   2、来说一下具体用法 比如用于访问百度 首先调用urllib包中request模块，然后用ur...
python urllib爬虫_python+urllib爬虫
weixin_33016287的博客
02-09 82
导入包import urllib.requestimport urllib.parse获取get请求response = urllib.request.urlopen("http://httpbin.org/get")print(response.read().decode('utf-8'))get超时(预备方案，问题最后解决使程序正常运行)try:response = urllib.reques...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值