爬虫的概念及requests库的使用

最新推荐文章于 2024-05-24 22:04:07 发布

花_城

最新推荐文章于 2024-05-24 22:04:07 发布

阅读量379

点赞数 1

分类专栏：爬虫文章标签：爬虫 python 开发语言

本文链接：https://blog.csdn.net/qq_39330486/article/details/122499632

版权

爬虫专栏收录该内容

4 篇文章 0 订阅

订阅专栏

一、什么是爬虫

1.1 爬虫

爬虫一般指网络爬虫，是一种收集信息的技术手段。它的核心是**模拟浏览器向目标网站发送网络请求，然后接受响应，解析并提取出我们想要的信息保存下来。**原则上，只要是浏览器能接触到的信息（正常访问，不是黑客整的那些玩意），就能爬取下来。

像我们常见的百度、谷歌等搜索引擎的本质也是爬虫程序。

1.2 反爬虫

爬虫通常需要获取海量的目标数据，这也就意味着会发送海量的请求。而对目标网站的资源也会产生大量的消耗。所以，绝大部分网站都会做一定的反爬措施，识别并拒绝爬虫程序发出的请求，图片验证码就是最常用的一种反爬措施。爬虫的难点就在于“骗过”各大网站形形色色的反爬措施。

1.3 爬虫协议（Robots协议）

爬虫协议用来告知爬虫程序或搜索引擎哪些页面可以爬取，哪些页面不可以爬取。它通常是以一个名为“robots.txt”文本文件的形式展示出来，所以也叫Robots协议或机器人协议。

爬虫协议是一个==“君子协议”==，并未采取任何技术手段来强制爬虫程序或搜索引擎遵守该协议。也就是说，在技术层面来讲，我们不去遵守也不会有任何问题，但在法律层面就是不允许的了。

几乎所有网站爬虫协议的URL为域名/robots.txt。比如，github的爬虫协议的URL为https://github.com/robots.txt，它的部分内容如下：

# If you would like to crawl GitHub contact us via https://support.github.com?tags=dotcom-robots
# We also provide an extensive API: https://docs.github.com
User-agent: baidu
crawl-delay: 1


User-agent: *

Disallow: /*/pulse
Disallow: /*/tree/
……
Disallow: /account-login
Disallow: /Explodingstuff/

爬虫协议的语法规则：

User-agent：指定对哪些爬虫生效，*代表对所有爬虫都生效。
Disallow：禁止爬取的URL路径。
Allow：允许爬取的路径。
Crawl-delay：表示爬取的时间间隔，通常为5秒一次。

二、requests库

requests是一个简单、优雅的python HTTP 库，设计十分人性化，很快就能上手。

下面的代码展示了requests库的简单、优雅之处：

r = requests.get('https://api.github.com/user', auth=('user', 'pass'))
r.status_code    # 200
r.headers['content-type']    # 'application/json; charset=utf8'
r.encoding    # 'utf-8'
r.text    # u'{"type":"User"...'
r.json()    # {u'private_gists': 419, u'total_private_repos': 77, ...}

三、requests库快速入门

3.1 pip安装requests

pip install requests

3.2 发送请求

使用 Requests 发送网络请求非常简单，方法名与HTTP方法的名称是一致的。

import requests

r = requests.get('https://api.github.com/events')
r = requests.post('http://httpbin.org/post', data = {'key':'value'})
r = requests.put('http://httpbin.org/put', data = {'key':'value'})
r = requests.delete('http://httpbin.org/delete')
r = requests.head('http://httpbin.org/get')
r = requests.options('http://httpbin.org/get')

返回值r 是一个 Response 对象，我们可以从这个对象中获取所有我们想要的信息。

3.3 传递参数

如果想为查询字符串(query string)传递一些数据，可以直接写入URL中，也可以使用 params 关键字参数传递，该参数接受一个字典。

payload = {'key1': 'value1', 'key2': 'value2'}
r = requests.get("http://httpbin.org/get", params=payload)

通过r可以将URL查询出来：

print(r.url)
# http://httpbin.org/get?key2=value2&key1=value1

注意！字典里值为 None 的键都不会被添加到 URL 的查询字符串里。

我们还可以将一个列表作为值传入：

payload = {'key1': 'value1', 'key2': ['value2', 'value3']}

r = requests.get('http://httpbin.org/get', params=payload)
print(r.url)
# http://httpbin.org/get?key1=value1&key2=value2&key2=value3

3.4 响应内容

Requests 会自动解码来自服务器的内容。大多数 unicode 字符集都能被无缝地解码。

r = requests.get('https://api.github.com/events')
r.text
# u'[{"repository": {"open_issues":0,"url":"https://github.com/...

请求发出后，Requests 会基于 HTTP 头部对响应的编码作出推测，然后在调用r.text时自动解码。我们可以使用 r.encoding 属性来读取和设置编码：

r.encoding
# 'utf-8'
r.encoding = 'ISO-8859-1'

正确的编码可以在r.content 中找到。

3.4.1 二进制响应内容

Requests 会自动解码 gzip 和 deflate 传输编码的响应数据。

例如，以请求返回的二进制数据创建一张图片，可以使用如下代码：

from PIL import Image
from io import BytesIO

i = Image.open(BytesIO(r.content))

3.4.2 JSON响应内容

Requests 内置一个 JSON 解码器，能帮助我们处理 JSON 数据：

 import requests

r = requests.get('https://api.github.com/events')
r.json()
# [{u'repository': {u'open_issues': 0, u'url': 'https://github.com/...

如果 JSON 解码失败， r.json() 就会抛出一个异常。成功调用 r.json() 并也并不意味着响应的成功。有的服务器会在失败的响应中包含一个 JSON 对象（比如 HTTP 500 的错误细节）。这种 JSON 会被解码返回。要检查请求是否成功，请使用 r.raise_for_status() 或者检查 r.status_code 是否和你的期望相同。

3.5 原始响应内容

获取来自服务器的原始套接字响应，可以访问 r.raw。但必须确保在初始请求中设置了 stream=True。

r = requests.get('https://api.github.com/events', stream=True)
r.raw
# <requests.packages.urllib3.response.HTTPResponse object at 0x101194810>
r.raw.read(10)
# '\x1f\x8b\x08\x00\x00\x00\x00\x00\x00\x03'

但一般情况下，应该以下面的模式将文本流保存到文件：

with open(filename, 'wb') as fd:
    for chunk in r.iter_content(chunk_size):
        fd.write(chunk)

iter_content方法用来遍历响应数据。chunk_size的类型必须是int或None。None的值将根据stream的值发挥不同的作用:

当在请求上设置stream=True时，将在数据到达时读取接收到的数据块的大小，这将避免在响应较大时一次性将内容读入内存。
如果stream=False，则数据作为单个块返回。

3.6 定制请求头

如果想为请求添加 HTTP 头部，只要简单地传递一个 dict 给 headers 参数就可以了。比如指定 content-type：

url = 'https://api.github.com/some/endpoint'
headers = {'user-agent': 'my-app/0.0.1'}

r = requests.get(url, headers=headers)

注意：header 值必须是 string、bytestring 或者 unicode。尽管传递 unicode header 也是允许的，但不建议这样做。

3.7 复杂的 POST 请求

如果需要提交HTML表单数据，只需简单地传递一个字典给 data 参数：

payload = {'key1': 'value1', 'key2': 'value2'}

r = requests.post("http://httpbin.org/post", data=payload)
print(r.text)
"""
{
  ...
  "form": {
    "key2": "value2",
    "key1": "value1"
  },
  ...
}
"""

在表单中多个元素使用同一 key 的时候，可以为 data 参数传入一个元组列表。

payload = (('key1', 'value1'), ('key1', 'value2'))
r = requests.post('http://httpbin.org/post', data=payload)
print(r.text)
"""
{
  ...
  "form": {
    "key1": [
      "value1",
      "value2"
    ]
  },
  ...
}
"""

如果想以JSON格式提交，可以如下做：

url = 'https://api.github.com/some/endpoint'
payload = {'some': 'data'}

r = requests.post(url, json=payload)

3.8 使用POST提交文件

url = 'http://httpbin.org/post'
files = {'file': open('report.xls', 'rb')}

r = requests.post(url, files=files)
r.text
"""
{
  ...
  "files": {
    "file": "<censored...binary...data>"
  },
  ...
}
"""

可以显式地设置文件名，文件类型和请求头：

url = 'http://httpbin.org/post'
files = {'file': ('report.xls', open('report.xls', 'rb'), 'application/vnd.ms-excel', {'Expires': '0'})}

r = requests.post(url, files=files)
r.text
"""
{
  ...
  "files": {
    "file": "<censored...binary...data>"
  },
  ...
}
"""

3.9 响应状态码

获取响应状态码：

r = requests.get('http://httpbin.org/get')
r.status_code  # 200

3.10 响应头

查看以一个服务器响应头，它会以 Python 字典形式展示：

r.headers
"""
{
    'content-encoding': 'gzip',
    'transfer-encoding': 'chunked',
    'connection': 'close',
    'server': 'nginx/1.0.4',
    'x-runtime': '148ms',
    'etag': '"e1ca502697e5c9317743dc078f67693f"',
    'content-type': 'application/json'
}
"""

但是这个字典比较特殊：它是仅为 HTTP 头部而生的。根据 RFC 2616， HTTP 头部是大小写不敏感的。因此，我们可以使用任意大写形式来访问这些响应头字段：

r.headers['Content-Type']  # 'application/json'

3.11 Cookie

获取cookie：

r.cookies['example_cookie_name']

在请求中附带cookie：

cookies = dict(cookies_are='working')
r = requests.get(url, cookies=cookies)

还可以使用RequestsCookieJar构造cookie对象，它的行为和字典类似，但接口更为完整，适合跨域名跨路径使用。

jar = requests.cookies.RequestsCookieJar()
jar.set('tasty_cookie', 'yum', domain='httpbin.org', path='/cookies')
jar.set('gross_cookie', 'blech', domain='httpbin.org', path='/elsewhere')
url = 'http://httpbin.org/cookies'
r = requests.get(url, cookies=jar)

3.12 重定向与请求历史

默认情况下，除了 HEAD，Requests 会自动处理所有重定向。

可以使用响应对象的 history 方法来追踪重定向，它是一个 Response对象的列表，按照从远到近的顺序进行排序。

r.history    # [<Response [301]>]

如果使用的是GET、OPTIONS、POST、PUT、PATCH 或者 DELETE，那么可以通过 allow_redirects 参数禁用重定向处理：

r = requests.get('http://github.com', allow_redirects=False)
r.status_code    # 301
r.history    # []

如果使用了 HEAD，也可以启用重定向：

r = requests.head('http://github.com', allow_redirects=True)
r.url    # 'https://github.com/'
r.history    # [<Response [301]>]

3.13 超时

可以使用 timeout 参数设定响应等待时间，超所设置的秒数时间之后停止等待响应。基本上所有的生产代码都应该使用这一参数。如果不使用，你的程序可能会永远失去响应：

requests.get('http://github.com', timeout=0.01)

3.14 错误与异常

遇到网络问题（如：DNS 查询失败、拒绝连接等）时，Requests 会抛出一个 ConnectionError 异常。

如果 HTTP 请求返回了不成功的状态码， Response.raise_for_status()会抛出一个 HTTPError 异常。

若请求超时，则抛出一个 Timeout 异常。

若请求超过了设定的最大重定向次数，则会抛出一个 TooManyRedirects 异常。

所有Requests显式抛出的异常都继承自 requests.exceptions.RequestException 。

更加高级的用法请参考官方文档：传送门

花_城

关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
打赏
0
评论
爬虫的概念及requests库的使用

文章目录一、什么是爬虫1.1 爬虫1.2 反爬虫1.3 爬虫协议（Robots协议）二、requests库三、requests库快速入门3.1 pip安装requests3.2 发送请求3.3 传递参数3.4 响应内容3.4.1 二进制响应内容3.4.2 JSON响应内容3.5 原始响应内容3.6 定制请求头3.7 复杂的 POST 请求3.8 使用POST提交文件3.9 响应状态码3.10 响应头3.11 Cookie3.12 重定向与请求历史3.13 超时3.14 错误与异常一、什么是爬虫1.1 爬
复制链接

扫一扫