Python爬虫学习 2 —— 使用requests

最新推荐文章于 2024-09-04 17:19:43 发布
最新推荐文章于 2024-09-04 17:19:43 发布
阅读量656 收藏 2
点赞数 4
分类专栏： Python网络爬虫 文章标签： python爬虫 requests模块
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41140138/article/details/99544878
版权

  学习爬虫最先尝试的是requests模块，requests拥有简便的API，它是最基本的HTTP请求模块，可以用来模拟发送请求。就像在浏览器里输入网址然后回车一样。


一、安装requests库

step1：Windows+ R打开cmd
step2：使用pip快速安装request，输入下面的命令

 pip install requests

二、发送请求

在这里插入图片描述

语法：requests.get(url, params=None, **kwargs)

  • url：拟获取页面的url链接
  • url：url中的额外参数，字典或字节流格式，可选
  • url：12个控制访问的参数

request库中的定义：get()方法调用了request函数，传入’get’参数

def get(url, params=None, **kwargs):
    r"""Sends a GET request.

    :param url: URL for the new :class:`Request` object.
    :param params: (optional) Dictionary, list of tuples or bytes to send
        in the query string for the :class:`Request`.
    :param \*\*kwargs: Optional arguments that ``request`` takes.
    :return: :class:`Response <Response>` object
    :rtype: requests.Response
    """

    kwargs.setdefault('allow_redirects', True)
    return request('get', url, params=params, **kwargs)

二、response对象

response对象属性

属性说明
r.status_codeHTTP请求返回的状态，200表示连接成功，404表示失败
r.textHTTP响应内容的字符串，即url页面的内容
r.contentHTTP响应内容的二进制形式
r.encording从HTTP header中猜测的内容编码方式
r.apparent_encoding根据内容分析处的响应内容的拜尼马方式（备选编码方式）

例子：使用get函数，返回一个response对象

import requests
url = "https://www.baidu.com"
r = requests.get(url)
print(r.status_code)
print(type(r))
print(r.headers)

输出结果：

200
<class 'requests.models.Response'>
{'Cache-Control': 'private, no-cache, no-store, proxy-revalidate, no-transform', 'Connection': 'Keep-Alive', 'Content-Encoding': 'gzip', 'Content-Type': 'text/html', 'Date': 'Thu, 15 Aug 2019 02:04:52 GMT', 'Last-Modified': 'Mon, 23 Jan 2017 13:23:55 GMT', 'Pragma': 'no-cache', 'Server': 'bfe/1.0.8.18', 'Set-Cookie': 'BDORZ=27315; max-age=86400; domain=.baidu.com; path=/', 'Transfer-Encoding': 'chunked'}

***Repl Closed***

response的编码

属性说明
r.encording从HTTP header中猜测的内容编码方式
r.apparent_encoding根据内容分析处的响应内容的拜尼马方式（备选编码方式）

r.encoding：如果HTML代码header中不存再对charset的说明，则默认编码为ISO-8859-1
r.apparent_encoding：根据页面内容分析处的编码方式（一般来说以它为准）

举个栗子

step1：初始代码

import requests
url = "http://www.baidu.com"
r = requests.get(url)
print(r.encoding)
print("content:", r.text)

step2：此时输出内容出现了乱码：

ISO-8859-1 
content: <!DOCTYPE html>
<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=http://s1.bdstatic.com/r/www/cache/bdorz/baidu.min.css><title>ç™¾åº¦ä¸€ä¸‹ï¼Œä½ å°±çŸ¥é“</title></head>

***Repl Closed***

step3：接着，我们使用r.apparent_encoding来解码：

import requests
url = "http://www.baidu.com"
r = requests.get(url)
print(r.apparent_encoding)
r.encoding = r.apparent_encoding
print("content:", r.text)

step4：此时，就不出现乱码啦

utf-8
content: <!DOCTYPE html>
<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=http://s1.bdstatic.com/r/www/cache/bdorz/baidu.min.css><title>百度一下，你就知道</title></head>

提示：UTF-8是一种多字节编码，可以表示任何Unicode字符。ISO 8859-1是一个单字节编码，可以代表前256个Unicode字符。两者都以完全相同的方式编码ASCII


三、request库的异常

常见异常分类

异常说明
requests.ConnectionError网络连接错误异常，如DNS擦寻IP失败，服务器拒绝连接等
requests.HTTPErrorHTTP错误异常
requests.URLRequiredURL缺失异常
requests.TooManyRedirests超过最大重定向次数，产生重定向异常
requests.ConnectTimeout连接远程服务器超时异常
requests.Timeout请求URL超时，产生超时异常

四、爬取网页的通用代码框架

使用try异常处理机制：

import requests

def getHTMLText(url):
	try:
		r = requests.get(url, timeout=20)
		r.raise_for_status() # 若状态码不是200，引发HTTPError异常
		r.encoding = r.apparent_encoding
		return r.text
	except:
		return "Error"

url = "http://www.baidu.com"
text = getHTMLText(url)
print(text)

这里使用了 r.raise_for-status()函数 ，如果状态码 r.status_code 不是200，则会引发异常处理。


五、requests库方法的参数

requests.request(methode, url, kwargs)

1st ：params

import requests
kv = {"key1": "value1", "key2": "value2"}
r = requests.request("GET", "http://www.baidu.com", params = kv)
print(r.url)

输出：

http://www.baidu.com/?key1=value1&key2=value2

2nd ：data字典/字节序列

import requests
kv = {"key1": "value1", "key2": "value2"}
r = requests.request("POST", "http://www.baidu.com", data = kv)

3rd ：JSON格式数据

import requests
kv = {"key1": "value1", "key2": "value2"}
r = requests.request("POST", "http://www.baidu.com", json = kv)

4st ：headers字典，HTTP定制头
可以应用于伪装成为浏览器

import requests
hd = {"user-agent": "Chrome/10"}
r = requests.request("POST", "http://www.baidu.com", headers = hd)

5st ：timeout，设定超时时间，秒为单位

r = requests.request("GET", "http://www.baidu.com", timeout = 10)

6st ：proxies，字典类型，设定访问代理服务器
可以隐藏原IP地址信息，防止被逆追踪

import requests
pxs = {"http": "http://user:pass@10.10.10.1:1234",
	"https": "http://user:pass@10.10.10.1:4321"}
r = requests.request("GET", "http://www.baidu.com", proxies = pxs)
print(r.text)

六、requests库的其他方法

主要的7个方法

requests.request() # 构造一个请求，止程剩下的方法
r = requests.post('http://httpbin.org/post', data = {'key':'value'})
r = requests.put('http://httpbin.org/put', data = {'key':'value'})
r = requests.delete('http://httpbin.org/delete')
r = requests.head('http://httpbin.org/get')
r = requests.patch('http://httpbin.org/get')
r = requests.options('http://httpbin.org/get')

requests.request(method, url, kwargs)

  • method：请求方式，对应get/put/post等7中方式，如：requests.request(‘POST’, url, **kwargs)
  • url：拟获取页面的url连接
  • **kwargs：控制访问的13个参数

head()方法：我们可以根据头部信息来划分网页层次，分不同部分爬取信息

import requests
url = "http://www.baidu.com"
r = requests.get(url)
r.encoding = r.apparent_encoding
print(r.headers)

{'Cache-Control': 'private, no-cache, no-store, proxy-revalidate, no-transform', 'Connection': 'Keep-Alive', 'Content-Encoding': 'gzip', 'Content-Type': 'text/html', 'Date': 'Thu, 15 Aug 2019 02:59:08 GMT', 'Last-Modified': 'Mon, 23 Jan 2017 13:27:36 GMT', 'Pragma': 'no-cache', 'Server': 'bfe/1.0.8.18', 'Set-Cookie': 'BDORZ=27315; max-age=86400; domain=.baidu.com; path=/', 'Transfer-Encoding': 'chunked'}

***Repl Closed***

put()方法

import requests
url = "http://www.baidu.com"
payload = {"key1": "value1", "key2": "value2"}
r = requests.put(url, data = payload)
r.encoding = r.apparent_encoding
print(r.text)

七、响应状态码

通过下面的代码，可以检测响应状态码：

import requests

url = "http://www.baidu.com"
r = requests.get(url)
print(r.status_code)
print(r.status_code == requests.codes.ok)

此时输出：

200
True

  有时候，我们会发送一个错误的请求（一个4XX客户端错误或5XX服务器错误响应），可以通过Response.raise_for_status()来抛出异常：

bad_r = requests.get('http://httpbin.org/status/404')
print(bad_r.status_code)
bad_r.raise_for_status()

此时输出如下：

404
Traceback (most recent call last):
xxxxxxx
requests.exceptions.HTTPError: 404 Client Error: NOT FOUND for url: http://httpbin.org/status/404

八、保存响应内容

我们可以使用文件操作，将响应内容保存到文件中：
如果要将这个网站上的内容保存到本地 http://www.gutenberg.org/cache/epub/1112/pg1112.txt

import requests
 
res = requests.get('http://www.gutenberg.org/cache/epub/1112/pg1112.txt')

file_name = 'RomeoAndJuliet.txt'
with open(file_name, 'wb') as file_obj:
	for chunk in res.iter_content(100000):
		file_obj.write(chunk)

注意：必须要用'wb' 模式打开文件
在这里插入图片描述



第二篇python爬虫学习笔记完结啦 cheers ??

我有两颗糖
关注
专栏目录
爬虫系列之Requests库入门
CJX_up的博客
07-09 1000
一、Requests 库的 get() 方法1.requests.get()方法： 相关参数：get(url, params=None, **kwargs)： url: 拟获取页面的url链接 params: url中的额外参数，字典或字节流格式，可选 **kwargs: 12个控制访问的参数函数源代码如下：def get(url, params=None, **kwargs): """S
Python爬虫学习日志——day2（requests）
Kyrieki11的博客
05-30 735
requests python 爬虫 网络爬虫
requests模块的使用
apollo_miracle的博客
12-03 2122
1 学习目标 requests模块的认识 requests发送get请求 requests获取响应数据 requests发送带headers的请求 requests发送带参数的请求 requests发送POST请求 requests使用代理 requests处理cookie 2 requests模块的入门使用 2.1 为什么要重点学习requests模块，而不是urllib r...
linux命令——curl常用命令使用方法简单了解
qq_44728587的博客
02-17 9243
curl是什么？ 全称CommandLine URL 或 CommandLine Uniform Resource Locator，在命令行方式下工作，利用URL的语法进行数据的传输或者文件的传输。是一个用来与服务器之间传输数据的工具。 功能：curl提供了一大堆非常有用的功能，包括代理访问、用户认证、ftp上传下载、HTTP POST、SSL连接、cookie支持、断点续传等。 以下是常用的curl命令： 1.curl url (返回该网址的html信息) curl www.baidu.com
Python—requests模块详解！
最新发布
2301_78217634的博客
09-04 1411
（注意open的时候制定encoding编码方式）Request支持HTTP连接保持和连接池，支持使用cookie保持会话，支持文件上传，支持自动响应内容的编码，支持国际化的URL和POST数据自动编码。获取文本方式的响应体实例：当你访问 r.text 之时，会使用其响应的文本编码进行解码，并且你可以修改其编码让 r.text 使用自定义的编码进行解码。会话对象让你能够跨请求保持某些参数，最方便的是在同一个Session实例发出的所有请求之间保持cookies，且这些都是自动处理的，甚是方便。
Python之requests爬虫
qq_44111805的博客
05-01 3083
第一关：requests 基础 代码： import requests def get_html(url): ''' 两个参数 :param url:统一资源定位符,请求网址 :param headers:请求头 :return:html ''' # ***************** Begin ******************** # # 补充请求头 header={"User-Agent": "Mozilla/
Python网络爬虫（三. Requests模块）
CZQ的博客
10-17 426
Requests 模块 首先一个简单的requests请求例子（直接复制到PyCharm运行即可）： import requests url = "https://www.baidu.com" # 将爬虫程序伪装成浏览器，从而获得更完整的响应数据 headers = { "User-Agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.
Python爬虫入门——Requests库
12-23
学习爬虫之前呢，最好要对HTTP协议有了解，我前面有写过几篇关于HTTP协议的文章，建议读者阅读一下，对爬虫帮助很大。 1. requests 库的几个主要方法 方法 说明 requests.request（） 构造一个网页请求，支撑...
python学习——爬虫requests库入门学习
09-26
为学习爬虫requests库的同学们，留下的尝试代码。方便大家学习与尝试。
Python爬虫学习（二）requests的使用
liuxuefeng12的博客
04-23 150
1.  如何保存图片，音频和视频文件？import requests r = requests.get('https://github.com/favicon.ico') with open('D:/favicon.ico','wb') as f: f.write(r.content)然后在D盘中就可以看到此图片，音频和视频文件类似。2.开源正则表达式匹配网址http://tool.o...
Python爬虫小例子——爬取51job发布的工作职位
12-17
所以两者形影相随，不离不弃，本文主要以一个简单的小例子，简述Python在爬虫方面的简单应用，仅供学习分享使用，如有不足之处，还请指正。 涉及知识点 本例主要爬取51job发布的工作职位，用到的知识点如下： 开发...
python 爬虫 基于requests模块的get请求
weixin_30593443的博客
08-19 1949
需求：爬取搜狗首页的页面数据 import requests # 1.指定url url = 'https://www.sogou.com/' # 2.发起get请求:get方法会返回请求成功的响应对象 response = requests.get(url=url) # 3.获取响应中的数据：text属性作用是可以获取响应对象中字符串形式的...
【META http-equiv="Content-Type" Content="text/html; Charset=*】意义详解
weixin_34144450的博客
11-21 300
META，网页Html语言里Head区重要标签之一 HTTP-EQUIV类似于HTTP的头部协议，它回应给浏览器一些有用的信息，以帮助正确和精确地显示网页内容。常用的HTTP- EQUIV类型有： Content-Type和Content-Language (显示字符集的设定) 说明：设定页面使用的字符集，用以说明主页制作所使用的文字已经语言，浏览器会根据此来调用相应的符集显示page内容。 &l...
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
梦想_起航
03-23 316
当http-equiv是content-type的时候，浏览器会根据此来调用相应的字符集显示page内容[但有的浏览器好像会自动检测编码]   这里有个更详细的： http://hi.baidu.com/pingpingzi188/blog/item/907a64820f8292a60cf4d2ec.html/cmtid/bb560b7a95f205e32e73b3c7   META--...
text和content方法的区别
热门推荐
步步拾遗
09-23 1万+
requests对象的get和post方法都会返回一个Response对象，这个对象里面存的是服务器返回的所有信息，包括响应头，响应状态码等。其中返回的网页部分会存在.content和.text两个对象中。 两者区别在于，content中间存的是字节码，而text中存的是Beautifulsoup根据猜测的编码方式将content内容编码成字符串。 直接输出content，会发现前面存在b'这
Python爬虫学习：使用requests
南淮北安的博客
04-16 428
文章目录1. 前言2. 使用requests 1. 前言 为了更加方便的实现抓取操作，出现了requests，开始讲述之前，要先确保安装好了requests库 2. 使用requests
Python爬虫学习一——requests库
daixaince的博客
04-09 1227
Python爬虫学习一——requests库Python爬虫学习一requests库 安装requests库 requests库常用方法简介 get方法 robots协议 安装requests库一般来说，anaconda已经安装了requests库（anaconda安装参见Python-opencv环境配置），可以在anaconda中检查是否安装：打开anaconda，选择environment，输
python requests模块
cmy_top的博客
07-11 439
requests模块安装常用方法requests添加代理cookiesession处理不信任的SSL证书 安装 cmd命令行里安装 pip install requests 开发者工具里安装 常用方法 requests.get(url, params=None, **kwargs)：以get的方式请求url，如果有参数则在后边添加对应参数 代码示例import requests url = 'https://www.baidu.com/s?' headers = { 'User-Ag
网络爬虫-----Requests库入门
一名在读学生
10-11 803
网络爬虫-----Requests库入门 1、requests.get()使用 requests.get(url) url：拟获取页面的url链接 response对象的属性如下： r.encoding:如果header种不存在charset，则认为编码为ISO-8859-1 r.apparent_encoding:根据网页内容分析出的编码方式 大概流程如下： 首先使用 r.status_code 返回200，则使用 r.text r.encoding r.apparent_encodi
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值