Python网络爬虫与信息提取MOOC学习——Requests库入门

最新推荐文章于 2022-12-02 10:31:30 发布

二5678七

最新推荐文章于 2022-12-02 10:31:30 发布

阅读量335

点赞数

分类专栏： Python

本文链接：https://blog.csdn.net/LTCSDN7/article/details/112976945

版权

Python 专栏收录该内容

10 篇文章 0 订阅

订阅专栏

Requests库

Requests是网络爬虫库，自动爬取HTML页面，自动网络请求提交

一、requests库的安装
Requests库学习网站
http://www.python-requests.org
在Python里安装Requests库
找到Python\Scripts的文件位置：打开cmd,输入where python或者开始输入python，打开文件所在位置，获取Scripts目录。
在cmd中用cd进入文件目录，安装Requests库

pip install requests

在这里插入图片描述

可能遇到的警告

The script chardetect.exe is installed in ‘路径\python\python39\Scripts’，which is not on PATH

不在路径里，需要加入路径
在环境变量(Windows)里加入路径
此电脑–>属性–>高级系统设置–>环境变量–>系统变量，找到Path–>编辑–>加入这个路径–>确定

WARNING: You are using pip version 20.2.3; however, version 20.3.3 is available. You should consider upgrading via the’路径\python\python39\python.exe -m pip install --upgrade pip’ command

cmd进入Python的目录下，输入

python -m pip install --upgrade pip -i https://pypi.douban.com/simple

参考文章https://blog.csdn.net/qq_42794767/article/details/109243965?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522161128321116780264067733%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=161128321116780264067733&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2_allfirst_rank_v2~rank_v29-1-109243965.pc_search_result_hbase_insert&utm_term=WARNING:%20You%20are%20using%20pip%20version%2020.2.3;%20however,%20version%2020.3.3%20is%20available.%20You%20should%20consider%20upgrading%20via%20the%20%27c:\users\hy\appdata\local\programs\python\python39\python.exe%20-m%20pip%20install%20–u

二、检查Requests库的安装+访问
打开Python查看

import requests  #调用Requests库
r = requests.get("http://www.baidu.com")
print(r.status_code)  #状态码是200-->访问成功, 404失败
type(r)   #返回类<class 'requests.models.Response'>
r.headers  #返回get请求获得页面的头部信息
r.encoding = 'utf-8'   #防止乱码
r.text   #打印网页内容

百度的主页

三、HTTP协议及Requests库方法
HTTP协议：Hypertext Transfer Protocol,超文本传输协议，是一种基于“请求与响应”模式的、无状态的（第一次请求和第二次请求间没有相关的关联）应用层协议。（用户发起请求，服务器响应）
URL格式 http://host[:port][path]
host:合法的Internet主机域名或IP地址
port: 端口号，默认为80，可以省略
path: 资源的路径
URL是通过HTTP协议存取资源的Internet路径，一个URL对应一个数据资源
在这里插入图片描述
可以把互联网当成一个云端，GET获取全部资源，HEAD获得头部信息
HTTP协议通过URL对资源做定位，对资源进行管理，每次操作都是独立无状态的。

四、返回Response对象的属性

get方法
r = requests.get(url)

构造一个向服务器请求自由的Requests对象
r 返回一个包含服务器资源的Response对象（包含爬虫返回的全部内容）

import requests
r = requests.get("http://www.baidu.com")
r.status_code    //200  检查Response对象的状态
r.text //打印出内容：发现乱码
r.encoding   //编码是'ISO-8859-1'
r.apparent_encoding  //'utf-8'
r.encoding = 'utf-8'
r.text  //看到了中文字符

如果status_code返回404，则URL访问因为某些原因出错将产生异常，正常访问返回200

r.encoding vs r.apparent_encoding
r.encoding: 从HTTP header中猜测的响应内容编码方式
网络上的资源有编码，需要有效解析方式解读，如果有猜测字段charset（服务器有要求）则显示猜测的编码方式，如果没有默认ISO-8859-1，r.text根据r.encoding显示网页内容
apparent-encoding是备选编码，根据HTTP的内容部分而不是头部分分析内容中可能出现的编码方式，更加准确。

五、requests 库方法形式

requests.request(method, url, **kwargs)

method: 请求方式，对应了七种方法
url: 获取页面的URL链接
**kwargs：控制访问的参数，一共13个

r = requests.request(‘GET’, url, **kwargs)

**kwargs：13种控制访问参数，均为可选项，用哪个设置哪个

params :能够加到URL中，字典或字节序列

kv = {'key1':'value1', 'key2':'value2'}
r = requests.request('GET', 'http://python123.io/ws', params = kv)
print(r.url)
## http://python123.io/ws?key1=value&key2=value2

data 提交资源向服务器使用，字典、字节序列或文件对象作为Request内容

kv = {'key1':'value', 'key2':'value2'}
r = requests.request('POST', 'http://python123.io/ws', data = kv)
body = '主体内容'
r = requests.request('POST', 'http://python123.io/ws', data = body)

json JSON格式的数据作为Request的内容
headers 字典，HTTP定制头

hd = {'user-agent': 'Chrome/10'}
r = requests.request('POST', 'http://python123.io/ws', headers = hd)

cookies: 字典或CookieJar, Request中的cookie
auth: 元组，支持HTTP认证功能
files: 字典类型，传输文件

fs = {'file': open('data.xls', 'rb')}
r = requests.request('POST', 'http://python123.io/ws', files = fs)

timeout: 设定超时时间，秒为单位

r = requests.request('GET', 'http://www.baidu.com', timeout = 10)

proxies: 字典类型，设定访问代理服务器，可以增加登录认证

pxs = {'http': 'http://user.pass@10.10.10.1:1234'
	   'http': 'http://10.10.10.1:4321'  }
r = requests.request('GET', 'http://www.baidu.com', proxies = pxs)

allow_redirects: True/False,默认为True,重定向开关
stream： True/False, 默认为True,获取内容立即下载开关
verfity: True/False,默认为True,认证SSL证书开关
cert: 本地SSL证书路径

requests.get(url, params=None, **kwargs) #除了param以外的其他12个控制访问参数
requests.head(url, **kwargs)
requests.post(url, data=None, json=None,**kwargs)
requests.put(url, data=None, **kwargs)
requests.patch(url, data=None, **kwargs)
requests.delete(url, **kwargs)

六、Requests库的七个方法
requests库的七个主要方法
requests方法是基础方法
由于限制几乎不使用后三个方法put, patch, delete，当访问大资源时只提取header, 最常使用get方法

import requests
r = requests.get("http://www.baidu.com")  #get方法，获取HTML网页
r.status_code    #200  检查Response对象的状态
r.text #打印出内容：发现乱码
r.encoding = r.apparent_encoding   #编码是'ISO-8859-1'改成'utf-8'
r.text  #看到了中文字符

import requests
r = requests.head('http://httpbin.org/get')
r.headers    #得到头部信息
r.text

POST像服务器提交新增数据
向URL POST一个字典自动编码未form表单，默认存在表单字段下

import requests
payload = {'key1': 'value1', 'key2': 'value2'}  #建立字典payload
r = requests.post('http://httpbin.org/post', data = payload)
print(r.text)
#得到..."form":{"key1":"value1","key2":"value2"}...

向URL POST一个字符串，自动编码为data

r = requests.post('http://httpbin.org/post', data = 'ABC')
print(r.text)

PATCH vs PUT
PATCH只重新提交更改后的字段
PUT重新提交所有字段，将原有的数据覆盖掉–>未提交的会被删除

payload = {'key1': 'value1', 'key2': 'value2'}  #建立字典payload
r = requests.post('http://httpbin.org/put', data = payload)
print(r.text)

七、爬取网页的通用代码框架
Requests库连接异常，网络连接有风险，异常处理很重要！！！
在这里插入图片描述
r.raise_for_status: 判断返回的Response的状态，如果不是200，产生HTTPError异常
try-except 语句处理异常
通用异常处理代码框架

import resuests
def getHTMLText(url):   #一个异常处理方法
	try:
		r = requests.get(url, timeout = 30)   #设置
		r.raise_for_status() #如果状态不是200返回HTTPError异常
		r.encoding = r.apparent_encoding
		return r.text
	except:
		return "产生异常"
if _name_ == "_main_":
	url = "http://www.baid.com"
	print(getHTMLText(url))

例：计算每次访问的时间以及总时间

import resuests
import time
def getHTMLText(url):
	try:
		r = requests.get(url, timeout = 30)
		r.raise_for_status() #如果状态不是200返回HTTPError异常
		r.encoding = r.apparent_encoding
		return r.text
	except:
		return "产生异常"

if __name__ == "__main__": 
url = "https://www.baidu.com"
totaltime = 0      #爬取100次所用的总时间
for i in range(100):
	starttime = time.perf_counter()
    getHtmlText(url)     #如果有异常会打印：产生异常
    endtime = time.perf_counter()
    print('第{0}次爬取，用时{1:.4f}秒'.format(i+1, endtime-starttime))
    totaltime = totaltime + endtime - starttime    
    print('总共用时{:.4f}秒'.format(totaltime))