python的requests库概述

爬取网页数据requests库概述安装与导入：
* pip install requests

导入：
* import requests

requests库的主要方法：
1. requests.get():获取HTML网页的主要方法，对应与HTML的GET
2. requests.post()向HTML网页提交POST请求的方法，对应于HTTP的POST
3. requests.head()获取HTML网页头信息的方法，对应于HTTP的HEAD
4. put():向HTML网页提交PUT请求的方法，对应HTTP的PUT
5. patch()：向HTML网页提交局部修改请求，对应于HTTP的PATCH
6. delete（）：向HTML页面提交删除请求，对应于HTTP的DELETE

requests库的get（）方法get（）基本语法：获取HTML网页的主要方法，requests.get(url,params=None,kwargs)r = requests.get(url)url:获取页面的url链接params:向url中增加的额外参数，字典或字节序列kwargs：、1个访问控制的参数，均为可选项
* headers：字典类型，HTTP定制请求头
* cookies：字典或Cookiejar,request中的cookie
* timeout:设定超时时间，秒为单位
* proxies：字典类型，设定访问代理服务器，可以增加登录认证

get返回值网页的初始url代码（网页源代码）静态的可以直接get保存网页时要指定的编码为utf-8实例：获取百度贴吧网页源代码：pip install requestsimport requestsurl = ‘https://tieba.baidu.com’ headers = { ‘User-Agent’: ‘Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36’ } //字典类型r = requests.get(url, headers=headers) r.encoding = r.apparent_encoding print(r.status_code)print(r.text)4：传递YRL参数（params参数：字典类型）
* 爬取百度贴吧中和“python”有关的帖子

url = ‘https://tieba.baidu.com/f?kw=python’//需要注意的地方
* 或者可以写成这样

param = {‘kw’:‘python’}r = requests.get(url, params=param, headers=headers)5：使用代理（proxies参数：字典类型）
* 使用代理服务器获取农业大学的网页内容

import requestsurl = ‘http://www.hebau.edu.cn’ headers = { ‘User-Agent’: ‘Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36’ }proxy = { ‘http’: ‘http://222.95.241.243:3000’}//代理为字典型try: r = requests.get(url, headers= headers, proxies=proxy) r.raise_for_status() r.encoding = r.apparent_encoding print(r.text) except Exception kas e: print(e)import requestsurl = ‘http://www.hebau.edu.cn’ headers = { ‘User-Agent’: ‘Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36’ } proxies = [ {‘http’: ‘http://222.95.241.243:3000’}, {‘https’: ‘https//113.65.5.230:8118’} ]proxy = random.choice(proxies)try: r = requests.get(url, headers= headers, proxies=proxy) r.raise_for_status() r.encoding = r.apparent_encoding print(r.text) except Exception as e: print(e)超时设置(timeout参数，单位为秒)import requestsurl = ‘http://www.hebau.edu.cn’ headers = { ‘User-Agent’: ‘Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36’ } proxy = { ‘http’: ‘http://222.95.241.243:3000’}try: r = requests.get(url, headers= headers, proxies=proxy，timeout=3) r.raise_for_status() r.encoding = r.apparent_encoding print(r.text) except Exception as e: print(e)response对象的常用属性：方法说明textHTTP响应内容的字符串形式，即URL对应的网页内容status_codeHTTP请求的返回状态，200表示连接成功encoding从HTTP请求中猜测的相应内容编码方式，默认ISO-8859-1apparent_encoding从网页内容中分析出的相应内容编码方式contentHTTP响应的二进制形式 抓取二进制数据 例：获取一张图片import requestsurl = “http://www.hebau.edu.cn/picture/0/2002160009120336523.jpg” r = requests.get(url) with open(“E:/hebau.jpg”, ‘wb’) as f: f.write(r.content)python中路径的三种写法：例 “E:\hebau.jpg”
1. “E:/hebau.jpg”
2. “E:\hebau.jpg”
3. r"E:\hebau.jpg"

post()方法语法：requests.post(url,data=None,json=None,**kwargs)
* url:拟更新页面的url链接
* data:字典
* json：json格式的数据
* **kwargs:控制访问的参数

	* headers : 字典类型，HTTP定制头
	* cookies : 字典或CookieJar，request中的cookie
	* timeout : 设定超时时间，秒为单位
	* proxies : 字典类型，设定访问代理服务器，可以增加登录认证

JSON(JavaScript Object Notation):一种数据交换格式{ “name”:“Bob”, “age”:62, “cars”:[“Audi”, “BMW”, “Volvo” ] }JSON语法规则：使用花括号代表对象{}使用方括号代表数组[]使用键值对（key：value）代表对象属性和值使用逗号分隔多条数据json的键值对“name”:“XiaoHong”——字符串要用双引号，不能用单引号"age":18r = requests.post(url, data = formdata, headers=headers)#将json格式字符串转化为字典data = r.json() #取出翻译结果 result = data[‘translateResult’][0][0][‘tgt’] print(result)Response对象的方法r.json():如果响应内容为JSON格式数据，该方法可解析JSON数据