爬虫2-requests

爬虫2-requests库

目录

1.requests基本介绍
2.读取网页源代码的三种方式
3.request设置代理ip
4.requests处理不信任的ssl证书
5.cookie值介绍
6.json数据类型

1.requests基本介绍

requests是一种请求网页源代码的方式，常见的用法有两种requests.get()和requests.post()
格式如下

requests.get(url,params,headers)

params表示的是连接url的字符可以是字符串也可以是字典

2. 读取网页源代码的三种方式

res = requests.get(url,headers)
print(res.text)
text方法一般用于获取网页源代码的字符串形式的内容

res = requests.get(url,headers)
print(res.content)
content方法一般用获取字节流格式的数据，列如视频 图片等二进制文件

res = requests.get(url,headers)
print（res.content.decode(‘utf-8’（可视情况而定）)）
可以将数据解码成想要的编码格式，列如utf-8这是后来可能会用到的最多的读取方式

3.使用requests获取代理ip

首先获取代理ip的目的是当爬取网站时，如果爬取的速度过快，网站的反爬虫机制会发现并禁止你的ip访问，此时你的电脑将无法使用浏览器正常访问，因此为了保险起见使用代理ip是安全的选择。

ip当然也分为付费和免费的以下提供了一些网站
极光爬虫代理ip
快代理
精灵代理

使用格式如下

proxy = ‘http:代理ip号:端口号’
requests.get(url,headers,proxies=proxy)

实例:使用代理ip访问一个关键字为中国的网址

import requests
url = 'https://www.baidu.com/s?ie=UTF-8&'
kw  = {'wd':'中国'}
headers = {'User-Agent':"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36"}
proxy = {'http':'1.196.105.154:9999'}
rep = requests.get(url,params=kw,headers=headers,proxies=proxy)
print(rep.content.decode('utf-8'))

4.使用requests处理不信任的ssl证书

ssl证书简介
ssl类似于驾驶证、护照和电子营业的副本，是数字证书的一种，因为配置在服务器上所以又称为ssl服务器证书，其功能有数据传输加密和服务器身份验证
使用requests访问ssl不信任证书的网站要在requests里加一个参数verify=False实例代码如下

import requests
url = "https://inv-veri.chinatax.gov.cn/"#此网站为不信任的ssl证书网站
headers = {'User-Agent':"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36"}
res = requests.get(url,headers=headers,verify=False)
print(res.text)

5.cookie值

cookie值是用客户端记录用户信息的来确定用户的身份
首先我们来了解一下http

http是一种无状态连接协议，其客户端和服务器之间仅仅限于请求/响应，当完成一次请求和响应后就会断开，当下次服务器就会默认是一个新的客户端，因此为了维护连接让服务器得知是否为上一个客户端，需要一个位置存放上一个客户端的信息。

cookie值的两个作用
1.模拟登陆(不需要设置密码)
2.反爬
实例1.模拟登陆知乎

import requests
url = 'https://www.zhihu.com/topic/19550228/hot'
headers = {
    'user-agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 OPR/26.0.1656.60',
    'cookie':'SESSIONID=YWgdVS9cNxuDrfSCMM23TSaAHjwt5y3WyEWSBsE3mQy; JOID=VFgWA0qvBdGFdTqQUKn0SDrhhQdE5l-95kVN8jLFYYvnTW__MpEJwtx0P5BSbzoUjRIZySQOcBW0n-fjhuOIiZA=; osd=W1EQAk-gDNeEcDWZVqjxRzPnhAJL71m840pE9DPAboLhTGrwO5cIx9N9OZFXYDMSjBcWwCIPdRq9mebmieqOiJU=; _zap=4e9bc6b1-03ad-4aa1-9b14-e4e54a64b0d4; d_c0="ALAcKA20XxGPTnzkbCQZhZ17RJxuNuNc2GM=|1591260317"; _ga=GA1.2.850671573.1591260319; _xsrf=xmhYkcM1xsAWLE2Q8mylyNxOFtw4T2Xs; capsion_ticket="2|1:0|10:1594952754|14:capsion_ticket|44:MDA4ZWZjYjczODViNGJlZjllOTY3M2VhZmExYjkzYzQ=|6062f5aa865f05ee9b6ae05c42bf4d9f92e0df6b9f1141ed7b0e406b1532a109"; _gid=GA1.2.914065275.1594952753; _gat_gtag_UA_149949619_1=1; SESSIONID=OYob7qaambYa9RiaFOy8B2O87iVz2WeAt2ga4MM39U3; JOID=UFwUAUIkfy9i7kFFciSCsNtw-N5gbSNDC9I2IRBCG3MA3BgqFhN1Nj3jQkN6jgYeR_WwyPpbGA9ct_O6bUrYWsc=; osd=V14dCk0jfSZp4UZHey-Nt9l589FnbypIBNU0KBtNHHEJ1xctFBp-OTrhS0h1iQQXTPq3yvNQFwhevvi1akjRUcg=; Hm_lvt_98beee57fd2ef70ccdd5ca52b9740c49=1594952753,1594952761; Hm_lpvt_98beee57fd2ef70ccdd5ca52b9740c49=1594952761; KLBRSID=ed2ad9934af8a1f80db52dcb08d13344|1594952772|1594952753'
}
res = requests.get(url,headers=headers)
print(res.text)

2.当我们检查网页源代码时，发现数据在网页源码中找不到，原因是服务器可能向客户端发出多个响应，此时url无法接受完整的源代码
实例爬取12305其中数据列如列车次均存放在network中的Preview加入cookie值即可访问
实例2.爬取12305列车次

import requests
url = 'https://www.zhihu.com/topic/19550228/hot'
headers = {
    'user-agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 OPR/26.0.1656.60',
    'cookie':'SESSIONID=YWgdVS9cNxuDrfSCMM23TSaAHjwt5y3WyEWSBsE3mQy; JOID=VFgWA0qvBdGFdTqQUKn0SDrhhQdE5l-95kVN8jLFYYvnTW__MpEJwtx0P5BSbzoUjRIZySQOcBW0n-fjhuOIiZA=; osd=W1EQAk-gDNeEcDWZVqjxRzPnhAJL71m840pE9DPAboLhTGrwO5cIx9N9OZFXYDMSjBcWwCIPdRq9mebmieqOiJU=; _zap=4e9bc6b1-03ad-4aa1-9b14-e4e54a64b0d4; d_c0="ALAcKA20XxGPTnzkbCQZhZ17RJxuNuNc2GM=|1591260317"; _ga=GA1.2.850671573.1591260319; _xsrf=xmhYkcM1xsAWLE2Q8mylyNxOFtw4T2Xs; capsion_ticket="2|1:0|10:1594952754|14:capsion_ticket|44:MDA4ZWZjYjczODViNGJlZjllOTY3M2VhZmExYjkzYzQ=|6062f5aa865f05ee9b6ae05c42bf4d9f92e0df6b9f1141ed7b0e406b1532a109"; _gid=GA1.2.914065275.1594952753; _gat_gtag_UA_149949619_1=1; SESSIONID=OYob7qaambYa9RiaFOy8B2O87iVz2WeAt2ga4MM39U3; JOID=UFwUAUIkfy9i7kFFciSCsNtw-N5gbSNDC9I2IRBCG3MA3BgqFhN1Nj3jQkN6jgYeR_WwyPpbGA9ct_O6bUrYWsc=; osd=V14dCk0jfSZp4UZHey-Nt9l589FnbypIBNU0KBtNHHEJ1xctFBp-OTrhS0h1iQQXTPq3yvNQFwhevvi1akjRUcg=; Hm_lvt_98beee57fd2ef70ccdd5ca52b9740c49=1594952753,1594952761; Hm_lpvt_98beee57fd2ef70ccdd5ca52b9740c49=1594952761; KLBRSID=ed2ad9934af8a1f80db52dcb08d13344|1594952772|1594952753'
}
res = requests.get(url,headers=headers)
print(res.text)

json数据类型

首先了解什么是数据提取
简单点来讲在网站上爬取数据之后通过一系列的处理得到最终准确数据

json数据类型支持的格式有
数字型（Number） JavaScript 中的双精度浮点型格式
字符串型（String） 双引号包裹的 Unicode 字符和反斜杠转义字符
布尔型（Boolean） true 或 false
数组（Array） 有序的值序列
值（Value） 可以是字符串，数字，true 或 false，null 等等
对象（Object） 无序的键:值对集合
空格（Whitespace） 可用于任意符号对之间
null 空

数据处理
处理非结构化数据HTML方法是 使用正则表达式和xpath
处理结构化数据json 使用xml转化为python字符串类型

json使用方法
json.loads:将json数据格式转化为python数据类型
json.dumps:将python数据类型转化为 json数据类型
json.load:json类文件对象转化为python数据类型
json.dump:将python数据类型转化为json类文件对象