爬虫学习笔记（一）——Requests

import requests


requests库主要有七个方法
1、request() 是其余六种方法的基础，其余六种其实是返回以名字为参数的request函数
2、get(url, params=None, **kwargs)
3、head(url, **kwargs)
4、post(url, data=None, json=None, **kwargs)
5、put(url, data=None, **kwargs)
6、patch(url, data=None, **kwargs)
7、delete(url, **kwargs)


response对象属性
r.status_code  HTTP的请求返回状态
r.text  HTTP响应内容的字符串形式，url对应的页面
r.encoding  从Http  headers中猜想的响应内容编码。如果headers中不存在charset,则认为编码为ios-8859-1
r.apparent_encoding  分析出的内容编码
r.content  HTTp响应的二进制形式

通用代码框架：

try:
    r = requests.get(url, timeout=30)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    return r.text
except:
    return 'err'

r.raise_for_status()自动判断r.status_code是否等于200，不需要额外的if语句

HTTP是基于“请求与响应”模式的、无状态的应用层协议，采用URL作为定位网络资源的标识


POST一个字典，会自动转成表单
payload={'key1':'val1', 'key2':'val2'}
requests.post(url, data=payload)

{
"form":{
"key2":'val2',
'key1':'val1'
},
}


POST一个字符串，会自动转成data
requests.post(url, data='abc')

{
'data':'abc'
"form":{},
}

**Kwargs:

params:字典或序列，作为参数加到url中
data:字典、序列或文件对象，作为request的内容
json: JSON格式的数据，作为内容
headers:字典，HTTP定制头
cookies:字典或CookieJar,request中的cookie
auth:元组，支持http认证功能


files:字典类型，传输文件
fs={'file':open('data.txt','rb')}
files=fs


timeout:超时，单位S
proxies:字典类型，设定访问代理服务器，可以增加登陆认证
allow_redirects: 默认True，重定向开关
stream:默认True,获取内容立即下载开关
verify:默认True，认真ssl证书开关

cert:本地ssl证书路径

/robots.txt  爬虫参考协议(建议，非必须遵循）
检查HTTP协议头的User-Agent域


r.headers返回url的头部信息
r.request.headers返回爬虫请求的头部信息
kv = {'User-Agent':'Mozilla/5.0'}
在get函数中加入参数headers=kv,可以防止部分网站的限制


模拟百度搜索例子：
https://www.baidu.com/s?wd=python
kv = {'wd':'python'}
requests.get('http://www.baidu.com/s', params=kv)


r.request.url

返回爬虫中的url，即r.request.*包含爬虫各类属性而非服务器

保存网页视频的简单例子，但是这种方法保存速度慢，查找视频链接是个重点

url = 'url'
path = 'D://bbb.mp4'

kv = {'User-Agent':'Mozilla/5.0'}

try:
    r = requests.get(url,headers=kv)
    r.raise_for_status()
    with open(path, 'wb') as f:
            f.write(r.content)
            f.close()
            print('save ok')
except:
    print('err')