爬虫中Request属性

复习爬虫····
学习来源为风变编程（强推风变）
还有北京理工大学可爱的嵩天的老师！

基础引入

3steps
获取网页———解析网页——存储数据

发起网络请求，获取网页信息————从HTML源码中提取想要的数据————将解析后的数据存储下来

用requsets库发起网络请求

import requests

res =  requests.get('网址')
# 调用requests.get()函数，参数位置填写URL，把结果赋值到变量res上

#查看res的内容
print（res）
#使用 type（）函数来查看一下 requests.get() 函数返回结果的类型
res_type = type(res)
print(res_type)
# requests.get() 函数返回结果是一个属于 requests.models.Response 类的对象

# 打印Response对象的status_code属性，即状态码
print(res.status_code)

Response.text 属性

text = res.text

Response.text 可以得到网页代码的字符串形式
用Response.text 属性能获取具体的内容

Response.encoding属性

之前的变量res就是一个类的对象
对象有许多属性

res.encoding = 'utf-8'

http 与https的区别

http 协议中，数据没有经过加密处理，所以在网络上输入的账号密码，个人信息等数据如果被人获取的话就非常危险。
而 https 协议会在 http 协议的基础上对数据进行加密处理，相对于 http 来说更加安全、可靠。

查看robots协议

在网站的主机域名后加上 /robots.txt 即可

User-agent:*
Disallow:/
# *号是所有的意思，这里是谁都不许爬