欢迎关注微信公众号：FSA全栈行动 👋
一、爬虫基础
- 概念
- 模拟浏览器，发送请求，获取响应
- 作用
- 数据采集
- 软件测试
- 抢票
- 网站上的投票
- 网络安全
1、http 与 https 的概念和区别
- HTTP：超文本传输协议，默认端口号是 80。
- 超文本：指超过文本，不仅限于文本；还包括图片、音频、视频等文件。
- 传输协议：是指使用共同约定的固定格式来传递转换成字符串的超文本内容。
- HTTPS：HTTP + SSL（安全套接字层），即带有安全套接字层的超文本传输协议，默认端口号：443。
- SSL：对传输的内容（超文本，也就是请求体或响应体）进行加密。
结论：HTTPS 比 HTTP 更安全，但是性能要低一点。
2、常见请求头与响应头
1）请求头
- Content-Type：内容类型（用于定义网络文件的类型和网页的编码，决定浏览器将以什么形式、什么编码读取这个文件）
- Host：主机和端口号
- Connection：链接类型
- Upgrade-Insecure-Requests：升级为 HTTPS 请求
- User-Agent：用户代理，提供系统信息和浏览器信息
- Referer：页面跳转处，常用于防盗链（图片/视频）
- Cookie：状态保持（有时效性）
- Authroization：用于表示 HTTP 协议中需要认证资源的认证信息，比如 jwt 认证
注意：加粗的请求头为常用请求头，在服务器被用来进行爬虫识别的频率最高，相较于其余的请求头更为重要。
2）响应头
- Set-Cookie：服务器设置 cookie 到用户浏览器的缓存
3、常见的响应状态码
- 200：成功
- 302：跳转，新的 url 在响应的 Location 头中给出
- 303：浏览器对于 POST 的响应进行重定向至新的 url
- 307：浏览器对于 GET 的响应重定向至新的 url
- 403：资源不可用；服务器理解客户的请求，但拒绝处理它（没有权限）
- 404：找不到该页面
- 500：服务器内部错误
- 503：服务器由于维护或者负载过重未能应答，在响应中可能会携带 Retry-After 响应头；有可能是因为爬虫频繁访问 url，使服务器忽视爬虫的请求，最终返回 503 响应状态码
注意：所有的状态码都不可信，一切以是否从抓包得到的响应中获取到数据为准。
4、代理
1）匿名度
根据代理 ip 的匿名程序，代理 IP 可以分为下面三类：
- 透明代理：透明代理虽然可以直接“隐藏”你的 IP 地址，但还是可以查到你是谁。目标服务器接收到的请求头如下：
REMOTE_ADDR = Proxy IP
HTTP_VIA = Proxy IP
HTTP_X_FORWARDED_FOR = Your IP
- 匿名代理：使用匿名代理，别人只能知道你用了代理，无法知道你是谁。目标服务器接收到的请求头如下：
REMOTE_ADDR = Proxy IP
HTTP_VIA = Proxy IP
HTTP_X_FORWARDED_FOR = Proxy IP
- 高匿代理：高匿代理让别人根本无法发现你在使用代理，所以高匿代理是最好的选择。
毫无疑问使用高匿代理效果最好。目标服务器接收到的请求头如下：
REMOTE_ADDR = Proxy IP
HTTP_VIA = not determined
HTTP_X_FORWARDED_FOR = not determined
2）协议
根据网站所使用的协议不同，需要使用相应协议的代理服务。从代理服务请求使用的协议可以分为：
- http 代理：目标 url 为 http 协议
- https 代理：目标 url 为 https 协议
- socks 隧道代理（例如 socks5 代理）等：
- socks 代理只是简单地传递数据包，不关心是何种应用协议（FTP、HTTP 和 HTTPS 等）
- socks 代理比 http、https 代理耗时少
- socks 代理可以转发 http 和 https 的请求
二、requests 模块
-
作用：发送 http 请求，获取响应数据。
-
官方文档
-
优点（相比于 urllib 模块）：
- requests 模块代码简洁易懂。
- 使用 requests 编写的爬虫代码将会更少。
- 功能实现上也简单很多。
1、requests 安装及简单使用
1）安装
pip/pip3 install requests
2）发送 get 请求
import requests
url = 'http://www.baidu.com'
# 向目标url发送get请求
response = requests.get(url)
# print(response.encoding) # ISO-8859-1
# 打印响应内容（中文可能会乱码）
print(response.text)
注意：
response.text是requests模块按照chardet模块推测出的编码字符集进行解码的结果。
3）字符编码（解决中文乱码）
response.text 和 response.content 的区别：
response.text- 类型：str
- 解码类型：requests 模块自动根据 HTTP 头部，对响应的编码作出有根据的推测，推测出文本的编码。
response.content- 类型：bytes
- 解码类型：没有指定
# ####### 指定 response.text 编码 #######
# 手动指定编码格式
response.encoding = 'utf8'
print(response.text)
# ####### 指定 response.content 编码 #######
# response.content 是存储的bytes类型的响应源码，可以进行decode操作
# print(response.content.decode('gbk'))
print(response.content.decode()) # 默认utf-8
2、Response 响应对象常用属性或方法
response.url：响应的 url；有时候响应的 url 和请求的 url 并不一致response.status_code：响应状态码response.request.headers：响应对应的请求头response.headers：响应头response.request._cookies：响应对应请求的 cookie；返回 cookieJar 类型response.cookies：响应的 cookie（经过了 set-cookie 动作；返回 cookieJar 类型）response.json()：自动将 json 字符串类型的响应内容转换为 python 对象（dict or list）
import requests
url = 'http://www.baidu.com'
# 向目标url发送get请求
response = requests.get(url)
# 打印响应内容
# print(response.text)
# print(response.content.decode())
print(response.url) # 响应的url
print(response.status_code) # 响应的状态码
print(response.request.headers) # 响应对象的请求头
print(response.headers) # 响应头
print(response.request._cookies) # 请求携带的cookies
print(response.cookies) # 响应中携带的cookies
3、requests 模块发送请求
1）发送带请求头的请求
requests.get(url, headers=headers)：
- headers 参数接收字典形式的请求头
- 请求头字段名为 key，字段对应的值为 value
import requests
url = 'http://www.baidu.com'
# 构建请求头字典
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36'
}
# 发送带请求头的请求
response = requests.get(url, headers=headers)
print(response.content.decode())
2）发送带参数的请求
- 方式一：在 url 中携带参数，即直接对含有参数的 url 发起请求
- 方式二：通过 params 携带参数，即构建请求参数字典
data并设置给 paramsrequests.get(url, params=data)
import requests
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36'
}
# 方式一：在url中携带参数
# url = 'http://www.baidu.com/s?wd=python'
# response = requests.get(url, headers=headers)
# 方式二：通过params携带参数
url = 'http://www.baidu.com/s'
# 构建参数字典
data = {
'wd': 'python'
}
response = requests.get(url, headers=headers, params=data)
3）发送带 cookie 的请求
- 方式一：在 headers 参数中携带 cookie
- 方式二：使用
cookies参数response = requests.get(url, cookies)
url = 'https://github.com/GitLqr'
# 方式一：在headers参数中携带cookie
# 构建请求头
# headers = {
# ...,
# 'Cookie': '_octo=GH1.1.1045146750.1615451260; balabala...',
# }
# response = requests.get(url, headers=headers)
# 方式二：使用 cookies 参数(字典)
# 注意：需要字符串 --> 字典
temp = '_octo=GH1.1.1045146750.1615451260; _device_id=cd8d64981fcb3fd4ba7f587873e97804;balabala...'
cookie_list = temp.split('; ')
# 稳妥方案
# cookies = {}
# for cookie in cookie_list:
# cookies[cookie.split('=')[0]] = cookie.split('=')[-1]
# 推导式方案
cookies = {cookie.split('=')[0]: cookie.split('=')[-1] for cookie in cookie_list}
response = requests.get(url, cookies=cookies)
4）cookieJar 对象与字典互转
# cookieJar对象 转换为 cookies字典
dict_cookies = requests.utils.dict_from_cookiejar(response.cookies)
# cookies字典 转换为 cookieJar对象
jar_cookies = requests.utils.cookiejar_from_dict(dict_cookies)
5）设置请求超时参数 timeout
requests.get(url, timeout=3)：
timeout=3表示：发送请求后，3 秒内返回响应，否则就抛出异常
import requests
url = 'https://twitter.com'
response = requests.get(url, timeout=3)
6）proxies 代理参数的使用
response = requests.get(url, proxies=proxies)：
- proxies 类型：字典
import requests
url = 'http://www.baidu.com'
proxies = {
'http': 'http://61.160.210.234:808',
'https': 'https://61.160.210.234:808',
}
response = requests.get(url, proxies=proxies)
注意：代理使用成功不会有任何报错，能成功获取响应；如果失败，要么卡滞，要么报错。
- 免费代理 ip 提供站：
7）使用 verify 参数忽略 CA 证书
当某些网站的 CA 证书没有经过【受信任的根证书颁发机构】的认证，访问时会被拦截，浏览器会显示【您的连接不是私密连接】等提示，这时有 2 种解决方案：
- 方式一：下载该网站的 CA 证书，手动导入给当前设备
- 方式二：使用
response = requests.get(url, verify=False)直接忽略 CA 证书验证- verify 参数能够忽略 CA 证书的认证
import requests
url = 'https://sam.huat.edu.cn:8443/selfservice/'
# 报错：requests.exceptions.SSLError: HTTPSConnectionPool(host='sam.huat.edu.cn', port=8443): Max retries exceeded with url: /selfservice/ (Caused by SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: self signed certificate (_ssl.c:1125)')))
# response = requests.get(url)
# 警告：InsecureRequestWarning: Unverified HTTPS request is being made to host '127.0.0.1'. Adding certificate verification is strongly advised.
response = requests.get(url, verify=False)
8）发送 post 请求
response = requests.post(url, data)：
data参数接收一个字典- request 模块发送 post 请求函数的其它参数和发送 get 请求的参数完全一致
import requests
import json
import sys
class King(object):
def __init__(self, word):
self.url = 'https://ifanyi.iciba.com/index.php?c=trans&m=fy&client=6&auth_user=key_ciba&sign=37218aa29f55fdcc'
self.headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36',
}
self.data = {
'from': 'auto',
'to': 'auto',
'q': word
}
def get_data(self):
# 使用post方法发送一个post请求，data为请求体的字典
response = requests.post(self.url, data=self.data, headers=self.headers)
return response.content
def parse_data(self, data):
# loads方法将json字符串转换成python字典
dict_data = json.loads(data)
print(dict_data['content']['out'])
def run(self):
response = self.get_data()
print(response)
self.parse_data(response)
if __name__ == '__main__':
# word = input('请输入要翻译的单词或句子:')
# word = sys.argv[1]
word = '字典'
king = King(word=word)
king.run()
9）利用 requests.session 进行状态保持
requests 模块中的 Session 类能够自动处理发送请求获取响应过程中产生的 cookie，进而达到状态保持的目的。
- 作用：自动处理 cookie
- 场景：连续的多次请求
- 使用方法：
session = requests.session() # 实例化session对象
response = session.get(url, headers, ...)
response = session.post(url, data, ...)
注意：session 对象发送 get 或 post 请求的参数，与 requests 模块发送请求的参数完全一致
如果文章对您有所帮助, 请不吝点击关注一下我的微信公众号：FSA全栈行动, 这将是对我最大的激励. 公众号不仅有Android技术, 还有iOS, Python等文章, 可能有你想要了解的技能知识点哦~
8万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
