爬虫转型测试的心得分享

一：那些爬虫知识可以留下，在测试中进行使用

1、请求方式-请求头-响应头

get请求与post请求的理解：

最大的区别在于：get请求的参数跟在url地址后，而post请求需要提交参数表单

在浏览器的开发者工具中的负载下的参数，就是post请求需要的参数信息

2、请求头

这些内容需要理解

这些是需要了解的参数，不管是在爬虫中还是测试中这些信息都会让你对请求的内容和响应有所了解。

3、响应头（了解即可）

二：requests的使用

玩过爬虫你不懂requests那就不算会爬虫

requests的使用也是需要知道的，这里不做详细的讲解，本章只对知识点进行整理

• 发送HTTP请求：支持GET、POST、PUT、DELETE等多种HTTP方法。
• 自动处理URL编码：发送请求时，URL中的参数会自动进行URL编码。
• 自动处理cookies：发送请求和接收响应时，requests会自动处理cookies。
• 会话对象：支持使用Session对象来跨请求保持某些参数（如cookies、headers等）。
• 文件上传：支持使用POST请求上传文件。
• 流式下载：支持以流的形式下载大文件，边下载边处理，无需一次性加载到内存中。
• JSON数据：自动处理JSON数据的编码和解码。
• 自定义请求头：可以自定义请求头，如User-Agent、Authorization等。
• 响应内容：以Python字典形式返回JSON响应内容，以二进制形式返回其他类型的响应内容。
• 异常处理：对于失败的请求，requests会抛出一个requests.exceptions.RequestException异常，可以根据需要进行捕获和处理。

简单的一个get请求和post请求

import requests  
  
# 发送GET请求  
response = requests.get('https://httpbin.org/get')  
  
# 获取响应内容（文本形式）  
print(response.text)  
  
# 获取响应状态码  （也可直接输出response）
print(response.status_code)  
  
# 获取响应头  
print(response.headers)  
  
# 获取JSON响应内容（如果响应是JSON格式）  
# response_json = response.json()  
# print(response_json)

import requests  
  
# 发送POST请求，传递表单数据  
response = requests.post('https://httpbin.org/post', data={'key': 'value'})  
  
# 打印响应内容  
print(response.text)

三：selenium的使用

需要知道selenium这个强大的第三方库的组成

这里简单讲解一下selenium的基础使用

from selenium import webdriver  
  
# 配置WebDriver的路径  
driver_path = 'path/to/your/chromedriver'  # 这里替换为你的ChromeDriver路径  
  
# 创建WebDriver实例  
driver = webdriver.Chrome(executable_path=driver_path)  
  
# 打开网页  
driver.get('http://www.example.com')  
  
# 获取网页标题  
title = driver.title  
print(title)  
  
# 关闭浏览器  
driver.quit()

另外需要注意，浏览器驱动插件的下载

四：对HTML、CSS、JS的了解。也需要注重

需要了解代码的作用，能看懂代码就行

五：后续对Linux、MySQL的学习也需要注重。

后边我会一步一步的进行分享。