爬虫 小知识

爬虫：请求头包括

爬虫的过程包括 获取
网址信息 通过chrome浏览器 在general上就可以找到我们需要的网址信息

1)常规 和响应标头

请求标头

• accpet 浏览器 接受的数据

• cookie 保持状态

• user_agent 用户代理：浏览器身份证

   headers ={ 将   useragent  带入}
  
  response = requests.get(url,headers= headers)
  
  print(reponse.text)
  

---

2)请求方法有哪些

• requests.get 获取数据（提取数据)
• post 提交数据
• put 修改
• del 删除

---

载荷

有个表单数据
就是我们需要提交的

data ={ ‘’}

response = requests.post(url,data=data)
print(response.text)

---

4）请求头 headers

• cookie:
• host:
• origin:
• Refer:
• User -agent:

5)数据为什么加密

• 保障数据的安全
• 反爬
• sign 加密数据

6)如何实现解密操作

怎么对数据加密的 在那里加密的
前端 html（搭建） css (美化） js （渲染)
后端 python php java
前端加密的

在源代码找到md5 md5的加密方法