爬虫入门 request和response

通用爬虫和聚焦爬虫

        通用网络爬虫 是 捜索引擎抓取系统的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。聚焦爬虫，是"面向特定主题需求"的一种网络爬虫程序，它与通用搜索引擎爬虫的区别在于： 聚焦爬虫在实施网页抓取时会对内容进行处理筛选，尽量保证只抓取与需求相关的网页信息。

        但我们主要学习的是聚焦爬虫

request请求

import requests //导入requests模块

get
# headers = {
#     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36'
# }
# # url = 'https://httpbin.org/get?a=123&b=%27abc%27'
# url = 'https://httpbin.org/get'
# params = {
#     'a': 123,
#     'b': 'abc'
# }
#
# # 通过requests发送get请求，url必须是字符串，返回值就是服务器的响应对象
# response = requests.get(url=url, headers=headers,params=params)
# # print(response)
# print(response.text)  # 获取响应正文

post
url = 'https://httpbin.org/post'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36'}
# 这个字典用来放要提交的数据
data = {
    'user':'qq',
    'passwd':'qwe123'
}
response = requests.post(url=url, headers=headers,data=data)
print(response.text)

response响应

import requests


url = "https://www.baidu.com/"
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36'}

response = requests.post(url=url, headers=headers,)
# print(response.text)
# print(response.headers) #响应头
# print(response.request.headers) #请求头
# print(response.status_code) #响应状态码
# print(response.url) #响应url
print(response.request.url) #请求url

常见状态码：

- `100~199`：表示服务器成功接收部分请求，要求客户端继续提交其余请求才能完成整个处理过程。
- `200~299`：表示服务器成功接收请求并已完成整个处理过程。常用200（OK 请求成功）。
- `300~399`：为完成请求，客户需进一步细化请求。例如：请求的资源已经移动一个新地址、常用302（所请求的页面已经临时转移至新的url）、307和304（使用缓存资源）。
- `400~499`：客户端的请求有错误，常用404（服务器无法找到被请求的页面）、403（服务器拒绝访问，权限不够）。
- `500~599`：服务器端出现错误，常用500（请求未完成。服务器遇到不可预知的情况）。