通用爬虫和聚焦爬虫
通用网络爬虫 是 捜索引擎抓取系统的重要组成部分。主要目的是将互联网上的网页下载到本地,形成一个互联网内容的镜像备份。聚焦爬虫,是"面向特定主题需求"的一种网络爬虫程序,它与通用搜索引擎爬虫的区别在于: 聚焦爬虫在实施网页抓取时会对内容进行处理筛选,尽量保证只抓取与需求相关的网页信息。
但我们主要学习的是聚焦爬虫
request请求
import requests //导入requests模块 get # headers = { # 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36' # } # # url = 'https://httpbin.org/get?a=123&b=%27abc%27' # url = 'https://httpbin.org/get' # params = { # 'a': 123, # 'b': 'abc' # } # # # 通过requests发送get请求,url必须是字符串,返回值就是服务器的响应对象 # response = requests.get(url=url, headers=headers,params=params) # # print(response) # print(response.text) # 获取响应正文 post url = 'https://httpbin.org/post' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36'} # 这个字典用来放要提交的数据 data = { 'user':'qq', 'passwd':'qwe123' } response = requests.post(url=url, headers=headers,data=data) print(response.text)
response响应
import requests url = "https://www.baidu.com/" headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36'} response = requests.post(url=url, headers=headers,) # print(response.text) # print(response.headers) #响应头 # print(response.request.headers) #请求头 # print(response.status_code) #响应状态码 # print(response.url) #响应url print(response.request.url) #请求url
常见状态码: - `100~199`:表示服务器成功接收部分请求,要求客户端继续提交其余请求才能完成整个处理过程。 - `200~299`:表示服务器成功接收请求并已完成整个处理过程。常用200(OK 请求成功)。 - `300~399`:为完成请求,客户需进一步细化请求。例如:请求的资源已经移动一个新地址、常用302(所请求的页面已经临时转移至新的url)、307和304(使用缓存资源)。 - `400~499`:客户端的请求有错误,常用404(服务器无法找到被请求的页面)、403(服务器拒绝访问,权限不够)。 - `500~599`:服务器端出现错误,常用500(请求未完成。服务器遇到不可预知的情况)。