【爬虫】Web基础——响应头、请求头、http&https、状态码（内含相关资源链接）

最新推荐文章于 2024-06-26 17:10:53 发布
最新推荐文章于 2024-06-26 17:10:53 发布
阅读量225 收藏
点赞数
分类专栏： 前端 html 文章标签： http 爬虫 https
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_67401270/article/details/123374834
版权
本文介绍了网络爬虫的基本概念，详细讲解了HTTP与HTTPS的区别，以及请求头（如Host、User-Agent、Referer、Cookie）和响应头（Content-Type、Content-Length、Set-Cookie）的关键字段。同时，概述了常见的HTTP状态码，如200、302、403、404、500和503，并提到了服务器如何处理爬虫的请求。最后，提供了多个相关学习资源链接。
摘要由CSDN通过智能技术生成

1 爬虫初步

网络爬虫（又被称为网页蜘蛛，网络机器人）就是模拟客户端(主要指浏览器)发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-rdY0yiTe-1627002815762)(https://gimg2.baidu.com/image_search/src=http%3A%2F%2Fimg.kanzhun.com%2Fimages%2Fseo%2Fmianshiti%2F20191125%2F529e60d55907b1fab58010ea8fab7376.jpg&refer=http%3A%2F%2Fimg.kanzhun.com&app=2002&size=f9999,10000&q=a80&n=0&g=0n&fmt=jpeg?sec=1629592183&t=4456f3af39bbb445ae4ae4e7d21aefac)]

2 请求头和响应头

2.1 常见请求头解析

下面尝试访问百度首页

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jRxbYcUF-1627002815796)(【Python爬虫】Web基础.assets/image-20210723083506547.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-95IkYWAN-1627002815816)(【Python爬虫】Web基础.assets/image-20210723083443222.png)]

  • Host ：用于指定被请求资源的Internet主机和端口号

  • Connection (连接类型)

    • 关闭TCP连接
    • 长连接（Keep-alive）,默认情况

  • U

最低0.47元/天 解锁文章
是啥东西呢
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HTTP各状态码生成原理，请求头、响应头各字段含义（爬虫深入必备知识）.docx
11-23
本文将深入解析HTTP状态码的生成原理，以及请求头和响应头中的常见字段。 首先，HTTP状态码是服务器对客户端请求的反馈，分为五类：1xx（信息性状态码）、2xx（成功状态码）、3xx（重定向状态码）、4xx（客户端错误...
蜘蛛：请求头、响应头、响应码
qq_61944360的博客
04-16 703
请求头内容 (1)Host(主机和端口号) :指定被请求资源的Internet主机和端口号，对应网址URL的Web名称和端口号，通常属于URL的Host部分。（服务器地址，表示浏览器要向哪台服务器发送请求，可以是 IP 端口号，也可以是域名。该字段由浏览器生成，JS无法干预） (2)Connection(连接类型):表示客户端与服务器的连接类型。通常情况下，连接类型的对话流程如下: ①Client发起一个包含Connection:keep-alive的请求（HTTP 1.1使用keep-alive为默认
HTTP协议中的各种请求头、请求类型的作用以及用途
杨荧的CSDN博客
06-26 1296
HTTP协议定义了一种请求和响应的格式，客户端通过发送HTTP请求到服务器，服务器接收到请求后，根据请求的内容生成HTTP响应，并将响应发送回客户端。
“百度”、“google”的爬虫请求头信息 user-agent
易编橙 · 终身成长社群，相遇已是上上签！
01-20 3857
百度和谷歌的爬虫请求，都是get请求，下面是他们请求的user-agent 百度 服务器地址在北京 {city:“北京市”, province:“北京市”} Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) 谷歌 服务器地址在芒廷维尤 {city:“芒廷维尤”, province:“加利福尼亚州”} Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X B
Python——爬虫之网页请求HTTP响应头和HTTP请求头——六月十八
qq_59344127的博客
06-18 1354
这是一个HTTP响应头和请求头的示例，提供了有关服务器响应的详细信息。
http请求头部（header）详解
热门推荐
随便写写
09-07 2万+
通过对HTTP请求头部的详细介绍，我们可以看到，这些看似普通的头部字段实际上在HTTP通信中扮演着非常重要的角色。它们不仅可以提供必要的信息，还可以用于优化传输、处理数据、控制缓存等操作。了解并正确使用HTTP请求头部是开发人员和网络工程师的一项基本技能，对于构建高效、可靠的Web应用程序至关重要。
Python爬虫库requests获取响应内容、响应状态码、响应头
09-18
### Python爬虫库requests获取响应内容、响应状态码、响应头 #### 一、获取不同类型的响应内容 在使用Python的requests库进行网络爬虫开发时，获取响应内容是核心功能之一。根据响应数据的不同类型，requests提供...
003.Python爬虫系列-HTTP&HTTPS协议
最新发布
08-30
概念 * 就是两个计算机之间为了能够流畅的进行沟通而设置的一个君子协定 * 常见的协议有TCP/IP，SOAP协议... * 无状态：每一次请求与响应完成之后，就结束。并不会记录任何状态 * 作用：制定了应用程序间数据传输的规范
Pytho爬虫中Requests设置请求头Headers的方法
09-24
在Python爬虫的开发过程中，使用Requests库进行网页数据的抓取是一项基础且重要的技能。而设置正确的请求头（Headers）是其中尤为关键的一环。本文将详细说明在Python爬虫中如何使用Requests库设置请求头，以及为...
JavaWeb HTTP 请求头、请求体、响应头、响应体、响应状态码
一只文森特
03-02 1312
JavaWeb HTTP 请求头、请求体、响应头、响应体、响应状态码
【web安全】——HTTP请求头注入
Demo不是emo的博客
01-10 4751
http请求头注入操作
JavaWeb篇——学习百度请求和响应中的常见部分以及常见的响应码
我热爱学习，也乐于分享。无论是科技前沿的洞见，还是生活中的小技巧，我都会在这里与你分享。我相信，知识就是力量，而分享则能让这份力量得到更好的传递。
01-21 402
403 表示用户得到授权（与401错误相对），但是访问是被禁止的，服务器收到请求但是拒绝提供服务。502 一般是网关服务器请求后端服务时，后端服务没有按照http协议正确返回结果。3、3** ：表示重定向（界面会跳转到另一个网页，告诉你去别的页面找你想要的信息）406 用户请求的格式不可得（比如用户请求JSON格式，但是只有XML格式）。504 一般是网关服务器请求后端服务时，后端服务没有在特定的时间内完成服务。4开头系列：客户端错误--请求有语法错误或请求无法实现。1开头系列：表示请求已接收，继续处理。
Web（三）-- http常见Request对象的 请求消息头详解
PUYALEI的博客
05-18 488
User-Agent浏览器相关信息Cookie（）会话管理相关，非常的重要。
http请求头
钟爱技术
06-02 732
http请求头，HTTP客户程序（例如浏览器），向服务器发送请求的时候必须指明请求类型（一般是GET或者POST）。如有必要，客户程序还可以选择发送其他的请求头。 目录 1简介 2类型 1简介编辑 HTTP客户程序（例如浏览器），向服务器发送请求的时候必须指明请求类型（一般是GET或者POST）。如有必要，客户程序还可以选择发送其他的请求头
初识爬虫(spider)
xuan_kong的博客
04-03 1796
​爬虫可分为两大类：通用网络爬虫、聚焦网络爬虫。通用网络爬虫：是搜索引擎的重要组成部分，百度搜索引擎，其实可以更形象地称之为百度蜘蛛（Baiduspider），它每天会在海量的互联网信息中爬取信息，并进行收录。当用户通过百度检索关键词时，百度首先会对用户输入的关键词进行分析，然后从收录的网页中找出相关的网页，并按照排名规则对网页进行排序，最后将排序后的结果呈现给用户。通用网络爬虫需要遵守robots协议，网站通过此协议告诉搜索引擎哪些页面可以抓取，哪些页面不允许抓取。
02.http协议以及请求头介绍
uuuuty的博客
03-08 199
02. http协议以及请求头介绍
【爬虫--必须要了解的请求头 user-agent】
朱雀随云记的博客
10-24 195
这些疫情，是怎么汇总的呢？如果只是靠人工手动去收集，那耗费的人力物力将非常的庞大。那具体该怎么做呢？其实，这个就是通过爬虫技术，写好脚本，到国家卫健委的官网上以及各个城市的卫健委的官网上去获取到的数据，然后进行归纳总结。
Spring WebClient 详解：简化网络请求的秘密武器
u013558123的博客
03-30 602
Spring WebClient 是一个功能强大的 HTTP 客户端，广泛应用于 Spring 应用程序中。通过本文的介绍，您应该已经了解了 Spring WebClient 的关键知识点，包括创建 WebClient 实例、设置请求体、发送请求以及异步请求。在实际应用中，熟练掌握这些知识点，可以帮助您更高效地处理 HTTP 请求和响应。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值