http pipeline

最新推荐文章于 2024-05-13 21:29:37 发布
最新推荐文章于 2024-05-13 21:29:37 发布
阅读量6.6k 收藏 4
点赞数
分类专栏： http

在http 1.1中可以pipeline，对同一域的多个资源的get请求可以合并 在一个socket连接中执行。

引文：

非持久连接和持久连接

　　HTTP既可以使用非持久连接(nonpersistent connection)，也可以使用持久连接(persistent connection)。HTTP/1.0使用非持久连接，HTTP/1.1默认使用持久连接。

　　非持久连接

　　让我们查看一下非持久连接情况下从服务器到客户传送一个Web页面的步骤。假设该贝面由1个基本HTML文件和10个JPEG图像构成，而且所有这些对象都存放在同一台服务器主机中。 再假设该基本HTML文件的URL为:www.yesky.com/somepath/index.html。

　　下面是具体步骡:

　　1.HTTP客户初始化一个与服务器主机www.yesky.com中的HTTP服务器的TCP连接。HTTP服务器使用默认端口号80监听来自HTTP客户的连接建立请求。

　　2.HTTP客户经由与TCP连接相关联的本地套接字发出—个HTTP请求消息。这个消息中包含路径名/somepath/index.html。

　　3.HTTP服务器经由与TCP连接相关联的本地套接字接收这个请求消息，再从服务器主机的内存或硬盘中取出对象/somepath/index.html，经由同一个套接字发出包含该对象的响应消息。

　　4.HTTP服务器告知TCP关闭这个TCP连接(不过TCP要到客户收到刚才这个响应消息之后才会真正终止这个连接)。

　　5.HTTP客户经由同一个套接字接收这个响应消息。TCP连接随后终止。该消息标明所封装的对象是一个HTML文件。客户从中取出这个文件，加以分析后发现其中有10个JPEG对象的引用。

　　6.给每一个引用到的JPEG对象重复步骡1-4。

　　浏览器在接收web页面的同时把它显示给用户。不同的浏览器可能会以略有不同的方式解释(也就是向用户显示)同一个web页面。HTTP与客户如何解释Web页面没有任何关系，其规范([RFC 1945]和[RFC 2616I)仅仅定义HTTP客户程序和服务器程序之间的通信协议。

　　上述步骤之所以称为使用非持久连接，原因是每次服务器发出一个对象后，相应的TCP连接就被关闭，也就是说每个连接都没有持续到可用于传送其他对象。每个TCP连接只用于传输一个请求消息和一个响应消息。就上述例子而言，用户每请求一次那个web页面，就产生11个TCP连接。

　　在上述步骡中，我们有意不说清客户是通过10个串行的TCP连接先后取得所有JPEG对象，还是通过并行的TCP连接同时取得其中某些JPEG对象。实际上，现今的浏览器允许用户通过配置来控制并行连接的程度。大多数浏览器默认可以打开5到10个并行的TCP连接，每个连接处理一个请求—响应事务。用户要是喜欢，可以把最大并行连接数设为l，那样的话这10个连接是串行地建立的。我们将在第3章看到，使用并行连接可以缩短响应时间。

　　继续介绍之前，先估算一下从客户请求基本HTML文件到它收到该文件所经历的时间。为此我们定义往返时间(round trip time，简称RTT)，它是一个小分组从客户主机游动到服务器主机再返回客户主机所花的时间。RTT包括分组传播延迟、在中间路由器和交换机土的分组排队延迟以及分组处理延迟。下面考虑用户点击某个超链接时会发生什么。用户的点击导致浏览器发起建立一个与Web服务器的TCP连接;这里涉及·—次“三次握手”过程——首先是客户向服务器发送一个小的冗余消息，接着是服务器向客户确认并响应以一个小的TCP消息，最后是客户向服务器回确认。三次握手过程的前两次结束时，流逝的时间为1个RTT。此时客户把HTTP请求消息发送到TCP连接中，客户接着把三次握手过程最后一次中的确认捎带在包含这个消息的数据分节中发送以去。服务器收到来自TCP连接的请求消息后，把相应的HTML文件发送到TCP连接中，服务器接着把对早先收到的客户请求的确认捎带在包含该HTML文件的数据分节中发送出去。这个HTTP请求顺应交互也花去1个RTT时间。因此，总的响应时间粗略地算是2个RTT加上服务器发送这个HTMI文件的时间。

　　持久连接

　　非持久连接有些缺点。首先，客户得为每个待请求的对象建立并维护一个新的连接。对于每个这样的连接，TCP得在客户端和服务器端分配TCP缓冲区，并维持TCP变量。对于有可能同时为来自数百个不同客户的请求提供服务的web服务器来说，这会严重增加其负担。其次，如前所述，每个对象都有2个RTT的响应延长——一个RTT用于建立TCP连接，另—个RTT用于请求和接收对象。最后，每个对象都遭受TCP缓启动，因为每个TCP连接都起始于缓启动阶段。不过并行TCP连接的使用能够部分减轻RTT延迟和缓启动延迟的影响。

　　在持久连接情况下，服务器在发出响应后让TCP连接继续打开着。同一对客户/服务器之间的后续请求和响应可以通过这个连接发送。整个Web页面(上例中为包含一个基本HTMLL文件和10个图像的页面)自不用说可以通过单个持久TCP连接发送:甚至存放在同一个服务器中的多个web页面也可以通过单个持久TCP连接发送。通常，HTTP服务器在某个连接闲置一段特定时间后关闭它，而这段时间通常是可以配置的。持久连接分为不带流水线(without pipelining)和带流水线(with pipelining)两个版本。如果是不带流水线的版本，那么客户只在收到前一个请求的响应后才发出新的请求。这种情况下，web页面所引用的每个对象(上例中的10个图像)都经历1个RTT的延迟，用于请求和接收该对象。与非持久连接2个RTT的延迟相比，不带流水线的持久连接已有所改善，不过带流水线的持久连接还能进一步降低响应延迟。不带流水线版本的另一个缺点是，服务器送出一个对象后开始等待下一个请求，而这个新请求却不能马上到达。这段时间服务器资源便闲置了。

　　HTTP/1.1的默认模式使用带流水线的持久连接。这种情况下，HTTP客户每碰到一个引用就立即发出一个请求，因而HTTP客户可以一个接一个紧挨着发出各个引用对象的请求。服务器收到这些请求后，也可以一个接一个紧挨着发出各个对象。如果所有的请求和响应都是紧挨着发送的，那么所有引用到的对象一共只经历1个RTT的延迟(而不是像不带流水线的版本那样，每个引用到的对象都各有1个RTT的延迟)。另外，带流水线的持久连接中服务器空等请求的时间比较少。与非持久连接相比，持久连接(不论是否带流水线)除降低了1个RTT的响应延迟外，缓启动延迟也比较小。其原因在于既然各个对象使用同一个TCP连接，服务器发出第一个对象后就不必再以一开始的缓慢速率发送后续对象。相反，服务器可以按照第一个对象发送完毕时的速率开始发送下一个对象。

HTTP/1.1 Pipelining FAQ
What is HTTP pipelining?
Normally, HTTP requests are issued sequentially, with the next request being issued only after the response to the current request has been completely received. Depending on network latencies and bandwidth limitations, this can result in a significant delay before the next request is seen by the server.

HTTP/1.1 allows multiple HTTP requests to be written out to a socket together without waiting for the corresponding responses. The requestor then waits for the responses to arrive in the order in which they were requested. The act of pipelining the requests can result in a dramatic improvement in page loading times, especially over high latency connections.

Pipelining can also dramatically reduce the number of TCP/IP packets. With a typical MSS (maximum segment size) in the range of 536 to 1460 bytes, it is possible to pack several HTTP requests into one TCP/IP packet. Reducing the number of packets required to load a page benefits the internet as a whole, as fewer packets naturally reduces the burden on IP routers and networks.

HTTP/1.1 conforming servers are required to support pipelining. This does not mean that servers are required to pipeline responses, but that they are required to not fail if a client chooses to pipeline requests. This obviously has the potential to introduce a new category of evangelism bugs, since no other popular web browsers implement pipelining.

When should we pipeline requests?
Only idempotent requests can be pipelined, such as GET and HEAD requests. POST and PUT requests should not be pipelined. We also should not pipeline requests on a new connection, since it has not yet been determined if the origin server (or proxy) supports HTTP/1.1. Hence, pipelining can only be done when reusing an existing keep-alive connection.

How many requests should be pipelined?
Well, pipelining many requests can be costly if the connection closes prematurely because we would have wasted time writing requests to the network, only to have to repeat them on a new connection. Moreover, a longer pipeline can actually cause user-perceived delays if earlier requests take a long time to complete. The HTTP/1.1 spec does not provide any guidelines on the ideal number of requests to pipeline. It does, however, suggest a limit of no more than 2 keep-alive connections per server. Clearly, it depends on the application. A web browser probably doesn't want a very long pipeline for the reasons mentioned above. 2 may be an appropriate value, but this remains to be tested.

What happens if a request is canceled?
If a request is canceled, does this mean that the entire pipeline is canceled? Or, does it mean that the response for the canceled request should simply be discarded, so as not to be forced to repeat the other requests belonging to the pipeline? The answer depends on several factors, including the size of the portion of the response for the canceled request that has not been received. A naive approach may be to simply cancel the pipeline and re-issue all requests. This can only be done because the requests are idempotent. This naive approach may also make good sense since the requests being pipelined likely belong to the same load group (page) being canceled.

What happens if a connection fails?
If a connection fails or is dropped by the server partway into downloading a pipelined response, the web browser must be capable of restarting the lost requests. This case could be naively handled equivalently to the cancelation case discussed above.

我用vc和java分别试了一下，但是结果却让人不解：

首先是：我连续发两个head方法，大部分的服务器都只是返回一个；

              当然有一个特例：我们学校的 返回两个！

   但是通过ethereal观察：其实大部分服务器都支持流水线操作的！

--------------------------------------可能就是我发的操作不规范！不合要求吧！

再一个是：vc和java的结果不一样：java的只会返回一个！

--------------------------------------java中的实现不一样！！

dodo_check
关注
专栏目录
HTTP Pipeline实现client失败
03-22
NULL 博文链接：https://capslk.iteye.com/blog/980882
新手入门：了解WWW服务与HTTP协议2
得失不过二分意,去留只随一寸缘.青山作画千秋墨,绿水为琴万古弦.
07-04 885
新手入门：了解WWW服务与HTTP协议2 Posted on 2007-04-26 10:49 szw104 阅读(7) 评论(0)  编辑 收藏 引用 网摘 所属分类: Web原理 <!--<rdf:RDF xmlns:rdf="http://www.w3.org/1999/02/22-rdf-syntax-ns#"xmlns:dc="http://purl.org/dc/
HTTP管线化(HTTP pipelining)
热门推荐
仓
01-03 1万+
默认情况下http协议中每个传输层连接只能承载一个http请求和响应，然后结束。HTTP管线化    HTTP管线化是将多个HTTP要求（request）整批提交的技术，而在传送过程中不需先等待服务端的回应。管线化机制须通过永久连接（persistent connection）完成，仅HTTP/1.1支持此技术（HTTP/1.0不支持），并且只有GET和HEAD要求可以进行管线化，而POST则有所限制。此外，初次创建连接时也不应启动管线机制，因为对方（服务器）不一定支持HTTP/1.1版本的协议。  
HTTP Pipeline
weixin_33896726的博客
06-19 183
———————————————————————————————— ———————————————————————————————— ———————————————————————————————— ——————————————————————————————— http://msdn.microsoft.com/en-us/magazine/cc188942.aspx#S1 处理http...
dotnet-HttpPipeline是一个类似于pipeline的HTTP请求处理器
08-14
"dotnet-HttpPipeline"项目提供了一个类似于pipeline的HTTP请求处理器，这使得开发者可以更灵活、高效地处理HTTP请求和响应。本文将深入探讨Http Pipeline的核心概念、工作原理以及它在.NET开发中的应用。 Http ...
asset-pipeline
04-23
import { AssetPipeline } from "asset-pipeline" ; const pipeline = new AssetPipeline ( ) pipeline . rules . saltKey = "saltKey" pipeline . rules . cacheBreak = true // Set origin (Rendered: ...
Pipeline
03-18
PORT ，这是服务器的http端口。默认为5000 。 您也可以使用上述环境变量创建一个.env文件。 码头工人 docker build -t express-books . docker run -p 80:5000 express-books . 然后访问： http://localhost 影片...
HTTP协议：pipeline、持久连接、非持久连接
chenglinhust的专栏
07-21 1万+
HTTP协议：pipeline、持久连接、非持久连接 1.  简介 1.1 定义       1. 非持久连接：每个连接处理一个请求-响应事务。       2. 持久连接：每个连接可以处理多个请求-响应事务。           持久连接情况下，服务器发出响应后让TCP连接继续打开着。同一对客户/服务器之间的后续请求和响应可以通过这个连接发送。
HTTP协议：pipeline，一个包里有多个请求，一个包里有多个响应
kanguolaikanguolaik的专栏
11-01 2478
一、获得测试包办法 1.1 编译代码、执行、发包       编译：g++ test.cpp     生成a.out       执行：./a.out #include #include #include #include #include #include using namespace std; int main(int argc, char* argv[]) {
解释一下HTTP协议中的管道化（Pipelining）。
长风破浪会有时的博客
05-02 483
但是，在使用管道化的情况下，客户端可以同时发送多个请求，而不需要等待每个请求的响应。服务器仍然会按照接收到的顺序逐个处理请求，只是客户端可以同时发送多个请求而已。而且，如果某个请求的处理时间过长，后面的请求就会被阻塞，直到前面的请求处理完成。总的来说，HTTP协议中的管道化技术可以提高传输效率和性能，让多个HTTP请求同时通过一个TCP连接发送到服务器，减少了等待时间。在HTTP协议中，管道化就像是这样一种技术，它可以让多个HTTP请求（就像水滴）同时通过一个TCP连接（就像水管）发送到服务器。
java常见问题
luqiya的专栏
03-28 194
java常见问题1.Failed to read candidate component class 解答：spring3 不能用java8 2.spring各种依赖注入问题。 解答：Controller service dao entity 一定要依次注入 3.struct2中 配置action 类 后缀配置名要带action 解答 :要求Action的命名必须以“Actio
三十二、http与www服务介绍
weixin_30879833的博客
07-07 8750
一、用户访问百度（www.baidu.com） 用户访问在url中输入地址后，首先会访问本地的缓存和hosts文件，如果没有，会访问本地DNS，在就是根域和顶级域名等，在前面已经说过了，这里不再赘述。 这里说明两个：查看本地windows缓存: ipconfig /displaydns hosts文件路径：...
WWW和Web的区别
MInNrz的Love&Share
03-10 8946
首先抛一个问题： 访问这两个网站 https://www.baidu.com/ https://baidu.com/ www.baidu.com/ 发现都会重定向到https://www.baidu.com/ 甚至改为http也会给你改为https 这是属于计算机网络应用层的内容 什么是Web 在计算机网络的应用层上有HTTP、FTP、DNS等服务，我们所说的Web就是基于HTTP和HTML上的服务，它是基于浏览器可视化访问的。所以Web也就是在浏览器上的用html编写的网页。 当我们访问https:/
java 加密技术
hujiameihuxu的专栏
08-06 8324
Java加密技术（一） 文章分类:Java编程 加密解密，曾经是我一个毕业设计的重要组件。在工作了多年以后回想当时那个加密、解密算法，实在是太单纯了。 言归正传，这里我们主要描述Java已经实现的一些加密解密算法，最后介绍数字证书。 如基本的单向加密算法： • BASE64 严格地说，属于编码格式，而非加密算法 • MD5(Message Digest algori
WWW服务器搭建（1）——HTTP协议原理篇
最新发布
weixin_45605234的博客
05-13 1722
本文详细介绍了WWW的相关概念，特别是HTTP协议的工作过程，并详细解析了HTTP请求报文和HTTP响应报文结构。
Day46-http和www基础1
苦难带不走梦想
03-17 3821
​ 万网：被阿里云收购了。稳定、贵​ 新网：不太稳定，便宜。HTTP状态码（HTTP Status Code）是用来表示Web服务器响应http请求状态的数字代码。状态码范围作用描述100-199用于指定客户端相应的某些动作200-299用于表示请求成功300-399用于已经移动的文件并且常被包含在定位头信息中指定新的地址信息。400-499用于指出【客户端错误】500-599用于指出【服务器端错误】状态代码详细描述说明200 - OK。
scrapy pipeline用法
04-02
Scrapy Pipeline是Scrapy框架中的一个组件，它用于在爬虫数据爬取完毕后对数据进行处理，例如数据清洗、去重、存储等操作。Pipeline是Scrapy的一个重要部分，它可以帮助我们对爬虫获取的数据进行预处理，从而提高数据质量和数据处理效率。 下面是Scrapy Pipeline的使用步骤： 1. 创建一个Pipeline类，继承自scrapy的Pipeline类。该类负责对爬虫获取到的数据进行处理。 ```python import scrapy from scrapy.exceptions import DropItem class MyPipeline(object): def process_item(self, item, spider): # 数据处理代码 return item ``` 2. 在settings.py文件中设置Pipeline。可以设置多个Pipeline，它们会按照顺序依次处理数据。在这里，我们只设置一个Pipeline： ```python ITEM_PIPELINES = { 'myproject.pipelines.MyPipeline': 300, } ``` 这里的`300`是Pipeline的优先级，数字越小，优先级越高。 3. 在Pipeline中实现数据处理逻辑。在上面的示例代码中，我们实现了一个简单的数据清洗逻辑。 4. 在Spider中生成Item并交给Pipeline处理。在Spider中，我们可以通过`yield`关键字将获取到的数据生成`Item`对象，并交给Pipeline处理： ```python import scrapy class MySpider(scrapy.Spider): name = 'example.com' allowed_domains = ['example.com'] start_urls = ['http://www.example.com'] def parse(self, response): for sel in response.xpath('//ul/li'): item = MyItem() item['title'] = sel.xpath('a/text()').extract_first() item['link'] = sel.xpath('a/@href').extract_first() item['desc'] = sel.xpath('text()').extract_first() yield item ``` 这里的`MyItem`是我们在Spider中定义的数据结构，它包含了我们需要获取的数据。 5. Pipeline处理完成后的数据存储。在Pipeline中，我们可以将处理完成的数据存储到数据库、文件或者其他存储介质中。下面是一个将数据存储到MongoDB数据库中的示例： ```python import pymongo class MyPipeline(object): def __init__(self, mongo_uri, mongo_db): self.mongo_uri = mongo_uri self.mongo_db = mongo_db @classmethod def from_crawler(cls, crawler): return cls( mongo_uri=crawler.settings.get('MONGO_URI'), mongo_db=crawler.settings.get('MONGO_DATABASE', 'items') ) def open_spider(self, spider): self.client = pymongo.MongoClient(self.mongo_uri) self.db = self.client[self.mongo_db] def close_spider(self, spider): self.client.close() def process_item(self, item, spider): collection = self.db[spider.name] collection.insert_one(dict(item)) return item ``` 在上面的代码中，我们使用了MongoDB来存储处理完成后的数据。需要注意的是，在Pipeline中，我们需要定义`open_spider`和`close_spider`方法，在Spider开始和结束时分别调用它们，从而保证数据处理的完整性。 以上就是Scrapy Pipeline的基本用法，它可以帮助我们对爬虫获取到的数据进行预处理，从而提高数据处理效率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值