502无法解析服务器标头_编写下载服务器。 第二部分：标头：Last-Modified，ETag和If-None-Match...

最新推荐文章于 2024-05-11 15:29:59 发布
最新推荐文章于 2024-05-11 15:29:59 发布
阅读量112 收藏
点赞数
文章标签： java http linux spring nginx
原文链接：https://www.javacodegeeks.com/2015/06/writing-a-download-server-part-ii-headers-last-modified-etag-and-if-none-match.html
版权

502无法解析服务器标头

客户端缓存是万维网的基础之一。 服务器应通知客户端资源的有效性，客户端应尽可能快地对其进行缓存。 如我们所见，如果不缓存Web，它将非常缓慢。 只需在任何网站上Ctrl + F5并将其与普通F5进行比较-后者就会更快，因为它使用了已缓存的资源。 缓存对于下载也很重要。 如果我们已经获取了几兆字节的数据并且它们没有改变，那么通过网络推送它们是非常浪费的。

使用

HTTP ETag标头可用于避免重复下载客户端已有的资源。 服务器与第一响应服务器一起返回ETag标头，该标头通常是文件内容的哈希值。 客户端可以保留ETag并在以后请求相同资源时将其发送（在If-None-Match请求标头中）。 如果在此期间未更改，则服务器可以简单地返回304 Not Modified响应。 让我们从对ETag支持的集成测试开始： 

def 'should send file if ETag not present'() {
    expect:
        mockMvc
                .perform(
                    get('/download/' + FileExamples.TXT_FILE_UUID))
                .andExpect(
                    status().isOk())
    }
 
def 'should send file if ETag present but not matching'() {
    expect:
        mockMvc
                .perform(
                    get('/download/' + FileExamples.TXT_FILE_UUID)
                            .header(IF_NONE_MATCH, '"WHATEVER"'))
                .andExpect(
                    status().isOk())
}
 
def 'should not send file if ETag matches content'() {
    given:
        String etag = FileExamples.TXT_FILE.getEtag()
    expect:
        mockMvc
                .perform(
                    get('/download/' + FileExamples.TXT_FILE_UUID)
                            .header(IF_NONE_MATCH, etag))
                .andExpect(
                    status().isNotModified())
                .andExpect(
                    header().string(ETAG, etag))
}

有趣的是，Spring框架中内置了ShallowEtagHeaderFilter 。 安装它会使所有测试通过，包括最后一个测试： 

@WebAppConfiguration
@ContextConfiguration(classes = [MainApplication])
@ActiveProfiles("test")
class DownloadControllerSpec extends Specification {
 
    private MockMvc mockMvc
 
    @Autowired
    public void setWebApplicationContext(WebApplicationContext wac) {
        mockMvc = MockMvcBuilders.webAppContextSetup(wac)
                .addFilter(new Sha512ShallowEtagHeaderFilter(), "/download/*")
                .build()
    }
 
    //tests...
 
}

我实际上插入了使用SHA-512而不是默认MD5的自己的Sha512ShallowEtagHeaderFilter 。 同样由于某种原因，默认实现在哈希值前面加上0 ： 

public class ShallowEtagHeaderFilter {
    protected String generateETagHeaderValue(byte[] bytes) {
        StringBuilder builder = new StringBuilder("\"0");
        DigestUtils.appendMd5DigestAsHex(bytes, builder);
        builder.append('"');
        return builder.toString();
    }
 
    //...
}

与： 

public class Sha512ShallowEtagHeaderFilter extends ShallowEtagHeaderFilter {
 
    @Override
    protected String generateETagHeaderValue(byte[] bytes) {
        final HashCode hash = Hashing.sha512().hashBytes(bytes);
        return "\"" + hash + "\"";
    }
}

不幸的是，我们无法使用内置过滤器，因为它们必须首先完全读取响应主体才能计算ETag 。 这基本上关闭了上一篇文章中介绍的主体流传输–整个响应都存储在内存中。 我们必须自己实现ETag功能。 从技术上讲， If-None-Match可以包含多个ETag值。 但是，谷歌浏览器和ShallowEtagHeaderFilter支持它，因此我们也将跳过它。 为了控制响应头，我们现在返回ResponseEntity<Resource> ： 

@RequestMapping(method = GET, value = "/{uuid}")
public ResponseEntity<Resource> download(
        @PathVariable UUID uuid,
        @RequestHeader(IF_NONE_MATCH) Optional<String> requestEtagOpt) {
    return storage
            .findFile(uuid)
            .map(pointer -> prepareResponse(pointer, requestEtagOpt))
            .orElseGet(() -> new ResponseEntity<>(NOT_FOUND));
}
 
private ResponseEntity<Resource> prepareResponse(FilePointer filePointer, Optional<String> requestEtagOpt) {
    return requestEtagOpt
            .filter(filePointer::matchesEtag)
            .map(this::notModified)
            .orElseGet(() -> serveDownload(filePointer));
}
 
private ResponseEntity<Resource> notModified(String etag) {
    log.trace("Cached on client side {}, returning 304", etag);
    return ResponseEntity
            .status(NOT_MODIFIED)
            .eTag(etag)
            .body(null);
}
 
private ResponseEntity<Resource> serveDownload(FilePointer filePointer) {
    log.debug("Serving '{}'", filePointer);
    final InputStream inputStream = filePointer.open();
    final InputStreamResource resource = new InputStreamResource(inputStream);
    return ResponseEntity
            .status(OK)
            .eTag(filePointer.getEtag())
            .body(resource);
}

该过程由可选的requestEtagOpt控制。 如果存在并且与客户端发送的内容匹配，则返回304。否则照常发送200 OK。 本示例中引入的FilePointer新方法如下所示： 

import com.google.common.hash.HashCode;
import com.google.common.hash.Hashing;
import com.google.common.io.Files;
 
public class FileSystemPointer implements FilePointer {
 
    private final File target;
    private final HashCode tag;
 
    public FileSystemPointer(File target) {
        try {
            this.target = target;
            this.tag = Files.hash(target, Hashing.sha512());
        } catch (IOException e) {
            throw new IllegalArgumentException(e);
        }
    }
 
    @Override
    public InputStream open() {
        try {
            return new BufferedInputStream(new FileInputStream(target));
        } catch (FileNotFoundException e) {
            throw new IllegalArgumentException(e);
        }
    }
 
    @Override
    public String getEtag() {
        return "\"" + tag + "\"";
    }
 
    @Override
    public boolean matchesEtag(String requestEtag) {
        return getEtag().equals(requestEtag);
    }
}

在这里，您将看到FileSystemPointer实现，该实现直接从文件系统读取文件。 关键部分是缓存标记，而不是在每次请求时都重新计算标记。 上面的实现的行为符合预期，例如，Web浏览器不会再次下载资源。

3.使用

与ETag和If-None-Match标头类似，还有Last-Modified和If-Modified-Since 。 我想它们很容易解释：第一台服务器返回Last-Modified响应标头，指示给定资源的最后修改时间（ duh！ ）。 客户端缓存此时间戳，并将其与后续请求一起传递给If-Modified-Since请求标头中的相同资源。 如果同时未更改资源，则服务器将响应304，从而节省带宽。 这是一个后备机制，同时实现ETag和Last-Modified是一个好习惯。 让我们从集成测试开始： 

def 'should not return file if wasn\'t modified recently'() {
    given:
        Instant lastModified = FileExamples.TXT_FILE.getLastModified()
        String dateHeader = toDateHeader(lastModified)
    expect:
        mockMvc
                .perform(
                get('/download/' + FileExamples.TXT_FILE_UUID)
                        .header(IF_MODIFIED_SINCE, dateHeader))
                .andExpect(
                        status().isNotModified())
}
 
def 'should not return file if server has older version than the client'() {
    given:
        Instant lastModifiedLaterThanServer = FileExamples.TXT_FILE.getLastModified().plusSeconds(60)
        String dateHeader = toDateHeader(lastModifiedLaterThanServer)
    expect:
        mockMvc
                .perform(
                get('/download/' + FileExamples.TXT_FILE_UUID)
                        .header(IF_MODIFIED_SINCE, dateHeader))
                .andExpect(
                        status().isNotModified())
}
 
def 'should return file if was modified after last retrieval'() {
    given:
        Instant lastModifiedRecently = FileExamples.TXT_FILE.getLastModified().minusSeconds(60)
        String dateHeader = toDateHeader(lastModifiedRecently)
    expect:
        mockMvc
                .perform(
                get('/download/' + FileExamples.TXT_FILE_UUID)
                        .header(IF_MODIFIED_SINCE, dateHeader))
                .andExpect(
                        status().isOk())
}
 
private static String toDateHeader(Instant lastModified) {
    ZonedDateTime dateTime = ZonedDateTime.ofInstant(lastModified, ZoneOffset.UTC)
    DateTimeFormatter.RFC_1123_DATE_TIME.format(dateTime)
}

并执行： 

@RequestMapping(method = GET, value = "/{uuid}")
public ResponseEntity<Resource> download(
        @PathVariable UUID uuid,
        @RequestHeader(IF_NONE_MATCH) Optional<String> requestEtagOpt,
        @RequestHeader(IF_MODIFIED_SINCE) Optional<Date> ifModifiedSinceOpt
        ) {
    return storage
            .findFile(uuid)
            .map(pointer -> prepareResponse(
                    pointer,
                    requestEtagOpt,
                    ifModifiedSinceOpt.map(Date::toInstant)))
            .orElseGet(() -> new ResponseEntity<>(NOT_FOUND));
}
 
private ResponseEntity<Resource> prepareResponse(FilePointer filePointer, Optional<String> requestEtagOpt, Optional<Instant> ifModifiedSinceOpt) {
    if (requestEtagOpt.isPresent()) {
        final String requestEtag = requestEtagOpt.get();
        if (filePointer.matchesEtag(requestEtag)) {
            return notModified(filePointer);
        }
    }
    if (ifModifiedSinceOpt.isPresent()) {
        final Instant isModifiedSince = ifModifiedSinceOpt.get();
        if (filePointer.modifiedAfter(isModifiedSince)) {
            return notModified(filePointer);
        }
    }
    return serveDownload(filePointer);
}
 
private ResponseEntity<Resource> serveDownload(FilePointer filePointer) {
    log.debug("Serving '{}'", filePointer);
    final InputStream inputStream = filePointer.open();
    final InputStreamResource resource = new InputStreamResource(inputStream);
    return response(filePointer, OK, resource);
}
 
private ResponseEntity<Resource> notModified(FilePointer filePointer) {
    log.trace("Cached on client side {}, returning 304", filePointer);
    return response(filePointer, NOT_MODIFIED, null);
}
 
private ResponseEntity<Resource> response(FilePointer filePointer, HttpStatus status, Resource body) {
    return ResponseEntity
            .status(status)
            .eTag(filePointer.getEtag())
            .lastModified(filePointer.getLastModified().toEpochMilli()).body(body);
}

可悲的是，习惯上使用Optional不再看起来不错，所以我坚持使用isPresent() 。 我们同时检查If-Modified-Since和If-None-Match 。 如果两者都不匹配，我们将照常提供文件。 只是为了让您了解这些标头的工作方式，让我们执行一些端到端测试。 第一个要求： 

> GET /download/4a8883b6-ead6-4b9e-8979-85f9846cab4b HTTP/1.1
> ...
> 
< HTTP/1.1 200 OK
< ETag: "8b97c678a7f1d2e0af...921228d8e"
< Last-Modified: Sun, 17 May 2015 15:45:26 GMT
< ...

带有ETag后续请求（已缩短）： 

> GET /download/4a8883b6-ead6-4b9e-8979-85f9846cab4b HTTP/1.1
> If-None-Match: "8b97c678a7f1d2e0af...921228d8e"
> ...
> 
< HTTP/1.1 304 Not Modified
< ETag: "8b97c678a7f1d2e0af...921228d8e"
< Last-Modified: Sun, 17 May 2015 15:45:26 GMT
< ...

如果我们的客户仅支持Last-Modified ： 

> GET /download/4a8883b6-ead6-4b9e-8979-85f9846cab4b HTTP/1.1
> If-Modified-Since: Tue, 19 May 2015 06:59:55 GMT
> ...
> 
< HTTP/1.1 304 Not Modified
< ETag: "8b97c678a7f1d2e0af9cda473b36c21f1b68e35b93fec2eb5c38d182c7e8f43a069885ec56e127c2588f9495011fd8ce032825b6d3136df7adbaa1f921228d8e"
< Last-Modified: Sun, 17 May 2015 15:45:26 GMT

有许多内置工具，例如过滤器，可以为您处理缓存。 但是，如果需要确保在服务器端流传输文件而不是对其进行预缓冲，则需要格外小心。

编写下载服务器

翻译自: https://www.javacodegeeks.com/2015/06/writing-a-download-server-part-ii-headers-last-modified-etag-and-if-none-match.html

502无法解析服务器标头

dnc8371
关注
Etag和if-None-Match
weixin_33941350的博客
09-16 2364
前言 最近在跟后台对接口时，发现请求同一个接口时总是一次成功一次失败这样间隔着来，很是困扰。请求失败的时候报的错时502 Not Modified,这个报错也是百思不得解。在我掌握的知识里502时服务器错误，而Not Modified对应的状态码应该时304，但这样的报错提示是从来没有遇到过。另外这个错误也只是在本地跑的时候会有，放到线上的环境就很正常，第二次请求时也是304而不会报错。得闲我比...
编写下载服务器。 第二部分：标头：Last-Modified，ETag和If-None-Match
最佳 Java 编程
05-29 299
客户端缓存是万维网的基础之一。 服务器应告知客户端资源的有效性，客户端应尽可能快地对其进行缓存。 如我们所见，如果不缓存Web，将会非常慢。 只需在任何网站上Ctrl + F5并将其与普通F5进行比较-后者就会更快，因为它使用了已缓存的资源。 缓存对于下载也很重要。 如果我们已经获取了几兆字节的数据，并且它们没有改变，则通过网络推送它们是非常浪费的。 使用 HTTP ETag标头可用于避...
Etag & If-None-Match 专题
weixin_34007886的博客
10-21 624
一、概述 缓存通俗点讲，就是将已经得到的‘东东’存放在一个相对于自己而言，尽可能近的地方，以便下次需要时，不会再二笔地跑到起始点（很远的地方）去获取，而是就近解决，从而缩短时间和节约金钱（坐车要钱嘛）。Web缓存，也是同样的道理，说白了，就是当你第一次访问网址时，将这个东东（representations），如html页面、图片、JavaScript文件等，存在一个离你较近的地方，当你下次还需要它...
HTTP缓存机制的Etag、Last-Modified、If-None-Match和If-Modified-Since、Expires和Cache-Control笔记
卓越无关环境，保持空杯心态——靡不有初，鲜克有终
06-01 5211
http缓存机制：https://blog.csdn.net/jutal_ljt/article/details/80021545 http://www.cnblogs.com/chenqf/p/6386163.html 相关文章： 闲聊HTTP闲聊HTTP/2.0闲聊HTTPSHTTP缓存机制的Etag、Last-Modified、If-None-Match和If-Modified-...
502无法解析服务器标头_编写下载服务器。 第三部分：标头：内容长度和范围...
最佳 Java 编程
06-21 155
502无法解析服务器标头 这次，我们将探索更多HTTP请求和响应标头，以改善下载服务器的实现： Content-length和Range 。 前者表示下载量很大，后者允许部分下载文件，或者从我们开始的地方失败后继续下载。 Content-length响应标头对于跟踪下载进度的客户端非常有用。 如果在甚至开始流传输字节之前就提前发送了预期的资源大小，则Web浏览器之类的客户端可以显示非常准...
http-file-headers:使用tk-http在rust中制作全功能HTTP静态文件服务器的库
05-10
ETag ， If-None-Match Last-Modified ， If-Modified-Since Accept-Ranges ， Range ， Content-Range 使用Content-Type Accept-Encoding以提供压缩（gzip和brotli）文件 提供index.html或类似的目录索引 该库...
服务器禁止head 请求_编写下载服务器。 第四部分：有效地执行HEAD操作
最佳 Java 编程
06-22 838
服务器禁止head 请求 HEAD是一个经常被遗忘的HTTP方法（动词），其行为类似于GET，但不返回正文。 您使用HEAD来检查资源的存在（如果不存在，它应该返回404），并确保您的缓存中没有陈旧的版本。 在这种情况下，您期望304 Not Modified ，而200则意味着服务器具有最新版本。 例如，您可以使用HEAD来高效地实施软件更新。 在这种情况下， ETag是您的应用程序版本（生...
一文读懂4个HTTP条件请求头部
James的博客
01-12 1831
HTTP常用的条件请求头部有4个，它们是If-Modified-Since，If-Unmodified-Since,If-Match,If-None-Match。深刻理解其适用的场景和解决的问题，是灵活应用它们的关键。 If-Modified-Since: 使用最简单 1. 只能用于GET/HEAD方法 2. 只有一个应用场景，更新cache 3. 如果同时存在If-None-Match，则If-None-Match生效 如果在设定时间之后，资源发生了修改，则返回完整资源和200，否则返回304【更新cac
vapr-conditionals:一个Vapr插件，用于处理条件请求
05-30
具体来说，它处理 If-Match、If-None-Match、If-Modified-Since 和 If-Unmodified-Since 标头，同时为客户端提供 ETag 和 Last-Modified 标头。 条件请求可以通过节省不经常更改的响应的带宽来提高服务器的效率，...
浏览器缓存和vue-cli缓存策略
weixin_39964419的博客
11-25 2448
浏览器缓存过程及vue-cli缓存策略
ETag/If-None-Match
lituanjieba的博客
07-30 1450
而ETag/If-None-Match则是上文大话中说的第二种check服务端文件是否更新的方式，也要配合Cache-Control使用。实际上ETag并不是文件的版本号，而是一串可以代表该文件唯一的字符串（Apache中，ETag的值，默认是对文件的索引节（INode），大小（Size）和最后修改时间（MTime）进行Hash后得到的。），当客户端发现和服务器约定的直接读取缓存的时间过了，就在请
Expires / Cache-Control / Last-Modified / If-Modified-Since / ETag / If-None-Match 的区别以及使用详解
jiana227的专栏
07-10 8777
本文主要讲解web缓存的应用. 为了演示体现缓存的作用，先删除所有的浏览器缓存，然后以如下四种方式访问baidu网站，期间使用Pagetest作为测试软件，这是一个搭配IE使用的软件，功能上类似HttpWatch，不过它是免费的，有关Pagetest的用法可以参考官方文章提供的教程： 1. 打开IE，键入百度网址，按回车： ============================
HTTP 协议请求头 If-Match、If-None-Match 和 ETag
小单的博客专栏
11-02 3770
在 HTTP 协议中，请求头If-MatchIf-Range主要是为了解决浏览器缓存数据而定义的请求头标准，按照协议规范正确的判断和使用这几个请求头，可以更精准的处理浏览器缓存，从而达到提高系统性能和减少系统带宽的占用的目的。1、 减少了网络交互，加快页面响应速度，增强用户体验；2、 减少了网络带宽消耗，因为没有更新的资源就不需要重复返回了，特别是图片、视频、下载文件这类大响应体请求；当请求中存在上述If-xxx。
请求首部:If-None-Match
program is a art
03-31 742
它和首部字段If-Match作用相反.用于指定If-None-Match字段值的实体标记(ETag)值与请求资源的ETag不一致时,它就告知服务器处理该请求
HTTP 协商缓存 ETag、If-None-Match
小楼一夜听春雨，深巷明朝卖杏花
09-20 853
（3）服务器再次收到资源请求时，根据浏览器传过来If-None-Match和然后再根据资源生成一个新的ETag，如果这两个值相同就说明资源没有变化，否则就是有变化；与Last-Modified不一样的是，当服务器返回304 Not Modified的响应时，由于ETag重新生成过，response header中还会把这个ETag返回，即使这个ETag跟之前的没有变化。（1）浏览器第一次跟服务器请求一个资源，服务器在返回这个资源的同时，在respone header加上ETag。
关于etag Last-Modified
RogerWu1228的博客
03-18 512
请求流程 Etag由服务器端生成，客户端通过If-Match或者说If-None-Match这个条件判断请求来验证资源是否修改。常见的是使用If-None-Match.请求一个文件的流程可能如下： ====第一次请求=== 1.客户端发起 HTTP GET 请求一个文件； 2.服务器处理请求，返回文件内容和一堆Header，当然包括Etag(例如"2e681a-6-5d
Nginx 客户端缓存Etag和If-None-Match
小楼一夜听春雨，深巷明朝卖杏花
05-25 5344
浏览器缓存和Nginx缓存 使用缓存是最有效的提高访问速度的方法，在web服务器的场景当中不仅要考虑nginx作为缓存服务时候的使用方法还得考虑浏览器中的缓存失效的场景，因为浏览器缓存是否生效可以通过nginx指令去控制。浏览器的缓存对用户体验也是最大的。 使用浏览器缓存，即本地缓存，只需要读取本地的磁盘或者内存就可以了。通常是同时使用浏览器和nginx缓存。 Etag头部 Etag是存在于HTTP响应当中的，是Nginx向浏览器返回时添加的，它来标识一个特定版本的资源，Etag的值是通过上次.
HTTP头：If-Modified-Since, If-None-Match
阿K_ay的专栏
10-28 4123
参考网址：http://www.cnblogs.com/jams742003/archive/2010/02/01/1660912.html
条件式请求首部 If-None-Match,If-Modified-Since
最新发布
qq_48550824的博客
05-11 173
If-None-Match - HTTP | MDN If-Modified-Since - HTTP | MDN
802.11无线网络：PLC-P帧格式与同步信号解析
"802.11无线网络权威指南第二版，主要涵盖了802.11标准的PLC（物理层）帧格式、同步信号以及802.11b规范中的短帧使用规则。文档强调了802.11标准的重要性，以及在无线网络中的应用和挑战，包括MAC层的功能和竞争访问...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值