nginx 转发数据流文件_通过nginx转发获取后端文件，2024年最新跟Linux运维初学者分享几点经验

1.问题描述

后端服务，从数据库中查询日志，并生成表格文件返回静态文件。当数据量几兆时，返回正常，但是超过几十兆，几百兆，就会超过网关的连接超时时间30秒。

时序图

这里面主要花费时间的地方在：

1后台服务器，将数据格式化，写到本地的文件的过程

2后台服务器将文件发送到网关，网关整体接收完

3网关将文件整体接收完后，转发给nginx

4nginx整体缓存文件后发送给浏览器

5浏览器下载从nginx发送的文件

也就是说，一个大文件，需要下载四次才能真正到达用户本地！可想而知多慢

2.解决思路

1.优化sql查询，优化数据处理

但是明显即使优化sql查询，优化数据处理，也快不了多少。但不是没有优化的可能。

首先，sql查询优化，查询下时候有慢查询，查询语句是否是慢查询，索引是否有效，索引是否在where 和select中。

2.减少文件下载的次数

只下载一次！数据流返回，边查询，边返回，浏览器自己下载。而且这样最不一样的地方是，http请求是立马返回的，所以不存在超时的可能。

可以看到，文件只在浏览器下载一次，后台查询数据，是每次只查询一部分数据，并在格式化后就返回，nginx也是接到一部分数据就立马返回，浏览器接到一部分数据就开始下载，让整个http请求立马结束，这样不会超时，但是文件会一直慢慢下载。

nginx配置：

**自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。**

**深知大多数Linux运维工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！**

**因此收集整理了一份《2024年Linux运维全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。**
![img](https://img-blog.csdnimg.cn/img_convert/508c93b449bfff001276321906297865.png)
![img](https://img-blog.csdnimg.cn/img_convert/caf47837bf8913a38fac15a74841a441.png)
![img](https://img-blog.csdnimg.cn/img_convert/e660b2ecd65badb3805dd4f22bae0882.png)
![img](https://img-blog.csdnimg.cn/img_convert/7af94cef7c26f02faf0a6c7f780f358c.png)
![img](https://img-blog.csdnimg.cn/img_convert/82ed780354a7d382f61104f6029b1360.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Linux运维知识点，真正体系化！**

**由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**

**如果你觉得这些内容对你有帮助，可以添加VX：vip1024b （备注Linux运维获取）**
![img](https://img-blog.csdnimg.cn/img_convert/8df89326809b7f72c81859c7b79a01f3.jpeg)



为了做好运维面试路上的助攻手，特整理了上百道 **【运维技术栈面试题集锦】** ，让你面试不慌心不跳，高薪offer怀里抱！

这次整理的面试题，**小到shell、MySQL，大到K8s等云原生技术栈，不仅适合运维新人入行面试需要，还适用于想提升进阶跳槽加薪的运维朋友。**

![](https://img-blog.csdnimg.cn/img_convert/30d5004d9bb9a21a607ea927ec778d74.png)

本份面试集锦涵盖了

*   **174 道运维工程师面试题**
*   **128道k8s面试题**
*   **108道shell脚本面试题**
*   **200道Linux面试题**
*   **51道docker面试题**
*   **35道Jenkis面试题**
*   **78道MongoDB面试题**
*   **17道ansible面试题**
*   **60道dubbo面试题**
*   **53道kafka面试**
*   **18道mysql面试题**
*   **40道nginx面试题**
*   **77道redis面试题**
*   **28道zookeeper**

**总计 1000+ 道面试题， 内容 又全含金量又高**

*   **174道运维工程师面试题**

> 1、什么是运维?

> 2、在工作中，运维人员经常需要跟运营人员打交道，请问运营人员是做什么工作的?

> 3、现在给你三百台服务器，你怎么对他们进行管理?

> 4、简述raid0 raid1raid5二种工作模式的工作原理及特点

> 5、LVS、Nginx、HAproxy有什么区别?工作中你怎么选择?

> 6、Squid、Varinsh和Nginx有什么区别，工作中你怎么选择?

> 7、Tomcat和Resin有什么区别，工作中你怎么选择?

> 8、什么是中间件?什么是jdk?

> 9、讲述一下Tomcat8005、8009、8080三个端口的含义？

> 10、什么叫CDN?

> 11、什么叫网站灰度发布?

> 12、简述DNS进行域名解析的过程?

> 13、RabbitMQ是什么东西?

> 14、讲一下Keepalived的工作原理?

> 15、讲述一下LVS三种模式的工作过程?

> 16、mysql的innodb如何定位锁问题，mysql如何减少主从复制延迟?

> 17、如何重置mysql root密码?

**一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
![img](https://img-blog.csdnimg.cn/img_convert/e036681d5542f1dff0af672158eddbec.jpeg)

**一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
[外链图片转存中...(img-bbVKxV5P-1712972690664)]