使用Nginx搭建自己的CDN服务器

可期不折腾

于 2024-05-15 17:45:42 发布

阅读量1.1k

点赞数 24

分类专栏： C++面试云计算文章标签： nginx 服务器运维面试

本文链接：https://blog.csdn.net/panxixia/article/details/138907625

版权

C++面试同时被 2 个专栏收录

33 篇文章 0 订阅

订阅专栏

云计算

2 篇文章 0 订阅

订阅专栏

nginx安装

sudo apt update
sudo apt install nginx

nginx配置文件

/etc/nginx/nginx.conf或/etc/nginx/sites-available/default

设置缓存

在Nginx配置中启用缓存，这样可以缓存CDN服务器上的静态内容，以提高性能和速度。

http {
    # 在http段下设置缓存路径
    proxy_cache_path /path/to/cache levels=1:2 keys_zone=my_cache:10m max_size=10g inactive=60m use_temp_path=off;
                
    # 设置缓存的过期时间
    proxy_cache_valid 200 302 10m;
    proxy_cache_valid 404 1m;

    # 设置代理缓存使用的密钥和缓存的最大大小
    proxy_cache_key "$scheme$request_method$host$request_uri";

    server {
        # 其他服务器设置
        location / {
            # 使用代理缓存
            proxy_cache my_cache;//启用缓存
            proxy_cache_use_stale error timeout updating http_500 http_502 http_503 http_504;
            proxy_cache_bypass $http_cache_control;//http头
            proxy_ignore_headers Cache-Control;
            proxy_pass http://backend_server;//后端数据源服务器
        }
    }
}

正向代理（Forward Proxy）和反向代理（Reverse Proxy）是网络通信中两种常见的代理服务器类型：

方向：正向代理面向客户端，反向代理面向服务器。
位置：正向代理位于客户端旁边，反向代理位于服务器旁边。
作用：正向代理用于客户端访问控制和匿名访问，反向代理用于负载均衡和安全性。
目的：正向代理帮助客户端“前进”访问互联网，反向代理帮助服务器“反向”处理外部请求。

设置域名

为你的CDN服务器配置域名并确保域名正确解析到你的服务器，你需要按照以下步骤操作：

步骤1：域名注册和购买

选择一个域名注册商，如GoDaddy、Namecheap、阿里云等。
搜索你想要注册的域名，确保它是可用的。
完成购买流程并支付相应的费用。

步骤2：DNS管理

登录你的域名注册商的控制面板。
找到DNS管理或域名管理的部分。

步骤3：设置DNS记录

A记录：创建一个A记录将域名指向你的CDN服务器的公网IP地址。例如，如果你的CDN服务器IP是1.2.3.4，创建一个A记录，将yourdomain.com指向1.2.3.4。
CNAME记录：如果需要将子域名重定向到CDN服务器，可以创建CNAME记录。例如，cdn.yourdomain.com可以CNAME到yourdomain.com。

步骤4：在CDN服务器上配置Web服务器

确保你的CDN服务器上安装了Web服务器软件，如Nginx或Apache。

配置Web服务器，使其能通过你的域名来提供服务。例如，在Nginx中，你需要配置一个server块来监听80端口（HTTP）或443端口（HTTPS）：

server {
 	listen 80;
 	server_name www.yourdomain.com;
 	root /path/to/your/web/root;
 	index index.html index.htm;
 	location / {
     	try_files $uri $uri/ =404;
	 }
 }

如果你使用了SSL/TLS证书，确保配置了HTTPS并监听443端口。

步骤5：部署SSL/TLS证书（推荐）

如果你想启用HTTPS，可以通过Let’s Encrypt获取免费的SSL/TLS证书。
安装并配置证书，使Web服务器使用SSL/TLS加密。

步骤6：测试域名解析

等待DNS更改全球生效，这可能需要一些时间（通常是几分钟到48小时）。
使用命令行工具如ping或nslookup来检查域名是否已经指向了正确的IP地址。

步骤7：验证配置

在Web浏览器中输入你的域名，看是否能够成功访问你的CDN服务器上的内容。
检查Web服务器的访问日志，确认有来自不同地区的访问记录。

步骤8：监控和维护

定期检查域名的DNS记录和CDN服务器的状态，确保一切正常运行。

完成以上步骤后，你的域名就应该正确地指向你的CDN服务器，并且用户可以通过该域名访问你的网站内容了。记得在进行任何更改时，都要仔细检查配置文件的语法，并在保存更改后重新启动Web服务器。

启用Gzip压缩：

启用Nginx的Gzip压缩功能，以减小传输内容的大小，提高网站的加载速度。你可以在Nginx配置文件中添加以下内容：

http {
    gzip on;
    gzip_types text/plain text/css application/json application/javascript text/xml application/xml application/xml+rss text/javascript;
}

设置内容源：

配置Nginx以从你的源服务器(通常是你的网站服务器)获取内容。你可以使用proxy_pass指令将请求转发到源服务器。

proxy_cache_path /var/cache/nginx levels=1:2 keys_zone=my_cache:10m max_size=1g;
server {
    ...
    location / {
        proxy_pass http://backend;
        proxy_cache my_cache;
        proxy_cache_bypass $http_cache_control;
        ...
    }
}

测试和调优：

完成上述配置后，测试你的CDN服务器，确保它按预期工作。你可能需要根据实际情况对配置进行调整以优化性能。

常见如何调优CDN：

调优CDN（内容分发网络）通常需要综合考虑多种因素，包括缓存策略、节点选择、网络优化等。以下是一些具体的调优步骤和例子：

1. **缓存策略调优**：
   - **例子**：如果你的网站有大量的静态资源，如图片、CSS和JavaScript文件，可以通过设置更长的`Cache-Control`头部值来提高缓存命中率。例如，可以在Nginx中设置：
     ```nginx
     location ~* \.(jpg|jpeg|png|gif|js|css)$ {
         expires 30d;
     }
     ```

2. **节点选择优化**：
   - **例子**：使用CDN提供商的地理DNS或任意cast DNS功能，将用户定向到最近的服务器节点，减少延迟。例如，在阿里云CDN中，可以配置DNS解析策略，确保用户就近访问。

3. **内容预热**：
   - **例子**：在新产品发布前，使用CDN的内容预热功能，提前将资源分发到各个边缘节点，避免在高流量时段对源站造成压力。

4. **动态内容优化**：
   - **例子**：对于频繁变动的内容，可以配置CDN缓存为较短的过期时间或使用“no-cache”指令，以确保用户获取最新数据。

5. **HTTPS优化**：
   - **例子**：启用SSL/TLS加速功能，如使用SPDY或HTTP/2协议，减少HTTPS握手时间。同时，确保CDN支持OCSP Stapling，减少SSL证书验证时间。

6. **网络连接优化**：
   - **例子**：如果`traceroute`显示用户到CDN节点的路由路径不理想，可以联系CDN提供商优化路由策略。

7. **资源压缩**：
   - **例子**：启用Gzip压缩，减少传输数据的大小。在Nginx中可以设置：
     ```nginx
     location ~* \.(html|css|js|json|xml|ld\+json|ejs|svg|png|jpg|jpeg|gif|ico)$ {
         gzip on;
     }
     ```

8. **HTTP/2 启用**：
   - **例子**：在支持HTTP/2的CDN节点上启用该协议，利用其多路复用、服务器推送等特性提高性能。

9. **图片优化**：
   - **例子**：使用CDN的图片处理功能，自动进行图片压缩和格式转换，如将JPG转换为WebP格式。

10. **性能监控与日志分析**：
    - **例子**：定期检查CDN日志，分析错误码、访问模式和性能指标，使用工具如GoAccess或AWStats进行日志分析。

11. **定制化配置**：
    - **例子**：根据网站特性，定制CDN的配置。例如，对于视频网站，可以配置CDN以支持视频流的平稳传输。

12. **使用性能测试工具**：
    - **例子**：使用WebPageTest或阿里云的云拨测产品，定期测试CDN性能，分析不同条件下的性能表现。

13. **故障排查**：
    - **例子**：如果发现某些资源加载缓慢，检查资源URL是否被CDN正确缓存，确认没有因为意外的查询字符串导致缓存失效。

14. **用户行为分析**：
    - **例子**：分析用户访问模式，识别热门内容和高流量时段，据此调整CDN策略，如增加热门内容的缓存或在高峰时段增加带宽。

通过上述调优步骤，可以显著提升CDN的性能，改善网站加载速度和用户体验。调优是一个持续的过程，需要定期进行性能测试和配置调整。

对于视频网站，可以配置CDN以支持视频流的平稳传输。

对于视频网站，确保视频内容的平稳传输是提升用户体验的关键。以下是一些具体的配置步骤和例子：

1. **视频内容的缓存策略**：
   - 例子：在Nginx中配置视频文件的缓存时间，使用`proxy_cache_valid`指令为不同类型的视频内容设置不同的缓存时间。
     ```nginx
     location ~* \.(mp4|avi|mov)$ {
         proxy_cache my_cache;
         proxy_cache_valid 200 1h;
         proxy_cache_valid 404 1m;
     }
     ```

2. **视频切片和分块传输**：
   - 例子：使用Apple HLS(HTTP Live Streaming)或DASH(Dynamic Adaptive Streaming over HTTP)技术，将视频切分为多个小片段，允许客户端按需加载视频的不同部分。
   - 配置CDN以支持这些协议，确保客户端可以有效地从最近的节点请求视频切片。

3. **自适应比特率流**：
   - 例子：在视频服务器上启用自适应比特率流，允许客户端根据当前网络条件选择最合适的视频质量。这通常通过HLS或DASH实现。

4. **内容预热**：
   - 例子：对于即将发布的热门视频内容，使用CDN的内容预热功能，提前将视频内容分发到各个边缘节点，减少发布时的源站压力。

5. **视频编码和压缩**：
   - 例子：使用FFmpeg工具对视频进行压缩和转码，生成不同分辨率和比特率的视频流，以适应不同用户的带宽条件。
     ```bash
     ffmpeg -i input.mp4 -c:v libx264 -crf 24 -preset veryfast -c:a aac -b:a 128k -movflags +faststart output.mp4
     ```

6. **启用HTTP/2**：
   - 例子：在服务器上启用HTTP/2，利用其多路复用特性减少连接数，提高视频传输效率。
     ```nginx
     server {
         listen 80;
         listen 443 ssl http2;
         server_name example.com;
         ...
         http2_push_preload on;
     }
     ```

7. **负载均衡和故障转移**：
   - 例子：在CDN配置中设置负载均衡策略，如轮询、最少连接或IP哈希，确保视频请求均匀分配到各个节点。同时，配置故障转移机制，以便在节点故障时自动切换。

8. **视频播放器配置**：
   - 例子：使用支持自适应比特率流的播放器，如Video.js或JW Player，并配置播放器以从CDN节点获取视频流。

9. **监控和日志分析**：
   - 例子：利用CDN提供商的监控工具，如AWS CloudFront的日志分析，监控视频流的性能，如请求量、错误率和传输速度。

10. **带宽预留和QoS**：
    - 例子：在CDN上为视频流预留足够的带宽，并设置优先级，确保在高流量时段也能保持视频传输的质量。

11. **使用QUIC协议**：
    - 例子：如果CDN支持QUIC协议，可以启用它以减少连接建立时间，并提高视频传输的稳定性。

12. **客户端适配**：
    - 例子：在视频播放器中实现网络条件自动检测，根据用户的带宽和设备性能自动选择最合适的视频质量。

通过上述配置，可以显著提高视频网站的性能，减少缓冲和中断，提供更加流畅的视频观看体验。这些措施需要根据具体的CDN提供商和视频网站需求进行调整和优化。

测试

测试CDN（内容分发网络）性能通常涉及以下几个步骤：

1. **选择测试工具**：
   - 使用在线工具如WebPageTest、GTmetrix或Google PageSpeed Insights进行初步测试。
   - 例子：访问WebPageTest网站，输入你的网站URL，并选择不同的测试位置和网络条件进行测试。

2. **性能基准测试**：
   - 在实施任何CDN配置更改之前，进行性能基准测试，以便于后续比较优化效果。
   - 例子：记录下初始的加载时间、TTFB（首字节时间）、缓存命中率等关键指标。

3. **全球性能测试**：
   - 使用全球分布式的测试工具，如Akamai’s CloudTest或Gomez，测试不同地理位置下的性能。
   - 例子：使用CloudTest从北美、亚太和欧洲等多个地区测试网站的加载时间和响应时间。

4. **资源加载测试**：
   - 使用工具如Apache JMeter或Siege模拟高并发请求，测试CDN对资源加载的处理能力。
   - 例子：在JMeter中配置多个线程组模拟用户并发访问，测试CDN的负载均衡和响应能力。

5. **视频和流媒体测试**：
   - 如果网站包含视频内容，使用视频特定的测试工具，如Wireshark或Nagios，监控视频流的稳定性和质量。
   - 例子：使用Wireshark捕获视频流传输过程中的数据包，分析延迟和丢包情况。

6. **SSL/TLS测试**：
   - 对于使用HTTPS的网站，使用SSL Labs的SSL Test工具测试CDN服务器的SSL/TLS配置。
   - 例子：输入网站URL进行测试，获取SSL/TLS配置的评级和改进建议。

7. **缓存策略测试**：
   - 检查CDN是否正确地实现了缓存策略，如验证`Cache-Control`和`Expires`头部。
   - 例子：使用curl命令测试资源的HTTP头部信息：
     ```bash
     curl -I https://www.example.com/image.jpg
     ```

8. **DNS解析测试**：
   - 使用`dig`或`nslookup`命令测试CDN的DNS解析速度和准确性。
   - 例子：执行`dig example.com`查看DNS解析结果和时间。

9. **监控和日志分析**：
   - 利用CDN提供商的监控系统，分析实时性能数据和日志文件。
   - 例子：在AWS CloudFront中查看实时日志，分析请求量、错误率和流量模式。

10. **用户体验测试**：
    - 使用Real User Monitoring (RUM) 工具收集真实用户的性能反馈。
    - 例子：集成New Relic或Google Analytics的RUM功能，追踪实际用户的性能体验。

11. **故障转移测试**：
    - 模拟网络故障，测试CDN的故障转移机制是否有效。
    - 例子：使用网络模拟器如Clumsy中断连接，看CDN是否能够自动切换到健康节点。

12. **性能调优测试**：
    - 根据测试结果调整CDN配置，如修改缓存时间、负载均衡策略等，然后重新测试以验证改进效果。
    - 例子：在Nginx中调整缓存策略后，再次使用WebPageTest进行测试，比较前后性能差异。

通过上述步骤，你可以全面地测试CDN的性能，识别瓶颈，并根据测试结果进行调优。记住，CDN测试和调优是一个持续的过程，需要定期进行以适应网站流量和内容的变化。

多路复用

多路复用（Multiplexing）是一种通信方式，允许多个数据流共享单一的物理链路，通过不同的标识符区分不同的数据流。在网络协议中，多路复用计数通常指的是在多路复用上下文中，可以同时传输的独立数据流的数量。

在HTTP/2协议中，多路复用是一个核心特性，它允许客户端和服务器在单一的TCP连接上同时发送多个请求和响应，从而减少了连接的建立和关闭的开销，提高了传输效率。

多路复用计数的一些关键点：

并行传输：在HTTP/2中，多路复用允许在同一个TCP连接上并行传输多个请求和响应，而不是像HTTP/1.x那样需要为每个请求/响应建立和关闭一个连接。
流ID：每个HTTP/2的请求或响应流都被分配一个唯一的流ID，用于区分不同的数据流。
性能提升：多路复用减少了连接的建立和关闭时间，减少了HTTP头部信息的冗余传输，从而提高了网页的加载速度。
流优先级：HTTP/2支持流的优先级和权重，允许客户端和服务器控制不同流的传输顺序。
头部压缩：HPACK算法用于压缩HTTP头部，进一步减少了数据传输量。
流量控制：HTTP/2使用流控制窗口来控制数据的发送速率，避免网络拥塞。

例子：

假设一个网页需要加载多个资源，如HTML、CSS、JavaScript文件和图片。在HTTP/1.x中，这些资源可能需要通过多个TCP连接顺序加载。而在HTTP/2中，所有这些资源可以同时在单一的TCP连接上加载，每个资源分配一个流ID，客户端和服务器通过流ID来区分和管理这些并行的传输流。

例如，客户端可能发送如下的HTTP/2请求：

HEADERS (stream_id=1): :method: GET
                   :scheme: https
                   :path: /css/style.css
                  :authority: www.example.com
                 :priority: 1
BLOCK (stream_id=1): [data for stream 1]

HEADERS (stream_id=3): :method: GET
                   :scheme: https
                   :path: /js/script.js
                  :authority: www.example.com
                 :priority: 3
BLOCK (stream_id=3): [data for stream 3]

在这个例子中，流1和流3是两个独立的请求，它们通过不同的流ID进行区分，并且可以同时在单一的TCP连接上传输。

总的来说，多路复用计数指的是在多路复用连接中可以打开的流的数量，它是衡量多路复用能力的一个指标。在HTTP/2中，多路复用允许更高效的数据传输，减少了网页加载时间，改善了用户体验。

其他参考文档链接：

Nginx实现负载均衡&Nginx缓存功能：tengine-nginx，Memcached
https://www.cnblogs.com/keerya/p/7819842.html

利用 Nginx 反向代理和缓存功能自建及优化 CDN 加速节点详细教程
https://vpsxb.net/3934/

nginx反向代理+缓存开启+url重写+负载均衡(带健康探测)的部署方案 NGINX反代缓存
https://www.bnxb.com/nginx/27505.html