字节青训如何将我的服务开放给用户笔记

本文链接：https://blog.csdn.net/cczj0/article/details/125058590

仅作笔记

将我的服务开放给用户

此次课程我们能学到什么？

能够了解和学习到企业级网络接入核心组件及基本原理
当面试时，别人问到你从输入网页到内容加载出来，可以泛泛而谈
可以自己从零到一搭建属于自己的网站/博客(网络基础设施)
当访问服务出现问题时，可以针对性地进行故障分析及解决

课程目录：

接入问题引入
1. 经典问题：浏览器输入网站域名www.toutiao.com到网页加载出来，都经历了哪些过程？
  1. 域名解析
  2. TCP建连
  3. SSL握手
  4. 等等
2. 浏览器抓包的根源或者本质是什么?为什么我只是想访问这个主页，确出现了那么多请求？
  1. 我们只需要关注首次请求即可，其他请求是为了渲染最终的页面。
  2. DNS->TCP->TLS->HTTP请求的发送
企业接入升级打怪之路
1. 使用域名系统
  1. Host管理
    1. example公司建立之初有很多站点
      1. 办公、文档、员工认证、人事等
      2. 通过Host主机表管理Host到Ip的映射(网络运维人员使用主机表管理Host到Ip的映射，网络的管理人员维护主配置，员工通过FTP协议拉取主配置，达到访问各个系统的目的)
      3. 但因为员工越来越多，公司规模越来越大，导致流量和负载不支持。无法保证主机名称的唯一性，同名主机添加导致服务故障。分发时靠人工上传，时效性太差。
  2. 通过使用域名系统来替换Hosts文件
    1. 关于域名空间：
      - 域名空间被组织成数型结构
      - 域名空间通过划分zone的方式进行分层授权管理
      - 全球公共域名空间仅对应一棵树
      - 根域名服务器：查询起点
      - 域名组成格式：[a-zA-Z0-9_-]，以划分label。
      - 顶级域名gTLD：general Top-level Domains：gov政府、.edu教育、.com商业、.mil军事、.org非盈利组织
    2. 域名报文格式：一串二进制数字。
2. 自建DNS服务器
  1. 问题
    1. 内网域名的解析也得去外网获取，效率低下
    2. 外部用户可以看到内网ip地址，容易被hacker攻击
    3. 云厂商权威DNS容易出故障，影响用户体验
    4. 持续扩大公司品牌技术影响力，使用自己的DNS系统
  2. DNS查询过程
    1. 先从网络客户端进入本地DNS服务器查找是否有改域名的缓存记录。如果没有进入到DNS根服务器(13台根服务器)中查找然后返回本地DNS服务器。找不到再进入.com域服务器(13台顶级域名服务器)进行查找然后返回结果到本地DNS服务器。找不到进入163.com域服务器查询该域名对应的IP地址返回本地DNS服务器，再返回到网络客户端。
  3. DNS记录类型
    1. A/AAAA:IP指向记录，用于指向IP，前者为IPv4记录，后者为IPv6记录
    2. CNAME：别名记录，配置值为别名或主机名，客户端根据别名继续解析以提取IP地址
    3. TXT文本记录，购买证书时需要
    4. MX：邮件交换记录，用于指向邮件交换服务器
    5. NS：解析服务器记录，用于指定哪台服务器对于该域名解析
    6. SOA记录：起始授权机构记录，每个zone有且仅有唯一的一条SOA记录，SOA是描述zone属性以及主要权威服务器的记录
  4. 权威DNS系统架构
3. HTTPS协议
  1. 问题背景
    1. 页面出现白页
    2. 返回了403
    3. 搜索不了东西
    4. 页面弹窗等
  2. 问题原因是某些厂商对明文的HTTP进行了一些响应抓取，所以HTTP明文传输，弊端越来越明显，然后就诞生了HTTPS，进行加密。
  3. 对称加密和非对称加密
    1. 对称加密：一份秘钥，数据传输效率
    2. 非对称加密：公钥和私钥，数据传输安全性
      1. 客户端向服务器发起请求，服务器将公钥返回给客户端，客户端拿到服务器公钥后生成Key，通过公钥对Key进行加密并返还给服务端，服务端再用私钥进行解密。双方使用Key进行堆成加密传输。
  4. 证书链
    1. 公钥确定是可信的吗？会不会被劫持？
      1. Server端发送的是带签名的证书链
      2. Clinet收到后会进行验证
        是否是可信机构颁布
        域名是否与实际访问的一致
        检查数字签名是否一致
        检查证书的有效期
        检查证书的撤回状态
4. 接入全站加速
  1. 问题背景
    1. 外网用户访问站点，一定是一帆风顺的吗？可能出现的问题有哪些？
    2. 比如说源站(网站)的容量低，可承载的并发请求数低，容易被打垮。(有点类似于DDos)
    3. 报文经过的网络设备越多，出问题的概率越大，丢包、劫持、mtu问题。
    4. 自主选路网络链路长，时延比较高。
    5. 总结就是响应慢、卡顿。
  2. 解决方案
    1. 如果是源站容量问题，可以增加后端机器扩容；如果是静态内容，可以使用静态加速缓存
    2. 网络传输问题就使用动态加速DCDN
    3. 全站加速静态加速 + 动态加速
  3. 静态加速 CDN
    1. 访问过程针对静态文件传输，网络的优化方式
    2. 通过缓存，通过将服务器中的静态内容储存到一个一个的cdn节点上，我们访问静态内容时，无需访问服务器的源站，直接可以通过cdn节点来获取静态内容。减轻了服务器的压力并且增加了访问速度。
    3. 原理：从源点获取的就不是DNS解析的结果，而是cdn节点解析的结果。cdn节点使用的是自动调取DNS，它是根据一些算法和策略将一些比较合适的cdn节点或IP地址返回给LocalDNS，最终返回client。同时cdn会发起一次请求，并且将此作为缓存。
    4. 缩短了网络的链路吗，缓解了不同运营商互相访问的成本。减轻了各省的出口带宽压力(将静态内容请求都控制在靠近clent端)。优化网络热点内容的分布。
  4. 动态加速 DCDN
    1. 针对一些POST等非静态请求等不能在用户边缘缓存的业务，基于智能选路技术，从众多回源线路中择优选择一条线路进行传输。
5. 四层负载均衡
  1. 如果在运营商处租用了一个100.1.2.3的公网IP，如何在企业内部使用最合理？
    1. 现状：直接找一个物理机，Ifconfig将网卡配上这个IP，起server监听即可。应用越多，就要起多个server监听不同的端口。
  2. 什么是四层负载均衡？
    1. 基于IP+端口，利用某种算法将报文转发给某个后端服务器，实现负载均衡地落到后端服务器上。基于OSI七层模型进行划分的。
    2. 三个主要功能：
      - 解耦vip和rs
      - NAT
      - 防攻击：syn proxy，避免直接将公网IP暴露出来
    3. 常见的调度算法原理
      1. RR轮询：将所有请求平均分配给每个真实服务器RS
      2. 加权RR轮询：给每个后端服务器一个权值比例，将请求按照比例分配
      3. 最小链接：将新的连接请求分配到当前连接数最小的服务器
      4. 五元组hash：根据sip、sport、proto、dip、dport对静态分配的服务器做散列取模。
      5. 缺点就是当后端某个服务器故障之后，所有连接都重新计算，影响整个hash环。
      6. 一致性hash：只影响故障服务器上的连接session，其余服务器上的连接不受影响
6. 七层负载均衡
  1. 问题背景
  2. 四层负载对100.1.2.3只能bind一个80端口，而有多个外部站点需要使用，该如何解决？
    1. SSL卸载，业务侧重是http服务，用户需要https访问
    2. 请求重定向：浏览器访问toutiao.com自动跳转www.toutiao.com
    3. 路由添加匹配策略：完全、前缀、正则
    4. Header编辑
    5. 跨域支持
    6. 协议支持：websocket、grpc、quic
  3. Nginx简介
    1. 模块化设计，较好的扩展性和可靠性
    2. 基于maseter/worker架构设计
    3. 支持热部署：可以在线升级
    4. 不停机更新配置文件、更换日志文件、更新服务器二进制
    5. 较低的内存消耗：一万个keep-alive连接模式下的非活动连接仅消耗2.5M内存
    6. 事件驱动：异步非阻塞模型、支持aio，mmap(内存映射)