软件基础原理——网络编程原理

极客时间——后端面试38讲——李智慧老师——听课笔记

网络通信概述

我们开发的面向普通用户的应用程序，目前来看几乎都是互联网应用程序，也就是，用户操作的应用程序，不管是浏览器还是移动APP，核心请求都会通过互联网发送到后端的数据中心进行处理，进而实现与数据中心的交互，比如，我们在淘宝的搜索框随便输入一个字符“a”，就会在屏幕上看到一大堆商品。
我们在编程的时候，很少要自己直接开发网络通信代码，服务器由Tomcat这样的Web容器管理网络通信，服务器由tomcat这样的WEB容器管理网络通信，服务间网络通信通过Dubbo这样的分布式服务框架完成网络通信。
我们能够用手机或者电脑上网，是因为运营服务商为我们提供了互联网接入服务，将我们的的手机和电脑连接到互联网上。App请求的数据最先到达的是运营服务商的机房，然后运营商通过自己建设的骨干网络和交换节点，将我们请求数据的目的地址发送往互联网的任何地方。
一台机器可能同时有很多进程正在进行网络通信。如何使数据到达服务器后能够发送给正确的进程处理，就要靠通信端口进行标识了。

DNS

淘宝服务器的IP地址是通过DNS域名解析服务器得到的。当我们打开淘宝App的时候，要把淘宝首页的数据加载进来，这时候需要连接域名服务器进行域名解析，将xxx.taobao.com这样的域名解析为一个IP地址，然后连接到目标服务器。

CDN

DNS解析出来的IP地址不一定是淘宝数据中心的IP地址，也可能是淘宝CDN服务器的IP地址。

为了提高用户请求访问的速度，为了降低数据中心的负载压力，淘宝会在全国各地各个主要的运营服务商机房中部署一些缓存服务器，缓存那些静态的图片、资源文件等。

如果用户请求的数据是静态的资源，这些资源的URL通常会以image.taobao.com之类的二级域名进行标识，域名解析的时候就会解析为淘宝CDN的IP地址，请求先被CDN处理，如果CDN中有需要的静态文件，就直接返回，如果没有，CDN会将请求发送到淘宝的数据中心，CDN从淘宝数据中心获得静态文件后，一方面缓存在自己的服务器上，一方面将数据返回给用户的App.

多层协议

http协议是应用层协议，TCP协议是传输层协议，IP协议是网络层协议。
应用程序使用操作系统的socket接口进行网络编程，Socket里封装了TCP协议。

物理层负责数据的物理传输，计算机输入输出的只能是0 1这样的二进制数据，但在真正的通信线路里有光纤，电缆，无线各种设备。光信号，电信号，以及无线电磁信号在物理上是完全不同的，如何让这些不同的设备能够理解，处理相同的二进制数据。

数据链路层就是将数据进行封装后交给物理层进行传输，主要就是将数据封装成数据帧，以帧为单位通过物理层进行通信，有了帧，就可以在镇上进行数据校验，进行流量控制。数据链路层会定义帧的大小，这个大小也被称为最大传输元。数据链路层会将封装好的帧添加一个帧头，帧头里记录的一个重要信息就是发送者和接受者的mac地址（它是网卡的设备标识符，是惟一的），数据帧通过这个信息确保数据送达到正确的目标机器。

网络层IP协议
表面：
IP协议里最重要的部分是IP地址，各种计算机设备之间能相互通信，首先要能找到彼此，IP地址就是互联网的地址标识。手机上的淘宝App能够访问淘宝的数据中心，就是知道了淘宝数据中心服务器的IP地址，然后建立网络连接，进而处理请求数据。
该协议使得互联网应用根据IP地址就能访问到淘宝的数据中心，请求离开App后，到达运营服务商的交换机，交换机会根据这个IP地址进行路由转发，可能中间会经过多个转发节点，最后到达淘宝的服务器。
深层：
网络层的数据需要交给链路层进行处理，而链路数据帧的的大小定义了最大传输单元，网络层的IP数据包必须要小于最大传输单元才能进行网络传输，这个数据包也有一个IP头，主要包括发送者和接受者的IP地址。

IP协议不是一个可靠的通信，并不保证数据一定会送达。

传输层协议TCP
它可以保证通信的稳定可靠。
表面：TCP三次握手

App和服务器之间发送三次报文才会简历一个TCP连接，报文中的SYN标识请求建立连接，ACK表示确认。APP先发送SYN=1,Seq=X的报文，表示请求建立连接，x是一个随机数；淘宝服务器收到这个报文后，应答SYN=1,Seq=X+1,Seq=Y的报文，表示同意建立连接；APP收到这个报文后，检查ACK的值为自己发送的Seq值+1，确认建立连接，并发送ACK=Y+1的报文给服务器；服务器收到这个报文后，检查ACK值为自己发送的Seq值+1，确认建立连接。至此，APP和服务器建立TCP连接，就可以进行数据传输。

TCP也会在数据包上添加TCP头，TCP头出了包含一些用于校验数据正确性和控制数据流量的信息外，还包括通信端口信息。

一个网络传输过程的分析

如果我们以POST方法提交一个搜索请求给淘宝服务器，那么最终在数据链路层构造出如下的数据帧，

App发送的数据只是key=“a”，这样一个JSON字符串，每一层协议都会在上一层协议的基础上添加一个头部信息，最后封装成一个链路层的数据帧在网络上进行传输，发送给淘宝的服务器。
淘宝的服务器在收到这个数据帧后，在通信协议的每一层进行校验检查，确保数据准确后，将头部信息删除，再交给自己的上一层协议处理。HTTP应用服务器在最上层，负责http协议的处理，最后将key="a"这个JSON字符串交给淘宝工程师开发的应用程序处理。

负载均衡

对于淘宝这样日活用户数亿的互联网应用而言，每时每刻都有大量的搜索请求到达数据中心，为了使这些海量的上搜索请求都能得到即时的处理，淘宝会部署一个数千台服务器组成的搜索服务器集群，共同为这些高并发的请求提供服务。

搜索服务器到达数据中心的时候，首先到达的是搜索服务器集群的负载均衡服务器，也就是说，DNS解析出来的是负载均衡服务器的ip地址。然后由负载均衡服务器将请求分发到搜索服务器集群中的某台服务器上。

负载均衡服务器的实现手段有很多，其中一种是linux系统内核支持的链路层负载均衡。
这种负载均衡模式也叫做直接路由模式，在负载均衡器的linux操作系统内核拿到数据包后，直接修改数据帧中的mac地址，将其修改为搜索服务器集群中的某个服务器的mac地址，然后将数据发送回服务器集群所在的局域网，这个数据帧就会被某个真实的搜索服务器接收。

负载均衡服务器和集群内的搜索服务器配置相同的虚拟IP地址，也就是说，在网络通信的IP层面，负载均衡服务器变更mac地址的操作室透明的，不影响TCP/IP的通信连接。所以真实的搜索服务器处理完搜索请求，发送应答响应的时候，就会直接发送回请求的APP手机，不会在毕竟你改过负载均衡服务器。

一个网络传输过程的分析2

淘宝搜索服务器在收到这个搜索请求的时候，首先在本地缓存中查找是否有对应的搜索结果。如果没有。就会将这个搜索请求发送给一个分布式缓存集群查找是否有对应的搜索结果。如果没有，才会将这个请求发送给一个更大规模的服务器集群查找。