Java学习路线（一）网络与操作系统（1）

作为一名IT技术人员，网络方面的知识是必不可少的，而在面试中，有些面试官也会考察网络方面的基础，其中问的比较多的，可能就是TCP的三次握手和四次挥手、HTTP协议与HTTPS协议，以及Socket通信。

1.网络的层次划分

常见的网络层次划分：TCP/IP四层模型、TCP/IP五层模型、OSI七层模型

• TCP/IP四层模型：网络接口层、网络层、传输层、应用层
• TCP/IP五层模型:物理层、数据链路层、网络层、传输层、应用层
• OSI七层模型:物理层、数据链路层、网络层、传输层、会话层、表示层、应用层
  

2.OSI七层模型

1. 物理层
   为上层协议提供了一个传输数据的可靠的物理媒体，确保数据可以在物理媒体上传输。
2. 数据链路层
   基于物理层提供的服务，继续向网络层提供服务，其最基本的服务是将源自网络层来的数据可靠地传输到相邻节点的目标机网络层。为达到这一目的，数据链路必须具备一系列相应的功能，主要有：如何将数据组合成数据块，在数据链路层中称这种数据块为帧（frame），帧是数据链路层的传送单位；如何控制帧在物理信道上的传输，包括如何处理传输差错，如何调节发送速率以使与接收方相匹配；以及在两个网络实体之间提供数据链路通路的建立、维持和释放的管理。数据链路层在不可靠的物理介质上提供可靠的传输。该层的作用包括：物理地址寻址、数据的成帧、流量控制、数据的检错、重发等。
   总结一下就是：
   1).数据链路层为网络层提供可靠的数据传输
   2).基本数据单位为帧
   3).主要的协议：以太网协议
   4).两个重要设备名称：网桥和交换机
3. 网络层
   网络层的目的是实现两个端系统之间的数据透明传送，具体功能包括寻址和路由选择、连接的建立、保持和终止等。它提供的服务使传输层不需要了解网络中的数据传输和交换技术。
   网络层涉及到的协议：
   1).IP协议（Internet Protocol，因特网互联协议)
   IP协议的作用是提供不可靠、无连接的传送服务。IP协议的主要功能有：无连接数据报传输、数据报路由选择和差错控制。
   2).ICMP协议（Internet Control Message Protocol，因特网控制报文协议）
   3).ARP协议（Address Resolution Protocol，地址解析协议）
   4).RARP协议（Reverse Address Resolution Protocol，逆地址解析协议）
   网络层负责对子网间的数据包进行路由选择。此外，网络层还可以实现拥塞控制、网际互连等功能。其中，网络层的基本数据单位为IP数据报。
4. 传输层
   传输层负责将上层数据分段并提供端到端的、可靠的或不可靠的传输。此外，传输层还要处理端到端的差错控制和流量控制问题。
   传输层的任务是根据通信子网的特性，最佳的利用网络资源，为两个端系统的会话层之间，提供建立、维护和取消传输连接的功能，负责端到端的可靠数据传输。在这一层，信息传送的协议数据单元称为段或报文。
   网络层只是根据网络地址将源结点发出的数据包传送到目的结点，而传输层则负责将数据可靠地传送到相应的端口。
   总结一下：
   1).传输层负责将上层数据分段并提供端到端的、可靠的或不可靠的传输以及端到端的差错控制和流量控制问题
   2).包含的主要协议：TCP协议（Transmission Control Protocol，传输控制协议）、UDP协议（User Datagram Protocol，用户数据报协议）
   3).重要设备：网关
5. 会话层
   会话层管理主机之间的会话进程，即负责建立、管理、终止进程之间的会话。会话层还利用在数据中插入校验点来实现数据的同步
6. 表示层
   表示层对上层数据或信息进行变换以保证一个主机应用层信息可以被另一个主机的应用程序理解。表示层的数据转换包括数据的加密、压缩、格式转换等。
7. 应用层
   为操作系统或网络应用程序提供访问网络服务的接口。我们平时写的接口，就是在应用层上去进行开发的。

会话层、表示层和应用层重点：
1).数据传输基本单位为报文
2).包含的主要协议：FTP（文件传送协议）、Telnet（远程登录协议）、DNS（域名解析协议）、SMTP（邮件传送协议），POP3协议（邮局协议），HTTP协议（Hyper Text Transfer Protocol）

3.TCP/IP协议

1. 传输控制协议TCP简介
   - 面向连接的，可靠的，基于字节流的传输层通信协议
   - 将应用层的数据流分割成报文段并发送给目标节点的TCP层
   - 数据包都有序号，对方收到则发送ACK确认，未收到则重传
   - 使用校验和来检验数据在传输过程中是否有误
   - 通过三次握手建立连接，需要四次挥手断开连接
2. TCP Flags
   - URG：紧急指针标志
   - ACK：确认序号标志
   - PSH：push标志
   - RST：重置连接标志
   - SYN：同步序号，用于建立连接过程
   - FIN：finish标志，用于释放连接
3. TCP的三次握手
   握手是为了建立连接，TCP三次握手的流程图如下：
   
   在TCP/IP协议中，TCP协议提供可靠的连接服务，采用三次握手建立一个连接。
   第一次握手：建立连接时，客户端发送SYN包(syn = j)到服务器，并进入SYN_SENT(同步发送)状态，等待服务器确认；
   第二次握手：服务器收到SYN包，必须确认客户的SYN(ack = x + 1)，同时自己也发送一个SYN包(syn = k)，即SYN+ACK包，此时服务器进入SYN_RECV(同步接收)状态；
   第三次握手：客户端收到服务器的SYN+ACK包，向服务器发送确认包ACK(ack = y + 1)，此包发送完毕，客户端和服务器进入ESTABLISHED(确认连接)状态，完成三次握手。
4. 为什么需要三次握手才能建立起连接？
   首先，三次握手是为了防止已经失效的连接请求报文段突然又传到服务端，因而产生错误，因此，我们需要建立起一个安全的连接，来进行数据的传输，防止服务器资源的浪费。
   如果没有使用TCP三次握手，当客户端在某一时刻发送了一个SYN包，因为网络原因或者其他未知原因，导致这个包没有丢失，并且在之后发送到了服务端，而此时这个数据包是一个失效的数据包，相当于客户端并没有发送过连接请求，此时服务器接收到了这个失效的数据包，认为客户端已经发送了请求，并返回了ACK包，并认为连接已经建立，等待客户端发送数据，但是此时客户端并没有想要发送数据，如此服务器就会在白白等待的过程中浪费了服务器的资源。
   如果采用了三次握手就不会出现这种情况。服务端每收到一个建立连接的请求时，都会返回ACK包，并等待客户端再次返回确认包，如果没有响应，服务端也就可以知道此时的连接并没有建立。
5. 首次握手的隐患—SYN超时
   问题起因：
   1).Server收到Client的SYN，回复SYN-ACK的时候未收到ACK确认
   2).Server不断重试直至超时，Linux默认等待63秒才断开连接
   针对SYN Flood的防护措施：
   1).SYN队列满后，通过tcp_syncookies参数回发SYN Cookie
   2).若为正常连接则Client会回发SYN Cookie，直接建立连接
6. 建立连接后，Client出现故障怎么办？
   保活机制：
   • 向对方发送报保活测报文，如果未收到响应则继续发送
   • 尝试次数达到保活探测数仍未收到响应则中断连接
7. TCP的四次挥手
   “挥手”是为了终止连接。TCP四次握手的流程图如下：
   
   TCP采用四次挥手来释放连接：
   第一次挥手：Client发送一个FIN，用来关闭Client到Server的数据传送，Client进入FIN_WAIT_1状态；
   第二次挥手：Server收到FIN后，发送一个ACK给Client，确认序号为收到序号+1(与SYN相同，一个FIN占用一个序号)，Server进入CLOSE_WAIT状态；
   第三次挥手：Server发送一个FIN，用来关闭Server到Client的数据传送，Server进入LAST_ACK状态；
   第四次挥手：Client收到FIN后，Client进入TIME_WAIT状态，接着发送一个ACK给Server，确认序号为收到序号+1，Server进入CLOSED状态，完成四次挥手；
8. 为什么会有TIME_WAIT状态？
   原因：
   • 确保有足够的数据让对方收到ACK包
   • 避免新旧连接混淆
9. 为什么需要四次握手才能断开连接？
   因为全双工，发送方和接收方都需要FIN报文和ACK报文才断开连接。
   PS：全双工指可以同时（瞬时）进行信号的双向传输（A→B且B→A）。指A→B的同时B→A，是瞬时同步的。
10. 服务器出现大量CLOSE_WAIT状态的原因
    对方关闭scoket连接，我方忙于读或写，没有及时关闭连接
    解决方案：
    • 检查代码，特别是释放资源的代码
    • 检查配置，特别是处理请求的线程配置
11. TCP的滑动窗口
    1). RTT和RTO
    RTT：发送一个数据包到收到对应的ACK，所花费的时间
    RTO：重传时间间隔
    2). TCP使用滑动窗口做流量控制与乱序重排
    保证TCP的可靠性
    保证TCP的流量控制特性
    3). 滑动窗口协议
    “窗口”对应的是一段可以被发送者发送的字节序列
    “滑动”则是指这段“允许发送的范围”是可以随着发送的过程而变化的，方式就是按顺序“滑动”。
    TCP会话的发送方：
    
    TCP会话的接收方：
    
    建立连接之初，接收方与发送方会确定窗口的大小，发送方发送数据后，发送窗口位置不变，接收方接收到了乱序的数据分组，因为TCP的数据接收为全双工模式，接收方需要确认收到数据，只有当发送方发送了数据，且接收方接收到数据，且发送方得到了接收方的确认消息之后，滑动窗口才会继续向下滑动，并发送新的数据，同时接收方则确认连续的数据分组，对于乱序的分组则先接收下来，避免网络重复传递。

4.UDP

UDP主要用于那些面向查询—应答的服务，每个UDP报文分UDP报头和数据区两部分，UDP报头由4个域组成，其中每个域各占2个字节，具体如下：源端口号、目标端口号、数据报长度、校验值。

1. TCP和UDP的区别
   1).UPD的特点：
   ①.面向非连接
   ②.不维护连接状态，支持同时向多个客户端传输相同的消息
   ③.数据包报头只有8个字节，额外开销较小
   ④.吞吐量只受限于数据生成速率、传输速率以及机器性能
   ⑤.尽最大努力交付，不保证可靠交付，不需要维持复杂的链接状态表
   ⑥.面向报文，不对应用程序提交的报文信息进行拆分或者合并
   2).结论：
   ①.TCP面向连接，UPD面向无连接
   ②.TCP有可靠性保证，UDP不保证可靠性
   ③.TCP通过对序号进行排序，消息的到达具有有序性，UDP不具备有序性
   ④.TCP需要创建连接，保证可靠性等，速度较慢，UDP速度快
   ⑤.TCP占用20个字节，UDP占用8个字节，TCP是重量级的

5.HTTP与HTTPS

1. HTTP简介
   超文本传输协议HTTP主要特点：
   1).支持客户/服务器模式：浏览器作为客户端通过url请求向服务端发送http请求，服务端响应请求进行处理，处理完成返回响应信息到浏览器
   2).简单快速：客户端向服务端发送请求时，只需发送请求方法和路径，请求方法常见的有GET、POST等，由于HTTP协议简单，使得服务器的程序规模小，因而通讯速度快
   3).灵活：HTTP允许传送任何数据类型的数据对象
   4).无连接：每次连接只处理一个请求，服务端收到客户端请求，处理完成返回响应信息到客户端后，连接即断开
   5).无状态
2. HTTP请求结构
   
   
3. HTTP请求/响应的步骤
   1).客户端连接到Web服务器
   2).发送HTTP请求
   3).服务器接受请求并返回HTTP响应
   4).释放连接TCP连接
   5).客户端浏览器解析HTML内容
4. 在浏览器地址栏键入URL，按下回车之后经历的流程？
   1).解析DNS：通过查找DNS缓存解析URL中的域名，找到IP地址。DNS缓存从近到远依次是浏览器缓存，系统缓存，路由器缓存，IPS缓存，根域名服务器缓存，顶级域名服务器缓存。找到之后直接返回，不再往下查找缓存。
   2).建立TCP连接
   3).浏览器发送HTTP请求
   4).服务器处理请求并返回HTTP报文
   5).浏览器解析渲染页面
   6).连接结束，断开TCP连接
5. HTTP状态码
   五种可能的取值：
   1xx：指示信息–表示请求已接收，继续处理
   2xx：成功–表示请求已经被成功接收
   3xx：重定向–要完成请求必须进行更进一步的操作
   4xx：客户端错误–请求有语法错误或请求无法实现
   5xx：服务器端错误–服务器未能实现合法的请求
   常见状态码：
   200 OK：正常返回信息
   400 Bad Request：客户端请求有语法错误，不能被服务器所理解
   401 Unauthorized：请求未经授权，这个状态代码必须和WWW-Authenticate报头域一起使用
   403 Forbidden：服务器收到请求，但是拒绝提供服务
   404 Not Found：请求资源不存在，eg，输入了错误的URL
   500 Internal Server Error：服务器发生不可预期的错误
   503 Server Unavaulable：服务器当前不能处理客户端的请求，一段时间后可能恢复正常
6. GET请求和POST请求的区别：
   从三个层面来解答：
   1).HTTP报文层面：GET将请求信息放在URL，POST放在报文体中
   2).数据库层面：GET符合幂等性和安全性，POST不符合
   3).其他层面：GET可以被缓存、被存储，而POST不行
7. Cookie和Session的区别
   Cookie简介：
   1).是由服务器发给客户端的特殊信息，以文本的形式存放在客户端
   2).客户端再次请求的时候，会把Cookie回发
   3).服务器接收到后，会解析Cookie生成与客户端相对应的内容
   Cookie的设置以及发送过程：
   
   Session简介：
   1).服务器端的机制，在服务器上保存的信息
   2).解析客户端请求并操作session id，按需保存状态信息
   Session的实现方式：
   1).使用Cookie来实现
   
   2).使用URL回写来实现
   区别：
   1).Cookie数据存放在客户的浏览器上，Session数据放在服务器上
   2).Session相对于Cookie更安全
   3).若考虑减轻服务器负担，应当使用Cookie
8. HTTP和HTTPS的区别
   1).HTTPS的协议：SSL(Security Sockets Layer，安全套接层)：
   ①.为网络通信提供安全及数据完整性的一种安全协议
   ②.是操作系统对外的API，SSL3.0后更名为TLS
   ③.采用身份验证和数据加密保证网络通信的安全和数据的完整性
   2).HTTPS的加密方式：
   ①.对称加密：加密和解密都使用同一个秘钥
   ②.非对称加密：加密使用的秘钥和解密使用的密钥是不相同的
   ③.哈希算法：将任意长度的信息转换为固定长度的值，算法不可逆
   ④.数字签名：证明某个消息或者文件是某人发出/认同的
   3).HTTPS数据传输流程
   ①.浏览器将支持的加密算法信息发送给服务器
   ②.服务器选择一套浏览器支持的加密算法，以证书的形式回发浏览器
   ③.浏览器验证证书合法性，并结合证书公钥加密信息发送给服务器
   ④.服务器使用私钥解密信息，验证哈希，加密响应消息回发浏览器
   ⑤.浏览器解密响应消息，并对消息进行验真，之后进行加密交互数据
   4).HTTP和HTTPS的区别
   ①.HTTPS需要到CA申请证书，HTTP不需要
   ②.HTTPS密文传输，HTTP明文传输
   ③.连接方式不同，HTTPS默认使用443端口，HTTP使用80端口
   ④.HTTPS = HTTP + 加密 + 认证 + 完整性保护，较HTTP安全
   5).HTTPS真的很安全吗？
   ①.浏览器默认填充http://，请求需要进行跳转，有被劫持的风险
   ②.可以使用HSTS(HTTP Strict Transport Security)优化

6.Socket相关

1. Scoket简介
   Socket是对TCP/IP协议的抽象，是操作系统对外开放的接口
   
2. Socket通信流程
   
3. 编写一个网络应用程序，有客户端与服务器端，客户端向服务器发送一个字符串，服务器收到该字符串后将其打印到命令行上，然后向客户端返回该字符串的长度，最后，客户端输出服务器端返回的该字符串的长度，分表用TCP和UDP两种方式去实现。
   TCP方式：
   LengthCalculator.java

package socket;

import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.Socket;

/**
 * 长度计算
 */
public class LengthCalculator extends Thread {

    /**
     * 以socket为成员变量
     */
    private Socket socket;

    public LengthCalculator(Socket socket) {
        this.socket = socket;
    }

    @Override
    public void run() {
        try {
            // 获取socket的输出流
            OutputStream os = socket.getOutputStream();
            // 获取socket的输入流
            InputStream is = socket.getInputStream();
            int ch;
            byte[] buff = new byte[1024];
            // buff主要用来读取输入的内容，存成byte数组，ch主要用来获取读取数据的长度
            ch = is.read(buff);
            // 将接收流的byte数组转换成字符串，这里获取的内容是客户端发送过来的字符串参数
            String content = new String(buff, 0, ch);
            System.out.println(content);
            // 往输出流里写入获得的字符串的长度，回发给客户端
            os.write(String.valueOf(content.length()).getBytes());
            // 关闭输入输出流以及socket
            is.close();
            os.close();
            socket.close();
        } catch (IOException e) {
            e.printStackTrace();
        }

    }
}

TcpClient.java

package socket;

import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.Socket;

/**
 * TCP Client端
 * @Author 
 * @Date 2019/6/16 17:55
 */
public class TcpClient {

    public static void main(String[] args) throws IOException {
        // 创建socket，并制定连接的是本地的端口号为65000的服务器socket
        Socket socket = new Socket("127.0.0.1", 65000);
        // 获取输出流
        OutputStream os = socket.getOutputStream();
        // 获取输入流
        InputStream is = socket.getInputStream();
        // 将要传递给server的字符串参数转换成byte数组，并将数组写入到输出流中
        os.write(("hello world").getBytes());
        int ch;
        byte[] buff = new byte[1024];
        // buff主要用来读取输入的内容，存成byte数组，ch主要用来获取读取数组的长度
        ch = is.read(buff);
        // 将接收流的byte数组转化成字符串，这里是从服务端回发回来的字符串参数的长度
        String content = new String(buff, 0, ch);
        System.out.println(content);
        // 关闭输入输出流以及socket
        is.close();
        os.close();
        socket.close();
    }
}

TcpServer.java

package socket;

import java.io.IOException;
import java.net.ServerSocket;
import java.net.Socket;

/**
 * TCP Server端
 * @Author 
 * @Date 2019/6/16 17:53
 */
public class TcpServer {

    public static void main(String[] args) throws IOException {
        // 创建socket，并将socket绑定到65000端口
        ServerSocket ss = new ServerSocket(65000);
        // 死循环，使得socket一直等待并处理客户端发送过来的请求
        while (true){
            // 监听65000端口，直到客户端返回连接信息后才返回
            Socket socket = ss.accept();
            new LengthCalculator(socket).start();
        }
    }
}

UDP方式：
UdpClient.java

package socket;

import java.io.IOException;
import java.net.DatagramPacket;
import java.net.DatagramSocket;
import java.net.InetAddress;

/**
 * UDP Client
 * @Author 
 * @Date 2019/6/16 18:50
 */
public class UdpClient {

    public static void main(String[] args) throws IOException {
        // 客户端发送数据报给服务端
        DatagramSocket socket = new DatagramSocket();
        // 要发送给服务端的数据
        byte[] buff = "hello world hahaha".getBytes();
        // 将IP地址封装成InetAddress对象
        InetAddress address = InetAddress.getByName("127.0.0.1");
        // 将要发送给服务端的数据封装成DatagramPacket对象，需要填写上ip地址和端口号
        DatagramPacket packet = new DatagramPacket(buff, buff.length, address, 65001);
        // 发送数据给服务端
        socket.send(packet);
        // 客户端接受服务端发送过来的数据报
        byte[] data = new byte[100];
        // 创建DatagramPacket对象用来存储服务端发送过来的数据
        DatagramPacket receivedPacket = new DatagramPacket(data, data.length);
        // 将接受到的数据存储到DatagramPacket对象中
        socket.receive(receivedPacket);
        // 将服务器端发送过来的数据取出来并打印到控制台
        String content = new String(receivedPacket.getData(), 0, receivedPacket.getLength());
        System.out.println(content);
    }
}

UdpServer.java

package socket;

import java.io.IOException;
import java.net.DatagramPacket;
import java.net.DatagramSocket;

/**
 * UDP Server
 * @Author 
 * @Date 2019/6/16 18:41
 */
public class UdpServer {

    public static void main(String[] args) throws IOException {
        //创建socket，并将socket绑定到65001端口，接受客户端发送的数据报
        DatagramSocket socket = new DatagramSocket(65001);
        byte[] buff = new byte[100];
        // 接收客户端发送过来的内容，并将内容封装进DatagramPacket对象中，并建立死循环持续监听
        while (true){
            DatagramPacket packet = new DatagramPacket(buff, buff.length);
            socket.receive(packet);
            // 从DatagramPacket中获取到真正存储的数据
            byte[] data = packet.getData();
            // 将数据从二进制转换成字符串的形式
            String content = new String(data, 0, packet.getLength());
            System.out.println(content);
            // 将要发送给客户端的数据转换成二进制
            byte[] sendedContent = String.valueOf(content.length()).getBytes();
            // 服务端给客户端发送数据报
            // 从DatagramPacket对象中获取到数据的来源地址和端口号
            DatagramPacket packetToClient = new DatagramPacket(sendedContent, sendedContent.length, packet.getAddress(), packet.getPort());
            // 发送数据到客户端
            socket.send(packetToClient);
        }
    }
}