Java网络编程

Java网络编程

java基础 网络

---

网络编程的概述

网络编程的实质就是用来实现网络互连的不同计算机上运行的程序间可以进行数据交换。

一.OSI网络模型

由于世界各大计算机厂商推出各自不同的网络体系结构，影响了网络通信的统一性。因此国际标准化组织ISO于1978年推出“开放系统互联”，即著名的OSI(Open System Interconneection)。

开发系统互连系统参考模型力求将网络简化，并以模块化的方式简化网络。

开发系统互连参考模型把计算机网络分成物理层、数据链路层、网络层、传输层、会话层、表示层、应用层等七层，受到计算机界和通信业的极大关注。经过十多年的发展和推进，OSI模型已成为各种计算机网络结构的参考标准。

OSI网络模型七层概述：

1.物理层：

    主要定义物理设备标准，如网线、光纤的接口类型，各种传输介质的传输速率等，它的主要作用就是传输比特流。指两台电脑进行传输数据的网线。

2.数据链路层：

    主要将从物理层接收的数据进行MAC地址的封装与解封装。这一层的数据叫做帧。

3.网络层：

    主要讲从下层接收到的数据进行IP地址的封装与解封装。在这一层工作的设备是路由器，常把这一层的数据叫做数据包。将发送端电脑发送的数据通过路由器分配给指定IP的电脑上。

4.传输层：

    定义了一些传输数据的协议和端口号，如：TCP(传输控制协议)，UDP(用户数据报协议)

5.会话层：

    通过传输层建立数据传输的通路，主要在你的系统之间发起会话或者接受会话请求，要设置目标电脑的IP地址和端口号，才可以找到接收端的电脑和应用。

6.表示层：

    主要是进行对接收的数据进行解释，加密与解密，压缩与解压缩等。将文字或者图片转换成电脑识别的二进制数据。

7.应用层：

     主要是一些终端应用，比如说：QQ，微信，淘宝。

二.TCP/IP网络模型

TCP/IP模型是互联网的基础，想要理解互联网的通信，就必须理解这个模型。但是，它不好懂，对于大部分编程人员来说，简单了解网络通信的机制即可。

什么是TCP/IP模型？

TCP/IP模型是一系列网络协议的总称，这些协议的目的，就是为了使计算机之间可以进行信息交换。

所谓“协议”可以理解为机器之间交谈的语言，每一次协议都有自己的目的。TCP/IP模型一共有几百种协议，对互联网交换信息的各个方面都做了规定。

TCP/IP模型的四层结构

这些协议可以分为四个层次，上一层的层次都以下一层的协议为基础。就像下面这张图：

TCP/IP四层概述:

理解这个结构的关键，在于理解科学家在70年代设计互联网的原始目的，就是为了传输文本。所有协议最初都是为了这个目标而设计的，互联网架构的核心就是文本对话。

1.网络接口层：

    连接层负责建立电路连接，是整个网络的物理基础，典型的协议包括以太网、ADSL等等。

2.网际层：

    网络层负责分配地址和传送二进制数据，主要协议是IP协议。

3.传输层：

    传输层负责传送文本数据，主要协议是TCP协议,UDP协议。

4.应用层：

    应用层负责传送各种最终形态的数据，是直接与用户打交道的层，典型协议是HTTP、FTP等。

三.TCP/IP模型与OSI模型比较

OSI模型与TCP/IP模型对应图

共同点

• 都采用了层次结构概念
• 都能够提供面向连接和无连接两种通信服务机制

不同点

• 前者是七层模型，后者是四层机构
• 对可靠性要求不同（后者更高）
• OSI模型是在协议开发前设计的，具有通用性；TCP/IP是先有协议集然后建立模型，不适用于非TCP/IP网络
• 实际市场应用不同（OSI模型只是理论上的模型，并没有成熟的产品，而TCP/IP已经成为“实际上的国际标准”）

四.计算机的通信

上文已经提及网络编程的实质就是计算机与计算机的通信，现在我们就大概讲下不同设备之间是如何通信的。

IP地址

• 为了能够方便的识别网络上的每个设备，网络中的每个设备都会有一个唯一的数字标识，这个就是IP地址。在计算机网络中,现在命名IP地址的规定是IPv4协议，该协议规定每个IP地址由4个0-255之间的数字组成，例如10.0.120.34。每个接入网络的计算机都拥有唯一的IP地址，这个IP地址可能是固定的，例如网络上各种各样的服务器，也可以是动态的，例如使用ADSL拨号上网的宽带用户，无论以何种方式获得或是否是固定的，每个计算机在联网以后都拥有一个唯一的合法IP地址，就像每个手机号码一样。

域名

• 但是由于IP地址不容易记忆，所以为了方便记忆，有创造了另外一个概念——域名(Domain Name)，例如sohu.com等。一个IP地址可以对应多个域名，一个域名只能对应一个IP地址。域名的概念可以类比手机中的通讯簿，由于手机号码不方便记忆，所以添加一个姓名标识号码，在实际拨打电话时可以选择该姓名，然后拨打即可。
• 在网络中传输的数据，全部是以IP地址作为地址标识，所以在实际传输数据以前需要将域名转换为IP地址，实现这种功能的服务器称之为DNS服务器，也就是通俗的说法叫做域名解析。例如当用户在浏览器输入域名时，浏览器首先请求DNS服务器，将域名转换为IP地址，然后将转换后的IP地址反馈给浏览器，然后再进行实际的数据传输。
• 当DNS服务器正常工作时，使用IP地址或域名都可以很方便的找到计算机网络中的某个设备，例如服务器计算机。当DNS不正常工作时，只能通过IP地址访问该设备。所以IP地址的使用要比域名通用一些。

端口

IP地址和域名很好的解决了在网络中找到一个计算机的问题，但是为了让一个计算机可以同时运行多个网络程序，就引入了另外一个概念——端口(port)。

在介绍端口的概念以前，首先来看一个例子，一般一个公司前台会有一个电话，每个员工会有一个分机，这样如果需要找到这个员工的话，需要首先拨打前台总机，然后转该分机号即可。这样减少了公司的开销，也方便了每个员工。在该示例中前台总机的电话号码就相当于IP地址，而每个员工的分机号就相当于端口。

有了端口的概念以后，在同一个计算机中每个程序对应唯一的端口，这样一个计算机上就可以通过端口区分发送给每个端口的数据了，换句话说，也就是一个计算机上可以并发运行多个网络程序，而不会在互相之间产生干扰。

在硬件上规定，端口的号码必须位于0-65535之间，每个端口唯一的对应一个网络程序，一个网络程序可以使用多个端口。这样一个网络程序运行在一台计算上时，不管是客户端还是服务器，都是至少占用一个端口进行网络通讯。在接收数据时，首先发送给对应的计算机，然后计算机根据端口把数据转发给对应的程序。

有了IP地址和端口的概念以后，在进行网络通讯交换时，就可以通过IP地址查找到该台计算机，然后通过端口标识这台计算机上的一个唯一的程序。这样就可以进行网络数据的交换了。

协议

最后再介绍一个网络编程中最重要，也是最复杂的概念——协议(Protocol)。按照前面的介绍，网络编程就是运行在不同计算机中两个程序之间的数据交换。在实际进行数据交换时，为了让接收端理解该数据，计算机比较笨，什么都不懂的，那么就需要规定该数据的格式，这个数据的格式就是协议。

五.网络通信方式

在现有的网络中，网络通讯的方式主要有两种：

• TCP(传输控制协议)方式
• UDP(用户数据报协议)方式

TCP通讯协议

• 定义：Transmission Control Protocol，即传输控制协议，是一种传输层通信协议

基于TCP的应用层协议有FTP、Telnet、SMTP、HTTP、POP3与DNS。

• 特点：面向连接、面向字节流，全双工通道，可靠

　　1）.面向连接：指的是要使用TCP传输数据，必须先建立TCP连接，传输完成后释放连接，就像打电话一样必须先拨号建立一条连接，打完后挂机释放连接。

　　2）.全双工通信：即一旦建立了TCP连接，通信双方可以在任何时候都能发送数据。

　　3）.可靠的：指的是通过TCP连接传送的数据，无差错，不丢失，不重复，并且按序到达。

　　4）.面向字节流：流，指的是流入到进程或从进程流出的字符序列。简单来说，虽然有时候要传输数据流太大，TCP报文长度有限制，不能一次传输完，要把它分为好几个数据块，但是由于可靠性保证，接收方可以按顺序接收数据块然后重新组成分块之前的数据流，所以TCP看起来就像直接互相传输字节流一样，面向字节流。

• TCP建立连接

必须进行三次握手：若A要与B进行连接，则必须

１.第一次握手：建立连接。客户端发送连接请求报文段，将SYN位置为1，Sequence Number为x；然后，客户端进入SYN_SEND状态，等待服务器的确认。即A发送信息给B

２.第二次握手：服务器收到客户端的SYN报文段，需要对这个SYN报文段进行确认。即B收到连接信息后向A返回确认信息

３.第三次握手：客户端收到服务器的（SYN+ACK）报文段，并向服务器发送ACK报文段。即A收到确认信息后再次向B返回确认连接信息

此时，A告诉自己上层连接建立；B收到连接信息后告诉上层连接建立

这样就完成TCP三次握手 = 一条TCP连接建立完成 = 可以开始发送数据

• 三次握手期间任何一次未收到对面回复都要重发

最后一个确认报文段发送完毕以后，客户端和服务器端都进入ESTABLISHED状态。

• TCP断开连接

TCP释放连接需要四次挥手过程，现在假设A主动释放连接：（数据传输结束后，通信的双方都可释放连接）

第一次挥手：A发送释放信息到B；（发出去之后，A->B发送数据这条路径就断了）

第二次挥手：B收到A的释放信息之后，回复确认释放的信息：我同意你的释放连接请求

第三次挥手：B发送“请求释放连接“信息给A

第四次挥手：A收到B发送的信息后向B发送确认释放信息：我同意你的释放连接请求

B收到确认信息后就会正式关闭连接；

A等待2MSL后依然没有收到回复，则证明B端已正常关闭，于是A关闭连接

为什么TCP要进行三次握手四次挥手？

• 三次握手

答：防止服务器端因为接收了早已失效的连接请求报文从而一直等待客户端请求，从而浪费资源

• 已失效的连接请求报文段”的产生在这样一种情况下：Client发出的第一个连接请求报文段并没有丢失，而是在某个网络结点长时间的滞留了，以致延误到连接释放以后的某个时间才到达server。
• 这是一个早已失效的报文段。但Server收到此失效的连接请求报文段后，就误认为是Client再次发出的一个新的连接请求。
• 于是就向Client发出确认报文段，同意建立连接。
• 假设不采用“三次握手”：只要Server发出确认，新的连接就建立了。
• 由于现在Client并没有发出建立连接的请求，因此不会向Server发送数据。
• 但Server却以为新的运输连接已经建立，并一直等待Client发来数据。>- 这样，Server的资源就白白浪费掉了。

采用“三次握手”的办法可以防止上述现象发生：

Client不会向Server的确认发出确认
Server由于收不到确认，就知道Client并没有要求建立连接
所以Server不会等待Client发送数据，资源就没有被浪费

• 四次挥手

为了保证双方都能通知对方“需要释放连接”，即在释放连接后都无法接收或发送消息给对方

1.当主机1发出FIN报文段时，只是表示主机1已经没有数据要发送了，主机1告诉主机2，它的数据已经全部发送完毕了 但是，这个时候主机1还是可以接受来自主机2的数据。

2.当主机2返回ACK报文段时，表示它已经知道主机1没有数据发送了，但是主机2还是可以发送数据到主机1的

3.当主机2也发送了FIN报文段时，这个时候就表示主机2也没有数据要发送了，就会告诉主机1，我也没有数据要发送了，之后彼此就会愉快的中断这次TCP连接。

此时，主机1和2已经无法进行通信：主机1无法发送数据给主机2，主机2也无法发送数据给主机1，此时，TCP的连接才算释放

UDP通讯协议

UDP（User Data Protocol，用户数据报协议）

1、UDP是一个非连接的协议，传输数据之前源端和终端不建立连接，当它想传送时就简单地去抓取来自应用程序的数据，并尽可能快地把它扔到网络上。在发送端，UDP传送数据的速度仅仅是受应用程序生成数据的速度、计算机的能力和传输带宽的限制；在接收端，UDP把每个消息段放在队列中，应用程序每次从队列中读一个消息段。

2.由于传输数据不建立连接，因此也就不需要维护连接状态，包括收发状态等，因此一台服务机可同时向多个客户机传输相同的消息。

3.UDP信息包的标题很短，只有8个字节，相对于TCP的20个字节信息包的额外开销很小。

4.吞吐量不受拥挤控制算法的调节，只受应用软件生成数据的速率、传输带宽、源端和终端主机性能的限制。

5.UDP使用尽最大努力交付，即不保证可靠交付，因此主机不需要维持复杂的链接状态表（这里面有许多参数）。

6.UDP是面向报文的。发送方的UDP对应用程序交下来的报文，在添加首部后就向下交付给IP层。既不拆分，也不合并，而是保留这些报文的边界，因此，应用程序需要选择合适的报文大小。

UDP和TCP的区别：

1.TCP面向连接（如打电话要先拨号建立连接）;UDP是无连接的，即发送数据之前不需要建立连接

2.TCP提供可靠的服务。也就是说，通过TCP连接传送的数据，无差错，不丢失，不重复，且按序到达;UDP尽最大努力交付，即不保 证可靠交付

3.TCP面向字节流，实际上是TCP把数据看成一连串无结构的字节流;UDP是面向报文的

UDP没有拥塞控制，因此网络出现拥塞不会使源主机的发送速率降低（对实时应用很有用，如IP电话，实时视频会议等）

4.每一条TCP连接只能是点到点的;UDP支持一对一，一对多，多对一和多对多的交互通信

5.udp每个数据大小限制在64KB

6.TCP的逻辑通信信道是全双工的可靠信道，UDP则是不可靠信道

Http协议

HTTP协议（HyperText Transfer Protocol，超文本传输协议）是用于从WWW服务器传输超文本到本地浏览器的传送协议。它可以使浏览器更加高效，使网络传输减少。它不仅保证计算机正确快速地传输超文本文档，还确定传输文档中的哪一部分，以及哪部分内容首先显示(如文本先于图形)等。

HTTP由请求和响应构成，是一个标准的客户端服务器模型（B/S）。HTTP协议永远都是客户端发起请求，服务器回送响应。

HTTP是一个无状态的协议。无状态是指客户机（Web浏览器）和服务器之间不需要建立持久的连接，这意味着当一个客户端向服务器端发出请求，然后服务器返回响应(response)，连接就被关闭了，在服务器端不保留连接的有关信息.HTTP遵循请求(Request)/应答(Response)模型。客户机（浏览器）向服务器发送请求，服务器处理请求并返回适当的应答。所有HTTP连接都被构造成一套请求和应答。

Http工作流程：

一次HTTP操作称为一个事务，其工作整个过程如下：

1 .地址解析，

如用客户端浏览器请求这个页面：http://localhost.com:8080/index.htm

从中分解出协议名、主机名、端口、对象路径等部分，对于我们的这个地址，解析得到的结果如下：
协议名：http
主机名：localhost.com
端口：8080
对象路径：/index.htm

  在这一步，需要域名系统DNS解析域名localhost.com,得主机的IP地址。


2.封装HTTP请求数据包

把以上部分结合本机自己的信息，封装成一个HTTP请求数据包


3.封装成TCP包，建立TCP连接（TCP的三次握手）

   在HTTP工作开始之前，客户机（Web浏览器）首先要通过网络与服务器建立连接，该连接是通过TCP来完成的，该协议与IP协议共同构建Internet，即著名的TCP/IP协议族，因此Internet又被称作是TCP/IP网络。HTTP是比TCP更高层次的应用层协议，根据规则，只有低层协议建立之后才能，才能进行更层协议的连接，因此，首先要建立TCP连接，一般TCP连接的端口号是80。这里是8080端口

4.客户机发送请求命令

   建立连接后，客户机发送一个请求给服务器，请求方式的格式为：统一资源标识符（URL）、协议版本号，后边是MIME信息包括请求修饰符、客户机信息和可内容。

5.服务器响应

服务器接到请求后，给予相应的响应信息，其格式为一个状态行，包括信息的协议版本号、一个成功或错误的代码，后边是MIME信息包括服务器信息、实体信息和可能的内容。

    实体消息是服务器向浏览器发送头信息后，它会发送一个空白行来表示头信息的发送到此为结束，接着，它就以Content-Type应答头信息所描述的格式发送用户所请求的实际数据

6.服务器关闭TCP连接

一般情况下，一旦Web服务器向浏览器发送了请求数据，它就要关闭TCP连接，然后如果浏览器或者服务器在其头信息加入了这行代码

Connection:keep-alive

TCP连接在发送后将仍然保持打开状态，于是，浏览器可以继续通过相同的连接发送请求。保持连接节省了为每个请求建立新连接所需的时间，还节约了网络带宽。

HTTPS协议

HTTPS（全称：Hypertext Transfer Protocol over Secure Socket Layer），是以安全为目标的HTTP通道，简单讲是HTTP的安全版。即HTTP下加入SSL层，HTTPS的安全基础是SSL。其所用的端口号是443。

SSL：安全套接层，是netscape公司设计的主要用于web的安全传输协议。这种协议在WEB上获得了广泛的应用。通过证书认证来确保客户端和网站服务器之间的通信数据是加密安全的。

有两种基本的加解密算法类型：

1.对称加密（symmetrcic encryption）：密钥只有一个，加密解密为同一个密码，且加解密速度快，典型的对称加密算法有DES、AES，RC5，3DES等；

   对称加密主要问题是共享秘钥，除你的计算机（客户端）知道另外一台计算机（服务器）的私钥秘钥，否则无法对通信流进行加密解密。解决这个问题的方案非对称秘钥。

2.非对称加密：使用两个秘钥：公共秘钥和私有秘钥。私有秘钥由一方密码保存（一般是服务器保存），另一方任何人都可以获得公共秘钥。

这种密钥成对出现（且根据公钥无法推知私钥，根据私钥也无法推知公钥），加密解密使用不同密钥（公钥加密需要私钥解密，私钥加密需要公钥解密），相对对称加密速度较慢，典型的非对称加密算法有RSA、DSA等。

过程大致如下：

1）SSL客户端通过TCP和服务器建立连接之后（443端口），并且在一般的tcp连接协商（握手）过程中请求证书。

即客户端发出一个消息给服务器，这个消息里面包含了自己可实现的算法列表和其它一些需要的消息，SSL的服务器端会回应一个数据包，这里面确定了这次通信所需要的算法，然后服务器向客户端返回证书。（证书里面包含了服务器信息：域名。申请证书的公司，公共秘钥）。

2）Client在收到服务器返回的证书后，判断签发这个证书的公共签发机构，并使用这个机构的公共秘钥确认签名是否有效，客户端还会确保证书中列出的域名就是它正在连接的域名。

3） 如果确认证书有效，那么生成对称秘钥并使用服务器的公共秘钥进行加密。然后发送给服务器，服务器使用它的私钥对它进行解密，这样两台计算机可以开始进行对称加密进行通信。

https通信的优点：

1）客户端产生的密钥只有客户端和服务器端能得到；

2）加密的数据只有客户端和服务器端才能得到明文；

3）客户端到服务端的通信是安全的。

Http协议与Https协议的区别

HTTPS和HTTP的区别主要如下：

1、https协议需要到ca申请证书，一般免费证书较少，因而需要一定费用。

2、http是超文本传输协议，信息是明文传输，https则是具有安全性的ssl加密传输协议。

3、http和https使用的是完全不同的连接方式，用的端口也不一样，前者是80，后者是443。

4、http的连接很简单，是无状态的；HTTPS协议是由SSL+HTTP协议构建的可进行加密传输、身份认证的网络协议，比http协议安全。

Sokcet套接字

即套接字，是一个对 TCP / IP协议进行封装 的编程调用接口（API）

即通过Socket，我们才能在Andorid平台上通过 TCP/IP协议进行开发

Socket不是一种协议，而是一个编程调用接口（API），属于传输层（主要解决数据如何在网络中传输）

套接字（Socket）是通信的基石，是支持TCP/IP协议的网络通信的基本操作单元。它是网络通信过程中端点的抽象表示，包含进行网络通信必须的五种信息：连接使用的协议，本地主机的IP地址，本地进程的协议端口，远地主机的IP地址，远地进程的协议端口。

应用层通过传输层进行数据通信时，TCP会遇到同时为多个应用程序进程提供并发服务的问题。多个TCP连接或多个应用程序进程可能需要通过同一个 TCP协议端口传输数据。为了区别不同的应用程序进程和连接，许多计算机操作系统为应用程序与TCP／IP协议交互提供了套接字(Socket)接口。应用层可以和传输层通过Socket接口，区分来自不同应用程序进程或网络连接的通信，实现数据传输的并发服务。

建立Sokcet的过程

Socket是对TCP/IP协议栈操作的抽象，是一个调用接口（API）。Socket套节字对象，是连接两个网络端点的发送器。

Sokcet通信的过程

Socket与Http的区别

• HTTP是应用层协议，主要解决如何包装数据。
• Socket是对TCP/IP协议的封装，Socket本身并不是协议，而是一个调用接口（API），通过Socket，我们才能使用TCP/IP协议。
• http连接：http连接就是所谓的短连接，即客户端向服务器端发送一次请求，服务器端响应后连接即会断掉；
• socket连接：socket连接就是所谓的长连接，理论上客户端和服务器端一旦建立起连接将不会主动断掉；但是由于各种环境因素可能会是连接断开，比如说：服务器端或客户端主机down了，网络故障，或者两者之间长时间没有数据传输，网络防火墙可能会断开该连接以释放网络资源。所以当一个socket连接中没有数据的传输，那么为了维持连接需要发送心跳消息~~具体心跳消息格式是开发者自己定义的

Socket通信的步骤

3、Socket通信的步骤

① 创建ServerSocket和Socket

② 打开连接到Socket的输入/输出流

③ 按照协议对Socket进行读/写操作

④ 关闭输入输出流、关闭Socket

4、服务器端：

① 创建ServerSocket对象，绑定监听端口

② 通过accept()方法监听客户端请求

③ 连接建立后，通过输入流读取客户端发送的请求信息

④ 通过输出流向客户端发送乡音信息

⑤ 关闭相关资源

1. /**
2. * 基于TCP协议的Socket通信，实现用户登录，服务端
3. */
4. //1、创建一个服务器端Socket，即ServerSocket，指定绑定的端口，并监听此端口
5. ServerSocket serverSocket =newServerSocket(10086);//1024-65535的某个端口
6. //2、调用accept()方法开始监听，等待客户端的连接
7. Socket socket = serverSocket.accept();
8. //3、获取输入流，并读取客户端信息
9. InputStream is = socket.getInputStream();
10. InputStreamReader isr =newInputStreamReader(is);
11. BufferedReader br =newBufferedReader(isr);
12. String info =null;
13. while((info=br.readLine())!=null){
14. System.out.println("我是服务器，客户端说："+info)；
15. }
16. socket.shutdownInput();//关闭输入流
17. //4、获取输出流，响应客户端的请求
18. OutputStream os = socket.getOutputStream();
19. PrintWriter pw = new PrintWriter(os);
20. pw.write("欢迎您！");
21. pw.flush();
22. //5、关闭资源
23. pw.close();
24. os.close();
25. br.close();
26. isr.close();
27. is.close();
28. socket.close();
29. serverSocket.close();

5、客户端：

① 创建Socket对象，指明需要连接的服务器的地址和端口号

② 连接建立后，通过输出流想服务器端发送请求信息

③ 通过输入流获取服务器响应

④ 关闭响应资源

1. //客户端
2. //1、创建客户端Socket，指定服务器地址和端口
3. Socket socket =newSocket("localhost",10086);
4. //2、获取输出流，向服务器端发送信息
5. OutputStream os = socket.getOutputStream();//字节输出流
6. PrintWriter pw =newPrintWriter(os);//将输出流包装成打印流
7. pw.write("用户名：admin；密码：123");
8. pw.flush();
9. socket.shutdownOutput();
10. //3、获取输入流，并读取服务器端的响应信息
11. InputStream is = socket.getInputStream();
12. BufferedReader br = new BufferedReader(new InputStreamReader(is));
13. String info = null;
14. while((info=br.readLine())!null){
15. System.out.println("我是客户端，服务器说："+info);
16. }
17. //4、关闭资源
18. br.close();
19. is.close();
20. pw.close();

参考网站：

http://movesan.me/2017/03/09/network-b/

http://www.codedata.cn/hacknews/149249046996315713

http://www.ruanyifeng.com/blog/2009/03/tcp-ip_model.html