网络编程学习

1 网络基础

• 计算机网络：把分布在不同地理区域的计算机与专门的外部设备用通信线路互连成一个规模大、功能强的网络系统，从而使众多的计算机可以方便地互相传递信息、共享硬件、软件、数据信息等资源。
• 网络编程的目的：直接或间接地通过网络协议与其它计算机实现数据交换，进行通讯。
• 网络编程中有两个主要的问题：
  • 如何准确地定位网络上一台或多台主机；定位主机上的特定的应用
  • 找到主机后如何可靠高效地进行数据传输

2 网络协议

2.1 网络协议

• 通信双方地址
• IP
• 端口号
• 网络通讯协议：即一定的规则（有两套参考模型）
• OSI参考模型：模型过于理想化，未能在因特网上进行广泛推广
• TCP/IP参考模型(或TCP/IP协议)：事实上的国际标准。
  
  

2.2 TCP/IP协议

  TCP/IP协议是Internet互联网最基本的协议，其在一定程度上参考了七层ISO模型。 OSI模型共有七层，从下到上分别是物理层、数据链路层、网络层、运输层、会话层、表示层和应用层。但是这显然是有些复杂的，所以在TCP/IP协议中，七层被简化为了四个层次。TCP/IP模型中的各种协议，依其功能不同，被分别归属到这四层之中，常被视为是简化过后的七层OSI模型。 TCP/IP协议与七层ISO模型的对应关系，大致如下图所示：

• 传输层协议中有两个非常重要的协议：
• 传输控制协议TCP(Transmission Control Protocol)
• 用户数据报协议UDP(User Datagram Protocol)。
• TCP/IP
  以其两个主要协议：传输控制协议(TCP)和网络互联协议(IP)而得名，实际上是一组协议，包括多个具有不同功能且互为关联的协议。
• IP(Internet Protocol)协议是网络层的主要协议，支持网间互连的数据通信。
• TCP/IP协议模型从更实用的角度出发，形成了高效的四层体系结构，即物理链路层、 IP层、传输层和应用层。
• TCP协议报文格式
  
• TCP 和 UDP：类比打电话
• 使用TCP协议前，须先建立TCP连接，形成传输数据通道
• 传输前，采用“三次握手” 方式，点对点通信， 是可靠的
• TCP协议进行通信的两个应用进程：客户端、 服务端。
• 在连接中可进行大数据量的传输
• 传输完毕，需释放已建立的连接， 效率低
• UDP协议：类比发短信
• 将数据、源、目的封装成数据包， 不需要建立连接
• 每个数据报的大小限制在64K内
• 发送不管对方是否准备好，接收方收到也不确认， 故是不可靠的
• 可以广播发送
• 发送数据结束时无需释放资源，开销小，速度快

3 IP和端口号

3.1 IP 地址：InetAddress

• 唯一的标识 Internet 上的计算机（通信实体）
• 本地回环地址(hostAddress)： 127.0.0.1 主机名(hostName)： localhost
• IP地址分类方式1： IPV4 和 IPV6
• IPV4： 4个字节组成， 4个0-255。大概42亿， 30亿都在北美，亚洲4亿。 2011年初已经用尽。以点分十进制表示，如192.168.0.1
• IPV6： 128位（16个字节） ， 写成8个无符号整数，每个整数用四个十六进制位表示，数之间用冒号（：）分开，如：
  3ffe:3201:1401:1280:c8ff:fe4d:db39:1984
• IP地址分类方式2： 公网地址(万维网使用)和私有地址(局域网使用)。192.168.开头的就是私有址址，范围即为192.168.0.0–192.168.255.255，专门为组织机构内部使用
• Internet上的主机有两种方式表示地址：
• 域名(hostName)： www.baidu.com
• IP 地址(hostAddress)： 202.108.35.210
• InetAddress类主要表示IP地址， 两个子类： Inet4Address、 Inet6Address。
• InetAddress 类 对 象 含 有 一 个 Internet 主 机 地 址 的 域 名 和 IP 地 址：www.baidu.com 和 202.108.35.210。
• 域名容易记忆，当在连接网络时输入一个主机的域名后， 域名服务器(DNS)负责将域名转化成IP地址，这样才能和主机建立连接。
  -------域名解析
• 域名解析的过程：先找本机hostsC:\Windows\System32\drivers\etc\hosts，是否有输入的域名地址，没有的话，再通过DNS服务器，找主机。
  
• InetAddress类没有提供公共的构造器，而是提供了如下几个静态方法来获取InetAddress实例
• public static InetAddress getLocalHost()
• public static InetAddress getByName(String host)
• InetAddress提供了如下几个常用的方法
• public String getHostAddress()： 返回 IP 地址字符串（以文本表现形式） 。
• public String getHostName()： 获取此 IP 地址的主机名
• public boolean isReachable(int timeout)： 测试是否可以达到该地址

3.2 端口号标识正在计算机上运行的进程（程序）

• 不同的进程有不同的端口号
• 被规定为一个 16 位的整数 0~65535。
• 端口分类：
  • 公认端口： 0~1023。被预先定义的服务通信占用（如： HTTP占用端口80， FTP占用端口21， Telnet占用端口23）
  • 注册端口： 1024~49151。分配给用户进程或应用程序。（如： Tomcat占用端口8080， MySQL占用端口3306，Oracle占用端口1521等） 。
  • 动态/私有端口： 49152~65535。
• 端口号与IP地址的组合得出一个网络套接字： Socket。

public class InetAddressTest {
 
     public static void main(String[] args) {
 
         try {
             //File file = new File("hello.txt");
             InetAddress inet1 = InetAddress.getByName("192.168.10.14");
 
             System.out.println(inet1);
 
             InetAddress inet2 = InetAddress.getByName("www.baidu.com");
             System.out.println(inet2);
 
             InetAddress inet3 = InetAddress.getByName("127.0.0.1");
             System.out.println(inet3);
 
             //获取本地ip
             InetAddress inet4 = InetAddress.getLocalHost();
             System.out.println(inet4);
 
             //getHostName()
             System.out.println(inet2.getHostName());
             //getHostAddress()
             System.out.println(inet2.getHostAddress());
 
         } catch (UnknownHostException e) {
             e.printStackTrace();
         }
     }
 }

4 TCP网络编程

4.1 Socket

• 利用套接字(Socket)开发网络应用程序早已被广泛的采用，以至于成为事实上的标准。
• 网络上具有唯一标识的IP地址和端口号组合在一起才能构成唯一能识别的标识符套接字。
• 通信的两端都要有Socket，是两台机器间通信的端点。
• 网络通信其实就是Socket间的通信。
• Socket允许程序把网络连接当成一个流， 数据在两个Socket间通过IO传输。
• 一般主动发起通信的应用程序属客户端，等待通信请求的为服务端。
• Socket分类：
• 流套接字（stream socket）：使用TCP提供可依赖的字节流服务
• 数据报套接字（datagram socket）：使用UDP提供“尽力而为”的数据报服务
• Socket类的常用构造器：
• public Socket(InetAddress address,int port)创建一个流套接字并将其连接到指定 IP地址的指定端口号。
• public Socket(String host,int port)创建一个流套接字并将其连接到指定主机上的指定端口号。
• Socket类的常用方法：
• public InputStream getInputStream()返回此套接字的输入流。 可以用于接收网络消息
• public OutputStream getOutputStream()返回此套接字的输出流。 可以用于发送网络消息
• public InetAddress getInetAddress()此套接字连接到的远程 IP 地址；如果套接字是未连接的， 则返回null。
• public InetAddress getLocalAddress()获取套接字绑定的本地地址。 即本端的IP地址
• public int getPort()此套接字连接到的远程端口号；如果尚未连接套接字， 则返回 0。
• public int getLocalPort()返回此套接字绑定到的本地端口。 如果尚未绑定套接字， 则返回 -1。即本端的端口号。
• public void close()关闭此套接字。 套接字被关闭后， 便不可在以后的网络连接中使用（即无法重新连接或重新绑定） 。
  需要创建新的套接字对象。 关闭此套接字也将会关闭该套接字的 InputStream 和 OutputStream。
• public void shutdownInput()如果在套接字上调用 shutdownInput() 后从套接字输入流读取内容，则流将返回 EOF（文件结束符） 。 即不能在从此套接字的输入流中接收任何数据。
• public void shutdownOutput()禁用此套接字的输出流。 对于 TCP 套接字， 任何以前写入的数据都将被发送，并且后跟 TCP 的正常连接终止序列。 如果在套接字上调用 shutdownOutput() 后写入套接字输出流，则该流将抛出IOException。 即不能通过此套接字的输出流发送任何数据。

4.2 基于Socket的TCP编程

Java语言的基于套接字编程分为服务端编程和客户端编程，其通信模型如图所示：

• 客户端Socket的工作过程包含以下四个基本的步骤：
  • 创建 Socket： 根据指定服务端的 IP 地址或端口号构造 Socket类对象。若服务器端响应，则建立客户端到服务器的通信线路。若连接失败，会出现异常。
  • 打开连接到 Socket 的输入/出流： 使用getInputStream()方法获得输入流，使用getOutputStream()方法获得输出流，进行数据传输
  • 按照一定的协议对 Socket 进行读/写操作：通过输入流读取服务器放入线路的信息（但不能读取自己放入线路的信息），通过输出流将信息写入线程。
  • 关闭 Socket： 断开客户端到服务器的连接，释放线路
• 客户端程序可以使用Socket类创建对象， 创建的同时会自动向服务器方发起连接。 Socket的构造器是：
  • Socket(String host,int port)throws
    UnknownHostException,IOException：
    向服务器(域名是host。端口号为port)发起TCP连接，若成功，则创建Socket对象，否则抛出异常。
  • Socket(InetAddress address,int port)throws IOException：
    根据InetAddress对象所表示的IP地址以及端口号port发起连接。
• 服务器程序的工作过程包含以下四个基本的步骤：
  • 调用 ServerSocket(int port) ： 创建一个服务器端套接字，并绑定到指定端口上。用于监听客户端的请求。
  • 调用 accept()： 监听连接请求，如果客户端请求连接，则接受连接，返回通信套接字对象。
  • 调用 该Socket类对象的 getOutputStream() 和 getInputStream ()：
    获取输出流和输入流，开始网络数据的发送和接收。
  • 关闭ServerSocket和Socket对象： 客户端访问结束，关闭通信套接字。
• ServerSocket 对象负责等待客户端请求建立套接字连接，类似邮局某个窗口中的业务员。也就是说，服务器必须事先建立一个等待客户请求建立套接字连接的ServerSocket对象。
• 所谓“接收”客户的套接字请求，就是accept()方法会返回一个 Socket 对象

服务器端：

public class ServerDemo {

    public static void main(String[] args) {
        System.out.println("服务器启动");
        ServerSocket serverSocket = null;
        Socket socket = null;
        InputStream in = null;
        ByteArrayOutputStream out = null;
        try {
            serverSocket = new ServerSocket(8999);
            socket = serverSocket.accept();//io阻塞状态，等待客户端传输socket
            in = socket.getInputStream();

            out = new ByteArrayOutputStream();

            //得到客户端输入
            int length = -1;
            byte[] buffer = new byte[5];
            while ((length = in.read(buffer)) != -1) {
                out.write(buffer, 0, length);
            }
            System.out.println(socket.getInetAddress() + "\t" + out.toString());
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            try {
                in.close();
            } catch (IOException e) {
                throw new RuntimeException(e);
            }
            try {
                serverSocket.close();
            } catch (IOException e) {
                throw new RuntimeException(e);
            }
            try {
                socket.close();
            } catch (IOException e) {
                throw new RuntimeException(e);
            }
            try {
                out.close();
            } catch (IOException e) {
                throw new RuntimeException(e);
            }
        }

    }

}

客户端：

public class ClientDemo {

    public static void main(String[] args) {
        Socket socket = null;
        OutputStream out = null;
        try {
            InetAddress address = InetAddress.getByName("127.0.0.1");
            socket = new Socket(address, 8999);
            out = socket.getOutputStream();
            out.write("hello socket".getBytes());
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            try {
                out.close();
            } catch (IOException e) {
                throw new RuntimeException(e);
            }
            try {
                socket.close();
            } catch (IOException e) {
                throw new RuntimeException(e);
            }
        }
    }

}

5 UDP网络编程

• TCP网络模型类似打电话，UDP模型类似于发短信
• TCP编程-服务端
• ServerSocket（端口号）：监听客户端输入
• socket = ServerSocket.accept：接收客户端socket
• socket.getInputSteam()，socket.getOutputSteam()的IO操作进行网络通讯
• TCP编程的客户端
• Socket(InetAdress（ip地址），端口号)
• socket.getInputSteam()，socket.getOutputSteam()的IO操作进行网络通讯
• 类 DatagramSocket 和 DatagramPacket 实现了基于 UDP 协议网络程序。
• UDP数据报通过数据报套接字 DatagramSocket 发送和接收，系统不保证UDP数据报一定能够安全送到目的地，也不能确定什么时候可以抵达。
• DatagramPacket 对象封装了UDP数据报，在数据报中包含了发送端的IP地址和端口号以及接收端的IP地址和端口号。
• UDP协议中每个数据报都给出了完整的地址信息，因此无须建立发送方和接收方的连接。 如同发快递包裹一样。
• DatagramSocket 类的常用方法
  • public DatagramSocket(int port) 创建数据报套接字并将其绑定到本地主机上的指定端口。套接字将被绑定到通配符地址， IP 地址由内核来选择。
  • public DatagramSocket(int port,InetAddress laddr) 创建数据报套接字，将其绑定到指定的本地地址。本地端口必须在 0 到 65535 之间（包括两者） 。 如果 IP 地址为 0.0.0.0，套接字将被绑定到通配符地址， IP 地址由内核选择。
  • public void close() 关闭此数据报套接字。
  • public void send(DatagramPacket p) 从此套接字发送数据报包。 DatagramPacket 包含的信息指示：将要发送的数据、 其长度、 远程主机的 IP 地址和远程主机的端口号。
  • public void receive(DatagramPacket p) 从此套接字接收数据报包。 当此方法返回时，DatagramPacket的缓冲区填充了接收的数据。 数据报包也包含发送方的 IP 地址和发送方机器上的端口号。此方法在接收到数据报前一直阻塞。 数据报包对象的 length 字段包含所接收信息的长度。 如果信息 比包的长度长， 该信息将被截短。
  • public InetAddress getLocalAddress() 获取套接字绑定的本地地址。
  • public int getLocalPort() 返回此套接字绑定的本地主机上的端口号。
  • public InetAddress getInetAddress() 返回此套接字连接的地址。 如果套接字未连接， 则返回 null。
  • public int getPort() 返回此套接字的端口。 如果套接字未连接， 则返回 -1。
• DatagramPacket类的常用方法
  • public DatagramPacket(byte[] buf,int length) 构造 DatagramPacket，
    用来接收长度为 length 的数据包。 length 参数必须小于等于 buf.length。
  • public DatagramPacket(byte[] buf,int length,InetAddress address,int
    port) 构造数据报包， 用来将长度为 length 的包发送到指定主机上的指定端口号。 length参数必须小于等于 buf.length。
  • public InetAddress getAddress() 返回某台机器的 IP 地址， 此数据报将要发往该机器或者是从该机器接收到的。
  • public int getPort() 返回某台远程主机的端口号， 此数据报将要发往该主机或者是从该主机接收到的。
  • public byte[] getData() 返回数据缓冲区。 接收到的或将要发送的数据从缓冲区中的偏移量 offset 处开始， 持续length 长度。
• public int getLength() 返回将要发送或接收到的数据的长度。
• UDP网络通讯流程：
  • DatagramSocket与DatagramPacket
  • 建立发送端，接收端
  • 建立数据包
  • 调用Socket的发送、 接收方法
  • 关闭Socket

public class UDPServerDemo {

    public static void main(String[] args) throws Exception {
        DatagramSocket socket = new DatagramSocket(10086);

        while (true) {
            //创建接收数据包
            DatagramPacket packet = new DatagramPacket(new byte[1024], 1024);
            socket.receive(packet); //IO阻塞

            System.out.println(packet.getAddress() + " " + packet.getPort() + " " + new String(packet.getData(),0, packet.getLength()));
        }
    }

}

public class UDPClientDemo {

    public static void main(String[] args) throws Exception {
        DatagramSocket socket = new DatagramSocket();
        Scanner sc = new Scanner(System.in);
        String line = null;
        while ((line = sc.nextLine()) != null) {
            if ("88".equals(line)) {
                break;
            }
            DatagramPacket packet = new DatagramPacket(line.getBytes(), line.getBytes().length, InetAddress.getByName("127.0.0.1"), 10086);
            socket.send(packet);
        }
        socket.close();
    }

}

6 URL编程

6.1 URL

• URL(Uniform Resource Locator)：统一资源定位符，它表示 Internet 上某一资源的地址。
• 它是一种具体的URI，即URL可以用来标识一个资源，而且还指明了如何locate这个资源。
• 通过 URL 我们可以访问 Internet 上的各种网络资源，比如最常见的 www， ftp站点。浏览器通过解析给定的 URL可以在网络上查找相应的文件或其他资源。
• URL的基本结构由5部分组成：<传输协议>://<主机名>:<端口号>/<文件名>#片段名?参数列表
  • 例如:
    http://192.168.1.100:8080/helloworld/index.jsp#a?username=shkstart&password=123
• 为了表示URL， java.net 中实现了类 URL。我们可以通过下面的构造器来初始化一个 URL 对象：
  • public URL (String spec)：通过一个表示URL地址的字符串可以构造一个URL对象。例如： URL url =
    new URL (“http://www. baidu.com/”);
  • public URL(URL context, String spec)：通过基 URL 和相对 URL 构造一个 URL对象。例如： URL downloadUrl = new URL(url, “download.html")
  • public URL(String protocol, String host, String file); 例如： new
    URL(“http”,“www.baidu.com”, “download. html");
  • public URL(String protocol, String host, int port, String file);
    例如: URL gamelan = new URL(“http”, “www.baidu.com”, 80,
    “download.html");
• 一个URL对象生成后，其属性是不能被改变的，但可以通过它给定的方法来获取这些属性：
  • public String getProtocol( ) 获取该URL的协议名
  • public String getHost( ) 获取该URL的主机名
  • public String getPort( ) 获取该URL的端口号
  • public String getPath( ) 获取该URL的文件路径
  • public String getFile( ) 获取该URL的文件名
  • public String getQuery( ) 获取该URL的查询名

6.2 URLConnection类

• URLConnection：表示到URL所引用的远程对象的连接。当与一个URL建立连接时，首先要在一个 URL 对象上通过方法
  openConnection() 生成对应的 URLConnection对象。如果连接过程失败，将产生IOException.
  • URL netchinaren = new URL (“http://www.baidu.com/index.shtml”);
  • URLConnectonn u = netchinaren.openConnection( );
• 通过URLConnection对象获取的输入流和输出流，即可以与现有的CGI程序进行交互。
  • public Object getContent( ) throws IOException
  • public int getContentLength( )
  • public String getContentType( )
  • public long getDate( )
  • public long getLastModified( )
  • public InputStream getInputStream( )throws IOException
  • public OutputSteram getOutputStream( )throws IOException

6.3 URI、 URL和URN的区别

• URI，是uniform resource identifier，统一资源标识符， 用来唯一的标识一个资源。
• URL是uniform resource locator，统一资源定位符，它是一种具体的URI，即URL可以用来标识一个资源，而且还指明了如何locate这个资源。
• URN， uniform resource name，统一资源命名，是通过名字来标识资源，比如mailto:java-net@java.sun.com。也就是说，
  URI是以一种抽象的，高层次概念定义统一资源标识，而URL和URN则是具体的资源标识的方式。 URL和URN都是一种URI。
• 在Java的URI中，一个URI实例可以代表绝对的，也可以是相对的，只要它符合URI的语法规则。而URL类则不仅符合语义，还包含了定位该资源的信息，因此它不能是相对的。
  

1. 下载安装tomcat
2. 拷贝一个图片d:\tmp\apache-tomcat-8.5.92\webapps\ROOT\
3. 启动tomcat

cd d:\tmp\apache-tomcat-8.5.92\bin\
startup

4. 浏览器访问http://localhost:8080/target.jpg，得到图片
5. 代码发送http请求，得到响应
6. http协议， 请求和响应

public class HttpDemo {

    /**
     * java的HTTP框架
     *   - http-client apache
     *   - ok-http
     *   - HttpURLConnection：官方
     * @param args
     * @throws Exception
     */
    public static void main(String[] args) throws Exception {
        URL url = new URL("http://localhost:8080/target.jpg");
        HttpURLConnection connection = (HttpURLConnection) url.openConnection(); //打开链接
        connection.connect(); //发送请求

        BufferedInputStream in = new BufferedInputStream(connection.getInputStream());
        BufferedOutputStream out = new BufferedOutputStream(new FileOutputStream("target.jpg"));

        int length = -1;
        byte[] buffer = new byte[1024];
        while ((length = in.read(buffer)) != -1) {
            out.write(buffer, 0, length);
        }
        out.flush();
        in.close();
        out.close();
        connection.disconnect();

    }

}