超级简单，100行Java实现NIO HTTP客户端，无第三方依赖

置顶 已于 2024-05-15 11:24:11 修改
阅读量1.2k 收藏 29
点赞数 35
分类专栏： 实战项目知识 文章标签： java nio http 网络协议
于 2024-05-10 09:11:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ruzhila/article/details/138646859
版权

本文发表于入职啦(公众号: ruzhila) 大家可以访问入职啦学习更多的编程实战。

🎉 用100行代码实现Java NIO HTTP客户端，代码简单明了，搞明白NIO的工作原理，完全异步的HTTP协议解析流程

项目地址

代码已经开源， java-nio-http-downloader 👏 欢迎Star

所有的项目都在github上开源：100-line-code 欢迎Star 👏

用100行代码的不同语言（Java、Python、Go、Javascript、Rust）实现项目，通过讲解项目的实现，帮助大家学习编程

我们会定期在群里分享最新的项目实战代码，包括不同语言的实现

老师还会详细讲解代码优化的思路，扫码加入实战群，或关注微信公众号

入群学习 微信公众号

NIO的工作原理

大部分情况下，我们的IO调用都是阻塞调用，比如你调用Java的URLConnection，它会一直等待服务器返回数据，直到数据返回后，才会继续执行后面的代码:

URL url = new URL("http://example.org");
URLConnection connection = url.openConnection();
InputStream inputStream = connection.getInputStream();
....

这个代码就是一个典型的阻塞IO调用，当我们调用connection.getInputStream()时，程序会一直等待服务器返回数据，直到数据返回后，才会继续执行后面的代码。

这种写法比较简单易懂，但是有一个问题，每个请求IO都逻辑都需要分配一个独立的线程，当有大量的IO请求时，会导致线程资源耗尽，程序性能下降。

Non-blocking IO就是为了解决这个问题而生的，它是Java提供的一种异步IO的解决方案，通过NIO，我们可以用一个线程处理多个IO请求，提高程序的性能：
在这里插入图片描述

这是一个典型的NIO程序的程序结构图，我们可以看到，NIO的工作流程是这样的：

  • (1) Selector 通过 select() 方法监听所有的 Channel，当有 Channel 可读、可写、有新连接等事件发生时，Selector 会返回这些事件。
  • (2) 系统调用select方法，内核的Socket会被监听，当有事件发生时，会将有事件发生的Socket放入到select的结果集中。
  • (3) 遍历select的结果集，处理事件，比如可以写入数据
  • (4) 调用write方法，将数据写入到Socket中
  • (5) 内核的Socket会将数据发送到网络中

Selector 与 Channel

在NIO中，我们主要使用Selector和Channel来实现异步IO，Selector是一个多路复用器，它可以同时监听多个Channel的事件，当有事件发生时，Selector会返回这些事件，我们可以通过Channel来读写数据:

Selector selector = Selector.open();
SocketChannel channel = SocketChannel.open();
channel.configureBlocking(false);
channel.register(selector, SelectionKey.OP_CONNECT);
while(true) {
    selector.select();
    Set<SelectionKey> keys = selector.selectedKeys();
    for(SelectionKey key: keys) {
        if(key.isConnectable()) {
            // do something
        }
    }
}

通过向selector注册OP_CONNECT事件，当channel连接成功时，我们就可以处理链接的连接成功事件。

直接上代码

在这里插入图片描述

代码解析

关注我们的公众号入职啦，加入我们的项目实战群可以获取HTTPS版本的代码和教程
入职啦公众号

通过NIO实现了一个简单的HTTP客户端，可以发送HTTP请求，并且获取服务器的响应。
实现了一个NioHTTPClient的类，提供了几个方法：

  • sendRequest, 创建连接，并且发送HTTP请求
  • HTTPResponseListener, NIO的客户端只能通过回掉的方式获取数据，我们通过这个接口来获取数据
    • onResponse 当请求有相应时，会调用这个方法
    • onData 当开始返回Body数据时，会调用这个方法

介绍完NioHTTPClient之后，先看一下整体的程序是怎么工作的：

在这里插入图片描述

  • 创建一个Selector对象
  • 创建一个NioHTTPClient对象
  • 调用sendRequest方法，发送HTTP请求
  • 循环调用selector.select()方法，监听事件，如果有事件发生，就调用NioHTTPClient的对应的onCanWrite, onCanRead等方法处理数据

NioHTTPClient的连接创建和发送请求流程：

  • 27-31行 sendRequest 创建连接，发起socket的connect操作
  • 40行 等待连接成功的事件
  • 43行 当Selector得到这个SocketChannel连接成功之后，调用onConnect的函数
    • 46行 告诉Selector需要监听可以写的事件
    • 50-54行 当下次Selector发现这个SocketChannel可以写的时候，调用onCanWrite函数

从43行->46行->50行，这个流程是最重要的一个异步概念：每次IO操作之前都应该先等到可以操作之后再调用

也就是说，我们在onConnect函数中，告诉Selector我们需要监听写事件，当Selector发现这个SocketChannel可以写的时候，我们再调用onCanWrite函数，这样才能把数据发送出去

NioHTTPClient的数据读取流程：

  • 53行 当发送出去请求之后，就会向Selecor注册读事件，也就是当有数据返回之后，会调用onCanRead函数

onCanRead函数中，需要处理比较复杂的状态：

TCP数据每个报文传输是1500字节以内，内核会把网络传输的数据放到缓冲区
如果onCanRead每次调用的间隔时间比较长，那么那么可能一次read就能读到一个完整的HTTP请求数据。

但是代码不能这么乐观的估计，要用最保守的方式来处理数据，每次读数据后放到buffer中，然后判断是否读到了完整的HTTP请求数据
如果没有读到，就继续读，直到读到完整的HTTP请求数据才能执行解析工作。

HTTP协议解析

HTTP响应的数据格式如下：

HTTP/1.1 200 OK
Content-Type: text/html
Content-Length: 1256

PNG....

根据HTTP请求规范，每个HTTP请求的头部都是以\r\n\r\n结尾的，所以我们可以通过这个来判断是否读到了完整的HTTP请求数据。

  • 67行 当isResponseParsed为false时，说明还没有解析完整的HTTP请求数据，需要判断是否出现\r\n\r\n，如果出现了，就说明读到了完整的HTTP请求数据
    • 77-90行 解析HTTP响应，并且调用listener.onResponse函数，告诉调用者请求已经响应
  • 93-97行 当isResponseParsed为true时，说明已经解析完整的HTTP请求数据，就可以直接读取Body数据了

这部分流程是异步编程最难理解的部分，因为数据并不会按照你的应用协议（比如HTTP）完整的返回，而是分批次返回，所以需要我们自己来处理数据的拼接和解析。

看一下实际的调用代码：

在这里插入图片描述

这个代码就可以实现一个线程内处理异步的HTTP请求，通过NioHTTPClient类，我们可以实现一个简单的HTTP客户端，通过HTTPResponseListener接口，我们可以获取到HTTP请求的响应数据。

总结

NIO是后端编程必备的技术，因为这个需要对系统操作有比较深的积累，并且对协议的理解也需要比较深入

还需要处理Zero-Copy和多线程等技术，这些都是比较高级的技术，需要大家多多实践。

高性能的服务器编程都是基于NIO实现的，比如Redis,Nginx等经典产品都是基于NIO。

这个版本只支持HTTP协议，不支持HTTPS， HTTPS协议会更加复杂，考虑的点更多，比如证书验证、加密解密等

关注我们的公众号，加入我们的项目实战群可以获取HTTPS版本的代码和教程
入职啦公众号

交流

我们构建了一个100行代码项目的实战群，大家可以扫码加入，一起学习编程
入群学习

也可以访问入职啦学习更多的编程实战

所有的代码都在github上开源：100-line-code 欢迎Star 👏

入职啦
关注
  • 35
    点赞
  • 踩
  • 29
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
java http nio_用NIO实现http协议
weixin_39940688的博客
02-15 1212
先来看一下本篇博文的目录：一：简介Nio二：Nio的好处三：关于http协议四：代码实现五：总结一：简介Nio我们都知道io流，那么NIO是什么呢？本篇博文将会带你一探NIO，NIO的全称叫做New IO，顾名思义也就是全新的IO流，从Java Api 1.4版本开始发行的，nio提供了完全不同的工作体制，java nio的IO模型是同步非阻塞,也就是当用户发起一个IO操作后，边可等待边可返回，但...
基于 Java NIO 实现简单的 HTTP 服务器
dishitu6229的博客
04-08 355
1.简介 本文是上一篇文章实践篇，在上一篇文章中，我分析了选择器 Selector 的原理。本篇文章，我们来说说 Selector 的应用，如标题所示，这里我基于 Java NIO 实现了一个简单的 HTTP 服务器。在接下来的章节中，我会详细讲解 HTTP 服务器实现的过程。另外，本文所对应的代码已经上传到 GitHub 上了，需要的自取，仓库地址为 toyhttpd。好了，废话不多说...
java nio http服务器_基于 Java NIO 实现简单的 HTTP 服务器
weixin_34352633的博客
02-17 196
1.简介本文是上一篇文章实践篇，在上一篇文章中，我分析了选择器 Selector 的原理。本篇文章，我们来说说 Selector 的应用，如标题所示，这里我基于 Java NIO 实现了一个简单的 HTTP 服务器。在接下来的章节中，我会详细讲解 HTTP 服务器实现的过程。另外，本文所对应的代码已经上传到 GitHub 上了，需要的自取，仓库地址为 toyhttpd。好了，废话不多说，进入正题吧...
Java NIO框架-Netty-4 处理Http协议
YongYu_IT的专栏
01-12 531
1/ 从FullHttpRequest里解析Post请求 FullHttpRequest arg1... HttpPostRequestDecoder decoder = new HttpPostRequestDecoder(arg1); decoder.offer(arg1); List parmList = decoder.getBodyHttpDatas(); for (Interf
Java Nio（四）Java Nio实现HTTP请求
cjc000的博客
05-18 2805
HTTP相比于HTTPS来说要简单的多，完整代码在github上https://github.com/cxsummer/net-nio，我先说原理。 在文章开始我先抛出一个问题。HTTP的GET和POS请求方法区别在哪呢？ 答案是除了名字没区别。因为我们是按照HTTP规范来发送的数据，而HTTP 规范并未规定说 GET 就不能发送 body 数据，GET也能在报文体负载数据，只看服务器那边是不是给解析body并暴露出来罢了，如果服务器解析来GET报文体的内容，那么GET跟POST有什么区别呢，换句话..
jws45:简单的Java Websocket客户端
05-10
没有第三方依赖 （大部分）符合RFC 6455 目标： 该库旨在使Discord聊天系统成为客户端。 我仍在进行此工作，可能需要一段时间，所以我决定现在共享websocket部分-在完成Discord其余部分的工作后，它将成为该项目的...
WebRTC+java实现多人视频通讯
04-24
WebRTC（Web Real-Time Communication）是一种开放的网络通信标准，允许在浏览器之间进行实时的音频、视频和数据共享，无需任何插件或第三方软件。它包括了数据通道、音频引擎和视频引擎三个主要部分，提供了P2P（点...
基于java开发的onebot协议客户端.zip
最新发布
03-24
Java的`java.util.logging`包提供基本的日志记录，也可以使用第三方库如Logback或Log4j2进行更高级的配置。 7. **测试**：确保代码质量，需要编写单元测试和集成测试。JUnit是Java常用的测试框架，可以配合Mockito...
java 实现百度网盘模拟
07-15
这需要解析文件内容，可能涉及第三方库，如Apache POI处理Office文档，或使用HTML5的FileReader API来实现文本文件的预览。 【技术实现】 - **Java Swing或JavaFX**：作为C/S架构的客户端界面，可以使用Java提供的...
基于JAVA的网络通讯系统设计与实现（论文+系统）.rar
01-07
Java的Logging API或者第三方库如Log4j、SLF4J可以用于记录网络通信过程中的重要信息。 8. **测试与性能优化**：性能测试和优化是任何网络系统不可或缺的部分。使用JUnit进行单元测试，模拟不同的网络条件以评估...
Day24 Java学习笔记之《NIO&HTTP协议及服务器》
weixin_46146855的博客
10-25 201
文章目录1. NIO1.1 NIO通道客户端【应用】1.2 NIO通道服务端【应用】1.3 NIO通道练习【应用】1.4 NIO通道练习优化【应用】1.5 NIO选择器【理解】1.6 NIO选择器改写服务端【应用】2. HTTP协议2.1 概述【理解】2.2 URL【理解】2.3 抓包工具的使用【应用】2.4 请求信息【理解】2.5 响应信息【理解】3. HTTP服务器3.1 需求【理解】3.2 环境搭建【理解】3.3 获取请求信息并解析【理解】3.4 给浏览器响应数据【理解】3.5 代码优化【理解】 1
Java BIO、NIO建立HTTP Server之对比
博客
03-07 735
之前用Java的BIO在Android平台上建立了一个HTTP Server，可以上传和下载文件，但是感觉上交互的效率不是很高， 速度上不是很够，BIO的代码就不贴了，相似的实现网络上已经很多了。于是就研究了一段时间的NIO，简单说说NIO与BIO的不同之处吧： BIO 是对字节进行读取，NIO 是对缓冲区进行读取 BIO 是一个连接一个线程，线程数多，NIO 则是一个请求一个线程...
实现一个支持高并发的HttpClient工具，成倍提升系统的性能和QPS
十三月的博客
02-07 304
是 Apache HttpClient 库中的一个核心类，用于发送 HTTP 请求并处理 HTTP 响应。HttpClient提供了发送各种类型的 HTTP 请求的方法，包括 GET、POST、PUT、DELETE 等。通过这些方法，你可以向服务器发送请求，并获取服务器的响应。HttpClient可以帮助你处理服务器返回的 HTTP 响应。你可以从响应中获取状态码、头部信息、响应内容等，并根据需要进行相应的处理，例如解析 JSON、XML 等格式的数据。HttpClient。
利用Java NIO实现高性能高并发的http
09-24
前言：本次课程属于java进阶知识，没有java基础的同学不建议观看哦         本章课程将带领大家去学习NIO，去实现分布式的高性能，高并发的http，还是那句老话，对视频中有不理解的地方，可以联系我这边解决哦，私信都行
使用httpClient-nio的jar报错
qq_40332177的博客
09-03 3081
Exception in thread "I/O dispatcher 3" java.lang.NoSuchMethodError: org.apache.http.nio.reactor.ssl.SSLIOSession.&lt;init&gt;(Lorg/apache/http/nio/reactor/IOSession;Lorg/apache/http/nio/reactor/ssl/SS...
Java NIO的简单HTTP服务器实现
Elivs的博客
02-15 942
用JAVA NIO实现一个最简单的HTTP服务器。 不管浏览器请求什么，都展示Hello, world在浏览器中。 注意点： (1).在处理ACCEPT事件后，只需要往Selector中注册READ操作。不需要注册WRITE操作，因为WRITE操作是随时都可用的。 (2).处理完响应操作，才能关掉客户端的SocketChannel。 OP_WRITE is almost always ready. It rarely if ever makes sense to register for O..
异步httpclient(httpasyncclient)的使用与总结
热门推荐
Kevin.yang专栏
12-24 5万+
1. 前言应用层的网络模型有同步与异步。同步意味当前线程是阻塞的，只有本次请求完成后才能进行下一次请求;异步意味着所有的请求可以同时塞入缓冲区,不阻塞当前的线程;httpclient在4.x之后开始提供基于nio的异步版本httpasyncclient,httpasyncclient借助了Java并发库和nio进行封装(虽说NIO是同步非阻塞IO,但是HttpAsyncClient提供了回调的机制,
用Nio实现java的客户端和服务端
05-01
使用 NIO（Non-blocking I/O）实现 Java 的客户端和服务端可以提高网络通信的效率。下面是一个简单的示例，演示了如何使用 NIO 实现一个简单的客户端和服务端。 首先是服务端代码： ```java import java.io.IOException; import java.net.InetSocketAddress; import java.nio.ByteBuffer; import java.nio.channels.SelectionKey; import java.nio.channels.Selector; import java.nio.channels.ServerSocketChannel; import java.nio.channels.SocketChannel; import java.util.Iterator; import java.util.Set; public class NioServer { private static int BUF_SIZE = 1024; private static int PORT = 8080; private static int TIMEOUT = 3000; public static void main(String[] args) { selector(); } public static void handleAccept(SelectionKey key) throws IOException { ServerSocketChannel ssChannel = (ServerSocketChannel) key.channel(); SocketChannel sc = ssChannel.accept(); sc.configureBlocking(false); sc.register(key.selector(), SelectionKey.OP_READ, ByteBuffer.allocateDirect(BUF_SIZE)); } public static void handleRead(SelectionKey key) throws IOException { SocketChannel sc = (SocketChannel) key.channel(); ByteBuffer buf = (ByteBuffer) key.attachment(); int bytesRead = sc.read(buf); while (bytesRead > 0) { buf.flip(); while (buf.hasRemaining()) { System.out.print((char) buf.get()); } System.out.println(); buf.clear(); bytesRead = sc.read(buf); } if (bytesRead == -1) { sc.close(); } } public static void handleWrite(SelectionKey key) throws IOException { ByteBuffer buf = (ByteBuffer) key.attachment(); buf.flip(); SocketChannel sc = (SocketChannel) key.channel(); while (buf.hasRemaining()) { sc.write(buf); } buf.compact(); } public static void selector() { Selector selector = null; ServerSocketChannel ssc = null; try { selector = Selector.open(); ssc = ServerSocketChannel.open(); ssc.socket().bind(new InetSocketAddress(PORT)); ssc.configureBlocking(false); ssc.register(selector, SelectionKey.OP_ACCEPT); while (true) { if (selector.select(TIMEOUT) == 0) { System.out.println("=="); continue; } Set<SelectionKey> keys = selector.selectedKeys(); Iterator<SelectionKey> iterator = keys.iterator(); while (iterator.hasNext()) { SelectionKey key = iterator.next(); if (key.isAcceptable()) { handleAccept(key); } if (key.isReadable()) { handleRead(key); } if (key.isWritable() && key.isValid()) { handleWrite(key); } if (key.isConnectable()) { System.out.println("isConnectable = true"); } iterator.remove(); } } } catch (IOException e) { e.printStackTrace(); } finally { try { if (selector != null) { selector.close(); } if (ssc != null) { ssc.close(); } } catch (IOException e) { e.printStackTrace(); } } } } ``` 然后是客户端代码： ```java import java.io.IOException; import java.net.InetSocketAddress; import java.nio.ByteBuffer; import java.nio.channels.SelectionKey; import java.nio.channels.Selector; import java.nio.channels.SocketChannel; import java.util.Iterator; import java.util.Scanner; import java.util.Set; public class NioClient { private static int BUF_SIZE = 1024; private static int PORT = 8080; private static int TIMEOUT = 3000; public static void main(String[] args) throws IOException { SocketChannel clientChannel = SocketChannel.open(); clientChannel.configureBlocking(false); Selector selector = Selector.open(); clientChannel.register(selector, SelectionKey.OP_CONNECT); clientChannel.connect(new InetSocketAddress(PORT)); while (true) { if (selector.select(TIMEOUT) == 0) { System.out.println("=="); continue; } Set<SelectionKey> keys = selector.selectedKeys(); Iterator<SelectionKey> iterator = keys.iterator(); while (iterator.hasNext()) { SelectionKey key = iterator.next(); if (key.isConnectable()) { SocketChannel channel = (SocketChannel) key.channel(); if (channel.isConnectionPending()) { channel.finishConnect(); } channel.configureBlocking(false); channel.register(selector, SelectionKey.OP_READ); Scanner scanner = new Scanner(System.in); String message = scanner.nextLine(); channel.write(ByteBuffer.wrap(message.getBytes())); } else if (key.isReadable()) { SocketChannel channel = (SocketChannel) key.channel(); ByteBuffer buffer = ByteBuffer.allocate(BUF_SIZE); int bytesRead = channel.read(buffer); while (bytesRead > 0) { buffer.flip(); while (buffer.hasRemaining()) { System.out.print((char) buffer.get()); } System.out.println(); buffer.clear(); bytesRead = channel.read(buffer); } } iterator.remove(); } } } } ``` 这里的服务端监听端口为 8080，客户端连接的端口也为 8080。客户端首先向服务端发送一条消息，然后等待服务端的响应。当服务端接收到客户端的消息后，就会输出到控制台，并将消息原封不动地返回给客户端。客户端接收到服务端的响应后，也会将其输出到控制台。 注意，这个示例只是一个简单的演示，实际开发中需要考虑更多的因素，例如线程安全、异常处理等等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值