jetty http client 实现分析

原创 2012年03月24日 02:02:23

背景


谈到http client,可能大多数想到就是apache的那个http client 或者jdk自带的urlconnection,也许有人会考虑使用netty

无论如何,jetty的高性能实现总归是让人感到好奇,接下来我们一探究竟


样例


我们结合样例代码具体分析


  • 初始化
httpClient = new HttpClient();
httpClient.setConnectorType(HttpClient.CONNECTOR_SELECT_CHANNEL);
httpClient.setMaxConnectionsPerAddress(10);
httpClient.setThreadPool(new QueuedThreadPool(20)); // max 20 threads
httpClient.setTimeout(5000); // 5 seconds timeout; if no server reply, the request expire
httpClient.start();


  • 运行
               ContentExchange exchange = new ContentExchange(true) {
			@Override
			protected void onResponseComplete() throws IOException {
				if (getResponseStatus() == 200) {
					String content = getResponseContent();
					System.out.println(content);
				}
			}

			@Override
			protected void onExpire() {
				System.out.println("time out");
			}
		};
		exchange.setMethod("GET");
		exchange.setURL("http://127.0.0.1:8080/simple?id=x");
		httpClient.send(exchange);

代码分为两段

  • 初始化:设置httpclient 
  • 运行:实例化ContentExchange,定义callback,本例定义了两个常用的callback:onResponseComplete 和onExpire,更多的callbac可参考官方文档
  • APP在调用httpClient.send(exchange);后不会象往常一样等待返回而是立即返回, 如果有结果或者超时会通过上面的callback通知到APP



httpclient的原理及实现

1 )httpclient的模型



  • SelectConnector: 作为一个connection管理器,封装了selector和connection
  • HttpDestination:一个host的抽象一个HttpClient会连接到多个HttpDestination
  • HttpExchange:一次http请求的封装,一个HttpDestination会有多个HttpExchange以及多个AsyncHttpConnection
  • AsyncHttpConnection:HttpClient对某个HttpDestination的一个网络连接,底层包含一个对应的socket, 可复用来完成多次请求, 如果空闲太久会被废弃
  • SelectChannelEndPoint:socket的封装,AsyncHttpConnection和SelectChannelEndPoint一一对应, 但AsyncHttpConnection承载了更多的东西
  • HttpGenerator:生成http request,在jetty server中负责生成http response
  • HttpParser: 解析http response, 在jetty server中负责解析http request
  • ThreadPool: 线程池,httpclient需要使用线程池配合完成无阻塞IO,这个会在后面的httpclient整体架构分析中详述
  • Timeout:一个已时间排序的链表结构,链表中存储需要过期执行的task,这个会在后面流程分析详述


2)httpclient的整体架构



http client 分为3组线程配合完成


  • selector线程组:数目可设置,默认为1,从_change队列中获取socket注册并扫描操作系统级别的网络事件, 通常是socket可读, 可写的信息,一旦发现有socket可读写,会将相关socket任务丢入_jobs队列供worker线程执行
  • worker线程组:数目根据并发的情况决定,从_jobs队列获取任务,如果任务阻塞会丢入_changes队列异步等待通知再干活
  • tick线程:数目1个,专门用于监控超时的请求以及空闲太久的连接
  • 所有的线程都来自线程池,所以线程池最小为3,否则无法work


3) 典型的场景分析
     模拟一次请求


   3.1 )httpclient初始化


  • 1-2设置两个超时链表,一个是超时请求链表,一个是超时连接链表
  • 3 启动httpbuffer
  • 4 启动线程池
  • 5 启动SelectConnector,此时会启动selector线程任务
  • 6 启动tick线程任务


  3.2)jetty http client runtime 


  3.2.1)httpClient.send(exchange)到底干了什么


  • 1-2 正如样例代码所示,APP设置HttpExchange,然后httpclient的send方法
  • 2.1-2.2 httpclient根据http exchange获取对应http destination,并调用其send方法
  • 2.2.1 将次请求加入请求超时链表
  • 2.2.2 - 2.2.3 获取空闲连接,如果没有,则产生一个新的连接,并调用select进行注册,否则直接使用该连接,并将此连接丢入     _jobs队列让worker线程完成请求
  • 此时客户端就这样无阻塞的完成了


3.2.2)select线程如何参与这个场景




  • 1-3 selector线程从_change队列获取到新的socket, 开始实例化SelectChannelEndPoint
  • 4 通知http desination连接完成,于是http detination将次连接丢入连接超时链表
  • 5-6 将此连接/请求丢入_jobs队列供worker线程使用
  • 其实在selector线程内部还有一个该死的任务来处理空闲太久的socket,这个其实和tick线程有些重复了,我想这主要是因为jetty http client复用jetty server中select的结果

3.2.3)worker线程又如何参与这个场景



  • worker线程从队列中获取任务
  • 1.1 通过此连接发送请求,请求内容http generator产生
  • 1.2 一发完请求立即通过http parser读取响应,如果服务器够快,通常会读到响应
  • 1.3 如果服务器不能及时响应,那么调用SelectChannelEndPoint的updateKey。向select更新此时感兴趣读, 并等待select异步通知
  • 此时worker线程并不会阻塞等待服务返回,而是返回到线程池中去完成别的请求任务

3.2.4)tick线程又干了什么



  • 轮询两个链表_timeoutQ、_idleTimeoutQ,没啥事休眠200ms
  • 请求超时链表_timeoutQ
      • 1 从链表中删除自己
      • 2 执行链表取出的task,一个http exchang中匿名内部类实例
      • 2.1 执行APP 定义的callback: onExpire函数
      • 2.2 http desination专门维护一个exchange list来跟踪进行中的请求,此时调用其exchangeExpired, 删除list中该请求(可能此时list并没有该请求)
      • 2.3 关闭连接
  • 连接超时链表_idleTimeoutQ
      • 1从链表中删除自己
      • 2 关闭连接
      • http desination 维护了两个list:_connections和 _idle,前者跟踪该host的所有连接, 后者跟踪该host的所有空闲连接,此时也会从这两个list删除连接


小结


从jetty http client应该能感知到一个高性能的客户端的某种设计模式


  • worker 线程异步干活,使得app线程无阻塞,app线程通常在web 应用中也是一种服务线程,所以无阻塞特别重要, 想想在jetty server中使用jetty client的场景
  • select 线程通知网络ready事件,使得worker线程无阻塞,如果没有select线程,worker线程也失去了意义, 对于app线程来说无非是压力堆积到了worker线程这边,worker线程迟早是瓶颈
  • tick线程,一种解决超时问题的设计


但这种模式未必适合那种性能很好且稳定的cache server,比如redis,memcache之类,如果后端处理够快, 少量线程甚至单线程+队列都能work,但无论如何比起常规的连接池模式强了不少

Jetty开发指导:HTTP Client

介绍 Jetty HTTP client模块提供易用的API、工具类和一个高性能、异步的实现来执行HTTP和HTTPS请求。 Jetty HTTP client模块要求Java版本1.7或者更高,...
  • liuy_98_1001
  • liuy_98_1001
  • 2014年08月04日 16:23
  • 7266

Jetty9.2开始之路

Jetty 是一个开源的servlet容器,它为基于Java的web容器,例如JSP和servlet提供运行环境。Jetty是使用Java语言编写的,它的API以一组JAR包的形式发布。开发人员可以将...
  • xiaofanku
  • xiaofanku
  • 2016年06月02日 16:05
  • 7201

项目体验:高并发httpclient和线程池的正确使用

ExecutorService、Executors线程池使用不合理导致的性能问题
  • yicong406880638
  • yicong406880638
  • 2015年12月01日 14:02
  • 6576

内置Jetty HTTPS启动

上一章用内置的jetty搭建了web服务,主要是加载容器和选择通道,这次我们来搭建一个支持安全协议SSL的web服务,即https。 我们先来复习两种加密的方式,一种是对称加密,另一种是非对称加密。...
  • micro_hz
  • micro_hz
  • 2016年07月12日 16:03
  • 5600

jetty搭建http服务器

以前习惯于tomcat,相对而言,jetty也有很多优点,
  • Super_Ninja
  • Super_Ninja
  • 2014年09月30日 11:37
  • 2838

Jetty 源码分析

一、 总括      你了解Jetty 吗,就像我们所熟知的Tomcat一样, Jetty是一个免费的开放源码的100%纯Java的Http服务器和Servlet容器。      Jetty具备以下特...
  • chen_fly2011
  • chen_fly2011
  • 2017年02月08日 18:31
  • 1013

Spring Boot支持Jetty服务器,支持http、https(ssl、tls)双协议,支持双端口

1:Spring boot 项目默认的web服务器为tomcat,故排除tomcat依赖,加入jetty依赖,请看下图:注:Spring boot版本:1.4.7.RELEASE Jetty:jett...
  • typa01_kk
  • typa01_kk
  • 2017年08月11日 16:59
  • 913

剖析Jetty的运行原理

之前写过一篇简单使用Jetty的文章,Jetty对于做JAVA Web方面开发的人来说并不陌生,他是一个servlet容器,不过相对Tomcat来说设计的比较简单,而且使用起来也比较简单灵活,我是在学...
  • zhaowen25
  • zhaowen25
  • 2014年11月07日 21:18
  • 2638

HTTP响应报文与工作原理详解

超文本传输协议(Hypertext Transfer Protocol,简称HTTP)是应用层协议。HTTP 是一种请求/响应式的协议,即一个客户端与服务器建立连接后,向服务器发送一个请求;服务器接到...
  • zbuger
  • zbuger
  • 2016年08月04日 10:38
  • 560

在Web服务器搭建自己的Jetty服务器,并开启端口进行访问

在项目中,往往要手动设置一个Jetty服务器进行各种参数处理,比如之前在游戏公司,用的就是游戏服内部搭建Jetty服务器,然后方便外部访问. 主要用到这几块. 本身就是Web应用了,还用J...
  • u012055814
  • u012055814
  • 2016年04月15日 17:00
  • 3554
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:jetty http client 实现分析
举报原因:
原因补充:

(最多只允许输入30个字)