对于不同任务的线程池设计方案

最新推荐文章于 2023-08-12 11:18:44 发布
VIP文章 最新推荐文章于 2023-08-12 11:18:44 发布
阅读量3.1k 收藏 5
点赞数
分类专栏： java 一周一篇Java概念
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/QuinnNorris/article/details/81635846
版权

池化技术的应用很广泛，比如线程池、连接池等。在业务有需要的地方建池，将宝贵的资源重复利用，从而提升效率和性能。ThreadPoolExecutor是JAVA提供的一种线程池技术，通过使用它，我们可以很方便的建立

池化技术的应用很广泛，比如线程池、连接池等。在业务有需要的地方建池，将宝贵的资源重复利用，从而提升效率和性能。ThreadPoolExecutor是JAVA提供的一种线程池技术，通过使用它，我们可以很方便的建立线程池。

线程池处理模式

线程池类结构

定时任务

ScheduledExecutorService中有三个方法用来进行不同类型的定时任务处理：

  • schedule : 在给定的延迟时间(delay)后执行任务
  • scheduleAtFixedRate : 在给定的延迟时间后执行任务。并从开始执行任务时算起，经过间隔时间后再次循环的执行此任务
  • scheduleWithFixedDelay : 在给定的延迟时间后执行任务。并从执行完毕任务时算起，经过间隔时间后再次循环的执行此任务

任务提交

我们可以使用execute提交的任务，但是execute方法没有返回值，所以无法判断任务知否被线程池执行成功。通过以下代码可知execute方法输入的任务是一个Runnable类的实例。

我们也可以使用submit方法来提交任务，它会返回一个future,那么我们可以通过这个future来判断任务是否执行成功，通过future的get方法来获取返回值，get方法会阻塞住直到任务完成，而使用get(long timeout, TimeUnit unit)方法则会阻塞一段时间后立即返回，这时有可能任务没有执行完。

任务关闭

我们可以通过调用线程池的shutdown或

最低0.47元/天 解锁文章
QuinnNorris
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
android 网络应用轻量框架-多线程管理-高效缓存-设计模式
12-02
关于框架有意见 欢迎联系我一起探讨。 问答是happy http://blog.csdn.net/b275518834/article/details/8247685 操作方式：输入文本框设置线程数 点击第一个按钮请求10个地址信息 点击第二个按钮中断10个地址信息 1：判断当前网络环境 2：编写了3套方案 Old_GridViewActivity 简单线程回调 AsyncTask_GridViewActivity 使用android自带的AsyncTask类实现 Demo_GridViewActivity 队列任务管理 线程控制 Demo_GridViewActivity方式 1：队列优先级 （如果想要listview中移动的区域优先被显示，而不是从上到下显示图片，可以把新建的任务提到任务队列前端） 2：实现了：中断任务的功能（比如进入一个Activity会开启大量任务，如果退出这个Activity 则应该停止此Activity中驻留的任务） 3：为何采用drawable不用bitmap bitmap优点是位图运算效率优秀 但drawable的存储体积比bitmap小 4：如果任务被起名字则禁止重复提交任务 （避免某些请求未处理完又被创建） 5：先执行缓存数据后执行请求数据 （缓存性能） 6：使用状态模式 观察者模式更好的处理多线程 最初的想法：网络优化开发框架 (移除任务未完成） 网络稳定，系统运行稳定性，大内存消耗稳定，长时间运行稳定性 （旧的系统症结所在） 开启过多线程，导致系统频繁切换多个线程，导致处理速度过慢，经常出现未响应。 代码经常写的换繁多无序，维护困难。 使用类似银行叫号系统 线程池内等待网络请求的任务=（排队的人） 最大三个线程=（银行柜台处理业务的窗口） 依次处理任务=（将排队的人依次被叫到处理的号，完成业务的窗口叫号后面排队的人） 如果抛出异常则通知相关单位=（如果银行柜台处理不了一个人的业务就打电话给大堂经理） 设置柜台的监听回调=（A委托B去银行请求数据，当B去银行处理业务失败了，通知A。） 设置撤销机制和线程安全= 某机关让A和B去银行申请业务，A在排队，B正在柜台处理业务，此时机关打来电话说， 这申请业务的需求现在不做，A取消排队,B也‘礼貌的退出’ 《例如退出A页面时，终止A页面所有的请求》 任务状态标示-还没处理 处理中 处理结束 处理异常 （有结果但不通知）=（排队人的状态） 任务名 排队人的名字 强制退出 强制退出 抛出强制退出的异常
王者荣耀java源码-TechnicalArticles:技术文章
06-19
王者荣耀java源码 标题 分类 内容 备注 架构 MySQL MQ 服务器 算法 JVM CODE JVM 缓存 使用redis改善数据库压力并更加实际情况定制 MQ 算法 缓存 缓存 解决缓存一致性3种方案 缓存 饿了么hotkey解决方案 IO 流程图及代码理解多路IO复用 IO 多路IO复用基础知识 IO 安全 多线程 父子任务使用同一线程池造成死锁 JVM 讨论垃圾回收器ZGC 架构 数据库业务设计 大数据 小米HDFS设计 大数据 分析数据增长 测试 自研AB测试系统 JVM 堆外缓存实例 NFS NFS Soket 游戏层面讨论SOKET 搜索 Elasticsearch 大数据 NLP语言处理呼叫中心录音 JVM 优化大促场景下内存问题 算法 时间轮换算法在消息队列应用 分布式 表格系统分布式事务实例 SQL MYSQL线上死锁问题分析 SQL MYSQL内存泄漏 架构 架构 架构 分布式 二维码生成问题实例 分布式 锁造成线上安全事故 算法 LRU算法实际使用 设计模式 设计模式
基于C++实现的HTTP服务器改进版源码+项目使用说明+详细注释.zip
最新发布
09-21
【资源说明】 基于C++实现的HTTP服务器改进版源码+项目使用说明+详细注释.zip 1、技术架构 **本项目实现了基于Epoll管理连接、基于定时器处理非活动连接、基于线程池实现Reactor模式、基于cgi脚本处理http请求结果的HTTP服务器。主要框架如下：**\ ![](./image/newhttpd.jpg) 2、模块介绍 **1）主线程实现eventLoop**：主线程基于Reactor并通过Epoll管理，采用ET工作模式进行事件触发，事件注册包括监听、管道监控、读信息监控；\ **2）定时器处理非活动连接**：\ **①基于升序链表的定时器**：将每个需要监控的连接注册为一个时间结点，每个结点包括双向指针以及期待的时间和回调函数指针；包含添加、删除以及调整结点；回调函数主要实现对当前连接的close；\ **②基于信号和管道的定时事件处理**：建立监听数据集（新连接会加入一个数据集和时间结点，新信息读入会读取数据集并修改时间结点），基于sigaction形式实现对信号和信号处理函数的绑定，信号处理函数向管道发送信号消息，主线程监听到管道消息读入后判断信号类别，并进行关闭连接操作。\ **3）Http响应处理**：基于tinyhttpd进行修改，捕获GET、POST方法，基于cgi脚本(python撰写)实现post请求响应，基于多进程机制并通过双通道实现进程间通信，并用waitpid进行子进程管控。具体结构如下图所示：\ ![](./image/httpd.jpg) \ **4）线程池**：基于C++的生产者消费者模式的并发开发，具体技术运用如下：\ **①线程池底层结构**：线程池创建相当于消费者，队列添加相当于生产者，通过vector维护线程池，通过queue<function<>>维护任务队列；构造函数实现线程池创建并开始运行，enqueue函数实现消息队列，通过future实现异步工作的lambda函数的传递；\ **②同步机制实现**：基于unique_lock以及condition_variable实现同步和互斥，符合RAII原则；\ **5）简单客户端**：（可以通过浏览器进行服务端访问，也可以通过该客户端实现交互以及非活动连接处理的测试）\ **①基于POLL的IO复用**：对管道和连接进行事件监听和处理；\ **②基于双管道的简易CGI实现**：修改stdin的定向为管道写端，实现终端对客户端的直接输入和对服务端的发送；\ **6）改进方向**：待进行压力测试并提高抗压性能、可处理的HTTP请求较为简单（数据体的处理还待增加以及CGI功能的完善）、内存池。 3、编译使用 **服务端**：进入linux系统后，进入当前文件夹，首先修改可执行权限，然后通过CMake编译执行即可： ~~~c cd minghttp chmod 600 test.html chmod 600 post.html chmod +X post.cgi cd .. cmake . make ./httpserver ~~~ **客户端**：一方面可以通过浏览器直接进行服务器访问，一方面可以使用自己创建的客户端进行连接和消息互传（使用方案如下）： ~~~c g++ simclient.cpp ./a.out ip port ~~~ ![](./image/out.jpg) 4、呈现效果 上一部分的图片已经展现定时器处理非活动连接的效果；\ 1）项目默认端口号为8000，ip地址需要通过ifconfig进行查看；\ 2）将ip和端口号进行替换输入，如下输入后可以得到如下界面：\ ![](./image/test.jpg)\ 3）POST的界面信息：\ ![](./image/jie.jpg)\ 4）POST的CGI脚本回显，基于python进行撰写，内容传输为html语言：\ ![](./image/cgi.jpg)\ 5）定时器的相关讯息也可以得到：可以看到5秒信号的定时器信息输出：\ ![](./image/jie1.jpg) 【备注】 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载使用，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可直接用于毕设、课设、作业等。 欢迎下载，沟通交流，互相学习，共同进步！
线程池的优化设计 (2005年)
05-15
在各种业务解决方案的设计中，服务器处理任务的效率是衡量方案优劣的一个重要标准。使用线程池技术并发处理任务是提高服务器效率的一个主要手段。在几乎所有线程池的设计中，线程的算法都没有根据线程所要执行的任务特点进行调整，导致实际使用过程中的效率并不高。作者设计了一个通用的线程池，并且可以根据不同任务的特点，调整线程池参数，最大幅度地提高系统性能。
xxl-job分布式任务调度平台-其他
06-12
XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。 XXL-JOB特点： 1、简单：支持通过Web页面对任务进行CRUD操作，操作简单，一分钟上手； 2、动态：支持动态修改任务状态、启动/停止任务，以及终止运行中任务，即时生效； 3、调度中心HA（中心式）：调度采用中心式设计，“调度中心”自研调度组件并支持集群部署，可保证调度中心HA； 4、执行器HA（分布式）：任务分布式执行，任务"执行器"支持集群部署，可保证任务执行HA； 5、注册中心: 执行器会周期性自动注册任务, 调度中心将会自动发现注册的任务并触发执行。同时，也支持手动录入执行器地址； 6、弹性扩容缩容：一旦有新执行器机器上线或者下线，下次调度时将会重新分配任务； 7、路由策略：执行器集群部署时提供丰富的路由策略，包括：第一个、最后一个、轮询、随机、一致性HASH、最不经常使用、最近最久未使用、故障转移、忙碌转移等； 8、故障转移：任务路由策略选择"故障转移"情况下，如果执行器集群中某一台机器故障，将会自动Failover切换到一台正常的执行器发送调度请求。 9、阻塞处理策略：调度过于密集执行器来不及处理时的处理策略，策略包括：单机串行（默认）、丢弃后续调度、覆盖之前调度； 10、任务超时控制：支持自定义任务超时时间，任务运行超时将会主动中断任务； 11、任务失败重试：支持自定义任务失败重试次数，当任务失败时将会按照预设的失败重试次数主动进行重试；其中分片任务支持分片粒度的失败重试； 12、任务失败告警；默认提供邮件方式失败告警，同时预留扩展接口，可方便的扩展短信、钉钉等告警方式； 13、分片广播任务：执行器集群部署时，任务路由策略选择"分片广播"情况下，一次任务调度将会广播触发集群中所有执行器执行一次任务，可根据分片参数开发分片任务； 14、动态分片：分片广播任务以执行器为维度进行分片，支持动态扩容执行器集群从而动态增加分片数量，协同进行业务处理；在进行大数据量业务操作时可显著提升任务处理能力和速度。 15、事件触发：除了"Cron方式"和"任务依赖方式"触发任务执行之外，支持基于事件的触发任务方式。调度中心提供触发任务单次执行的API服务，可根据业务事件灵活触发。 16、任务进度监控：支持实时监控任务进度； 17、Rolling实时日志：支持在线查看调度结果，并且支持以Rolling方式实时查看执行器输出的完整的执行日志； 18、GLUE：提供Web IDE，支持在线开发任务逻辑代码，动态发布，实时编译生效，省略部署上线的过程。支持30个版本的历史版本回溯。 19、脚本任务：支持以GLUE模式开发和运行脚本任务，包括Shell、Python、NodeJS、PHP、PowerShell等类型脚本; 20、命令行任务：原生提供通用命令行任务Handler（Bean任务，"CommandJobHandler"）；业务方只需要提供命令行即可； 21、任务依赖：支持配置子任务依赖，当父任务执行结束且执行成功后将会主动触发一次子任务的执行, 多个子任务用逗号分隔； 22、一致性：“调度中心”通过DB锁保证集群分布式调度的一致性, 一次任务调度只会触发一次执行； 23、自定义任务参数：支持在线配置调度任务入参，即时生效； 24、调度线程池：调度系统多线程触发调度运行，确保调度精确执行，不被堵塞； 25、数据加密：调度中心和执行器之间的通讯进行数据加密，提升调度信息安全性； 26、邮件报警：任务失败时支持邮件报警，支持配置多邮件地址群发报警邮件； 27、推送maven中央仓库: 将会把最新稳定版推送到maven中央仓库, 方便用户接入和使用; 28、运行报表：支持实时查看运行数据，如任务数量、调度次数、执行器数量等；以及调度报表，如调度日期分布图，调度成功分布图等； 29、全异步：任务调度流程全异步化设计实现，如异步调度、异步运行、异步回调等，有效对密集调度进行流量削峰，理论上支持任意时长任务的运行； 30、跨语言：调度中心与执行器提供语言无关的 RESTful API 服务，第三方任意语言可据此对接调度中心或者实现执行器。除此之外，还提供了 “多任务模式”和“httpJobHandler”等其他跨语言方案； 31、国际化：调度中心支持国际化设置，提供中文、英文两种可选语言，默认为中文； 32、容器化：提供官方docker镜像，并实时更新推送dockerhub，进一步实现产品开箱即用； 33、线程池隔离：调度线程池进行隔离拆分，慢任务自动降级进入"Slow"线程池，避免耗尽调度线程，提高系统稳定性； 34、用户管理：支持在线管理系统用户，存在管理员、普通用户两种角色； 35、权限控
线程池概念
QuinnNorris的博客
07-11 852
概念我们可以把并发执行的任务传递给一个线程池，来替代为每个并发执行的任务都启动一个新的线程。只要池里有空闲的线程，任务就会分配给一个线程执行。在线程池的内部，任务被插入一个阻塞队列（Blocking Queue ），线程池里的线程会去取这个队列里的任务。当一个新任务插入队列时，一个空闲线程就会成功的从队列中取出任务并且执行它。合理的配置线程池要想合理的配置线程池，就必须首先分析任务特性，可以从以下...
线程池创建多线程,执行不同的任务
qq_40602312的博客
06-17 1076
public static void main(String[] args) { final ExecutorService newFixedThreadPool2 = Executors.newFixedThreadPool(3); //多个任务 newFixedThreadPool2.execute(()->System.out.println("线程一")); newFixedThreadPool2.execute(()->S
构建更健壮的系统：不同的业务放在不同的线程/线程池里面
Sai
09-28 655
有时候我们会发现新上线的部分业务出现了问题，并且影响了其他功能。 我有时候想到从架构上如何避免这个问题，然后有了这样的一个思路。   开发的时候我们基本上不会考虑到这种问题，整个服务就共用一个线程池，甚至有些系统是单线程的。 一旦出现问题整个服务就一起挂掉了 这个肯定是我们不想看到的。 解决这个问题方法就是把不同模块放在不同的线程里面，如果之前使用的是线程池那么 不同业务也要用不同...
java 使用多线程池异步处理不同业务
春风化雨
10-10 653
【代码】java多个线程池分别异步处理不同业务。
Java 使用线程池执行多个任务的示例
p1830095583的博客
03-12 5129
这篇文章主要介绍了Java 使用线程池执行多个任务的示例，帮助大家更好的理解和学习使用Java，感兴趣的朋友可以了解下 在执行一系列带有IO操作（例如下载文件），且互不相关的异步任务时，采用多线程可以很极大的提高运行效率。线程池包含了一系列的线程，并且可以管理这些线程。例如：创建线程，销毁线程等。本文将介绍如何使用Java中的线程池执行任务。 1 任务类型 在使用线程池执行任务之前，我们弄清楚什么任务可以被线程池调用。按照任务是否有返回值可以将任务分为两种，分别是实现Runnable的任务类（无参数无返回值
java线程池详解及五种线程池方法详解
热门推荐
lixiangchibang的博客
12-01 2万+
基础知识 Executors创建线程池 Java中创建线程池很简单，只需要调用Executors中相应的便捷方法即可，比如Executors.newFixedThreadPool(int nThreads)，但是便捷不仅隐藏了复杂性，也为我们埋下了潜在的隐患（OOM，线程耗尽）。 Executors创建线程池便捷方法列表： 方法名 功能 newFixedThreadPool(int nThreads) 创建固定大小的线程池 newSingleThreadExecutor()
实战经验：如何根据系统的业务场景需求定制自己的线程池？
码上代码的博客
11-01 766
线程池参数对于项目中使用非常重要，如何合理设置呢
swagger实现example效果
weixin_43404791的博客
10-05 7850
package cn.hctech2006.softcup.isomerase.dto; import io.swagger.annotations.ApiModel; import io.swagger.annotations.ApiModelProperty; @ApiModel(description = "数据源数据传输层模型") public class DatabaseDTO { @ApiModelProperty(name = "host", value = "主机地址", req
Java使用泛型T判断实体类型，执行不同的业务逻辑
拼命小李博客
02-24 1475
定义两个类，分别为学生类和教师类，设置属性id作为编号，使用lombok的@Data生成getter和setter方法，创建共通方法方法private static void print(T entiy)，其中表示使用泛型进行编程，否则后续做类型判断会报错，具体案例实现如下。在web开发中，存在这种业务逻辑，不同的Vo实体类，需要调用相同的serviceImpl的update更新方法，这种场景我们可以使用java泛型去更好去解决这个问题，减少不必要相同业务逻辑方法的重复实现开发。
高级进阶多线程——多任务处理、线程状态（生命周期）、三种创建多线程的方式
weixin_62458944的博客
08-12 432
Java中的多线程是一个同时执行多个线程的进程。线程是一个轻量级的子进程，是最小的处理单元。多进程和多线程都用于实现多任务处理。但是，一般使用多线程而不是多进程，这是因为线程使用共享内存区域。它们不分配单独的内存区域以节省内存，并且线程之间的上下文切换比进程花费的时间更少。Java多线程主要用于游戏，动画等。
为什么建议不同业务使用各自不同线程池
liusf1993的博客
12-27 536
不同业务是否要共用同一线程池。
多线程池，批量执行多个任务(***实用总结***)
majunzhu的博客
10-11 8062
1 import java.util.Random;   public class Main {       public static void main(String[] args) {           Master master = new Master(new MyWorker(), 10);           Random ...
线程池是什么？线程池(ThreadPoolExecutor)使用详解
xyk：的博客
03-29 5030
先看ThreadPoolExecutor 的构造方法重点理解一下这几个参数含义：先情景带入一下，把线程池当作公司，一类正式员工；一类实习生；1.corePoolSize:核心线程数，相当于正式员工2.maxinumPoolSize:最大线程数，相当于正式员工+实习生3.long keepAliveTime:实习生线程保持存活的时间当任务比较少的时候，整体比较空闲，实习生不是立即被辞退的，表示实习生最大的存活时间4.TimeUnit unit:单位，秒，分钟，毫秒5.
java ip和端口扫描设计文档
07-30
Java IP和端口扫描设计文档 设计目标: 设计一个能够扫描指定IP地址和端口范围的Java程序，用于网络安全测试和设备监控。该程序需要能够快速、准确地扫描目标IP地址上的开放端口，并提供相应的扫描结果。 设计方案: 1. 确定扫描范围: 使用者可以通过命令行参数或者界面输入方式指定要扫描的IP地址和端口范围。 2. 多线程扫描: 为了提高扫描的效率，可以使用多线程技术来同时扫描多个端口。可以创建一个线程池来管理扫描线程的数量，并使用线程间的同步机制来确保扫描结果的正确性。 3. 连接测试: 对于每个要扫描的IP地址和端口，可以使用Socket类来尝试建立连接。如果连接成功，则说明该端口是开放的，否则是关闭的。 4. 扫描结果显示: 扫描程序可以将扫描结果打印到控制台或者保存到文件中，方便用户查看。可以对扫描结果进行分类，如将开放的端口和关闭的端口分别显示或标记出来。 5. 异常处理: 在进行连接测试时，可能会遇到一些异常情况，如连接超时或者拒绝访问。可以在代码中进行相应的异常处理，以确保程序的稳定性。 设计实现步骤: 1. 获取用户输入的IP地址和端口范围。 2. 创建一个线程池，并设置线程数量。 3. 创建一个扫描任务，将IP地址和端口范围作为参数传入。 4. 将扫描任务提交给线程池执行。 5. 在扫描任务中，使用Socket类来尝试建立连接，并根据连接的结果记录端口是否开放。 6. 将扫描结果保存到数据结构中。 7. 结束线程池，并打印或保存扫描结果。 设计考虑: 1. 扫描速度: 使用多线程技术可以加快扫描速度，但要注意不要过度使用线程，以免影响系统性能。 2. 用户友好性: 提供良好的用户界面或者命令行参数，让用户能够方便地指定扫描IP地址和端口范围。 3. 异常处理: 对于可能的异常情况要进行相应的处理，如设置连接超时时间、处理连接被拒绝等情况。 4. 扫描结果的存储和显示方式要简洁、清晰明了。 设计完成后，可以进行测试和优化，确保程序在各种情况下能够正确稳定地执行扫描任务。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值