用阻塞队列实现生产者消费者模式一(单线程消费)

最新推荐文章于 2021-06-23 14:03:54 发布
最新推荐文章于 2021-06-23 14:03:54 发布
阅读量836 收藏
点赞数 1
分类专栏： 架构设计 文章标签： java 生产者 消费者
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ylforever/article/details/108031627
版权

生产者/消费者模式不在23种常用设计模式里面，但在实际工作中也经常会用到。特别是需要将数据的生产者和消费者解耦，或者用多线程优化性能时都可以派上用场。

一、代码目录结构

在这里插入图片描述
目录说明：

  1. config：Swagger配置，方便通过swagger调用接口测试.
  2. constant: 枚举常量定义。
  3. model：模型定义。
  4. rest: restful接口定义。
  5. service: 实现业务逻辑。

二、核心代码说明

1. EnumTaskEndType

定义了几种常用的任务结束方式：

package com.elon.constant;

/**
 * 任务结束方式
 *
 * @author elon
 * @version 1.0
 */
public enum EnumTaskEndType {
    /**
     * 无效类型
     */
    NA,

    /**
     * 任务完成结束
     */
    COMPLETE,

    /**
     * 任务被终止结束
     */
    TERMINATE;
}

2.Task

定义任务模型，这个是生产者消费者核心模型，包含哪些数据根据具体的业务要求来定义.

package com.elon.model;

import com.alibaba.fastjson.JSONObject;
import com.elon.constant.EnumTaskEndType;

/**
 * 任务模型. 任务模型中存储生产者和消费者沟通信息. 具体存储什么信息根据实际的业务来。
 *
 * @author elon
 * @version 1.0
 */
public class Task {
    /**
     * 任务名称
     */
    private String taskName = "";

    /**
     * 任务结束方式(此字段用于标识任务是否为毒丸任务)
     */
    private EnumTaskEndType taskEndType = EnumTaskEndType.NA;

    public String getTaskName() {
        return taskName;
    }

    public void setTaskName(String taskName) {
        this.taskName = taskName;
    }

    public EnumTaskEndType getTaskEndType() {
        return taskEndType;
    }

    public void setTaskEndType(EnumTaskEndType taskEndType) {
        this.taskEndType = taskEndType;
    }

    public String toString() {
        return JSONObject.toJSONString(this);
    }
}

3. ProduceConsumerController

生产者消费者接口层，用于定义rest接口。方便自测试.

package com.elon.rest;

import com.elon.service.ProConsService;
import io.swagger.annotations.Api;
import io.swagger.annotations.ApiOperation;
import org.springframework.web.bind.annotation.PathVariable;
import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

@RestController
@RequestMapping("/v1/produce-consumer")
@Api(tags = "生产者消费者服务")
public class ProduceConsumerController {
    @PostMapping("/start-task/{taskAmount}")
    @ApiOperation(value = "启动服务任务")
    public String startTask(@PathVariable("taskAmount") int taskAmount) {
        ProConsService proConsService = new ProConsService();
        proConsService.startTask(taskAmount);
        return "";
    }
}

4. Consumer

消费者。负责任务处理。消费者收到毒丸任务后将毒丸放回队列头（ 目的是为了让其它消费者也能尽快收到毒丸结束整个任务），然后退出线程。

package com.elon.service;

import com.elon.constant.EnumTaskEndType;
import com.elon.model.Task;
import org.apache.logging.log4j.LogManager;
import org.apache.logging.log4j.Logger;

import java.util.concurrent.LinkedBlockingDeque;
import java.util.concurrent.TimeUnit;

/**
 * 消费者类. 负责从队列中取出任务消费.
 *
 * @author elon
 * @version 1.0
 */
public class Consumer implements Runnable {
    private static final Logger LOGGER = LogManager.getLogger(Consumer.class);

    /**
     * 阻塞队列
     */
    private LinkedBlockingDeque<Task> blockingDeque = null;

    public Consumer(LinkedBlockingDeque<Task> blockingDeque) {
        this.blockingDeque = blockingDeque;
    }

    @Override
    public void run() {
        while (true) {
            try {
                Task task = blockingDeque.take();

                // 收到毒丸任务将毒丸放回队列头，结束当前线程.
                if (task.getTaskEndType() != EnumTaskEndType.NA) {
                    LOGGER.info("收到毒丸任务.{}", task);
                    blockingDeque.offerFirst(task, 2, TimeUnit.MILLISECONDS);
                    break;
                }

                // 消费任务. 这里可以写实际的业务逻辑.
                LOGGER.info("消费任务：{}", task);
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
        }

        LOGGER.info("消费者结束消费.");
    }
}

5. Producer

生产者，负责将生产任务放入队列。生产者在生产完所有正常的数据处理任务后，在队列尾放入一个毒丸任务，使消费者线程在处理完所有任务后能退出线程，避免无限等待。

package com.elon.service;

import com.elon.constant.EnumTaskEndType;
import com.elon.model.Task;
import org.apache.logging.log4j.LogManager;
import org.apache.logging.log4j.Logger;

import java.util.concurrent.LinkedBlockingDeque;
import java.util.concurrent.TimeUnit;

/**
 * 生产者类. 负责创建任务放到阻塞队列.
 *
 * @author  elon
 * @version 1.0
 */
public class Producer implements Runnable {
    private static final Logger LOGGER = LogManager.getLogger(Producer.class);

    private LinkedBlockingDeque<Task> blockingDeque = null;

    private final int taskAmount;

    public Producer(LinkedBlockingDeque<Task> blockingDeque, int taskAmount) {
        this.blockingDeque = blockingDeque;
        this.taskAmount = taskAmount;
    }

    @Override
    public void run() {
        for (int i = 1; i <= taskAmount; ++i) {
            try {
                Task task = new Task();
                task.setTaskName("任务：" + i);
                blockingDeque.offer(task, 2, TimeUnit.MILLISECONDS);
                LOGGER.info("生产任务：{}", task);
            } catch (InterruptedException e) {
                LOGGER.error("创建任务异常.", e);
            }
        }

        // 放入毒丸任务已结束消费者线程
        try {
            Task task = new Task();
            task.setTaskName("任务处理结束毒丸");
            task.setTaskEndType(EnumTaskEndType.COMPLETE);
            blockingDeque.offer(task, 2, TimeUnit.MILLISECONDS);
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
    }
}

6. ProConsService

负责生产者和消费者线程初始化.

package com.elon.service;

import com.elon.model.Task;

import java.util.concurrent.LinkedBlockingDeque;

/**
 * 生产者消费者服务。启动生产者消费者线程.
 *
 * @author elon
 * @version 1.0
 */
public class ProConsService {
    private LinkedBlockingDeque<Task> blockingDeque = new LinkedBlockingDeque<>();

    /**
     * 开始任务.
     *
     * @param taskAmount 生产的任务数量
     * @author elon
     */
    public void startTask(int taskAmount) {
        Producer producer = new Producer(blockingDeque, taskAmount);

        new Thread(producer).start();

        Consumer consumer = new Consumer(blockingDeque);
        new Thread(consumer).start();
    }
}

7. ProducerConsumerApplication

SpringBoot应用启动类

package com.elon;

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;

@SpringBootApplication
public class ProducerConsumerApplication {
    public static void main(String[] args) {
        SpringApplication.run(ProducerConsumerApplication.class);
        System.out.println("Startup ProducerConsumerApplication success.");
    }
}

三、通过swagger接口测试

在这里插入图片描述
从打印的信息来看。消费者线程在收到标识所有任务已完成的毒丸后就结束消费。这是已知生产者需要生产多少任务的情况，如果生产任务数量不确定，则需要根据外部输入的数据实时生成任务。

源码地址：https://github.com/ylforever/elon-producerconsumer

Neo Yang
关注
专栏目录
【Linux系统化学习】生产者消费者模型（阻塞队列和环形队列）
qq_55119554的博客
04-27 1130
本片文章通过阻塞队列、环形队列配合环境变量和信号量描述实现了生产者消费者模型！
Java实现阻塞队列+生产者消费者
程序员世杰
03-28 594
Java实现阻塞队列 package test.blockqueue; import java.util.concurrent.locks.Condition; import java.util.concurrent.locks.Lock; import java.util.concurrent.locks.ReentrantLock; public class BlockQueue<T...
单线程下的生产者--消费者模式详解，wait和sleep的区别
走过路过不要错过
05-15 483
1. 单线程下的生产者--消费者模式 1.1 该模式下，一个线程生产数据，另一个线程处理数据。当数据还没被处理，那么生产数据的线程进入等待状态；如果数据还没生产，那么处理数据的线程进入等待状态，代码及运行结果如下。 // 生产者 class Producer extends Thread{ private final List<Object> lst; public Producer(List<Object> lst){ this.ls
ProducerConsumer（生产者消费者问题的单线程模拟）
11-06
ProducerConsumer（生产者消费者问题的单线程模拟） vs2008
线程间通讯----生产者消费者（单线程）
YL的专栏
11-15 405
public class ProducerConsumerDemo { public static void main(String[] args) { Resource r=new Resource(); Producer p=new Producer(r); Consumer c=new Consumer(r); Thread t1=new Thread(p); T
生产者和消费者模型producer and consumer(单线程下实现高并发）
weixin_30387799的博客
06-03 167
#1、生产者和消费者模型producer and consumer modelimport timedef producer(): ret = [] for i in range(2): time.sleep(0.2) ret.append("包子%s" %i) return retdef consumer(res): for in...
线程，单生产者单消费者模式
leezsj的博客
06-23 75
public class Demo5 { public static void main(String[] args) { //准备数据 Product product = new Product(); //准备任务 Producer producer = new Producer(product); Consumer consumer = new Consumer(product); /.
生产者和消费者模式多线程
07-26
生产者和消费者模式是多线程编程中一个经典的设计模式，它主要解决的是在多线程环境下资源的有效利用和同步问题。在这个模式中，生产者负责生成数据，而消费者负责消费这些数据。为了保证生产与消费的平衡以及避免...
c++面试题：实现一个生产者消费者队列
KingOfMyHeart的博客
06-20 1086
#include <thread> #include <mutex> #include <condition_variable> #include <queue> #include <iostream> class Queue { public: void Put(int val) { std::unique_lock<std::mutex> lck(mtx_); //队列不为空，通知
多线程实现生产者与消费者模式
热门推荐
YANG
06-01 1万+
生产者-消费者模式的简介：在实际的软件开发过程中，我们将产生数据的模块称为生产者，处理数据的模块成为消费者。但仅有这两者还不够成为一个生产者-消费者模式，还需要有一个缓冲区（一段内存区域）作为中介，生产者产生的数据放入缓冲区，消费者从缓冲区读取数据并处理。（注：上述所说的模块是广义的，可以是类，函数，线程，进程等）我们可以将这二者之间的关系图表示出来：总结：我们用3-2-1的方法来简单描述一个生产者
单线程模式的生产者消费者案例
Die Another Day!
05-01 791
消费者与生产者问题是多线程中比较经典的问题之一，在学习并发编程中往往会针对这个问题来讲解程序的设计及思想，下面实现一个简单的单线程生产者与消费者模式。 public class Producer_Consumer { private int i = 0; Object LOCK = new Object(); private boolean isProduce = false; ...
生产者消费者模型（一）——模拟单线程的互斥与同步
ypt
05-19 1103
在现实的软件开发过程中，经常会碰到如下情景：某个模块负责产生数据，这些数据由另外一个模块来负责处理（此处的模块是广义的，可以是类、函数、线程和进程等）。产生数据的模块称之为生产者，而处理数据的模块就是消费者。条件变量在正式开始生产者与消费者模型之前，我们应该对条件变量有一个新的认识。条件变量（Condition Variable）：它的作用是描述资源的就绪状态，属于线程的一种同步机制。互斥锁用于上...
关于单线程生产者消费者模式的一些记录
u011991249的专栏
09-19 785
最近看了一段关于多线程生产者消费者模式的视频，觉得挺好自己就做了一些记录，以便加强记忆，并且跟各位分享下自己的体会，有不足之处请大家指正。 （1）首先是单线程模式下的生产者消费者模式。           我的理解是:生产者消费者模式包含三个对象，生产者、消费者、资源对象。其中资源对象主要是提供资源供生产者和消费者使用，生产者就是不断生产对象（线程实现），消费者就是不断进行消费（线程实现）。
activemq实现队列的独有消费
huan的学习记录
07-09 422
多个生产者一个消费者的单线程处理队列
qq_35100531的博客
04-29 1138
之前其他博主那里看到的例子（忘记是博主和地址），很值得参考 /// <summary> /// 队列处理 /// <para>适合多个生产者一个消费者的情景</para> /// </summary> public class AsyncQueue<T> { #region 字段、属性 //有线程正在处理数据 p...
通过javaApI来模拟生产者和消费者
JAVA & HTML
05-02 172
通过javaApI来模拟生产者和消费者生产者添加依赖配置文件service层controller层消费者配置文件application.properties监听类service层 生产者 添加依赖 <parent> <groupId>org.springframework.boot</groupId> <artifactI...
分布式技术之 单线程消息队列 SingularUpdateQueue
BBinChina的专栏
05-18 613
原文 场景 高并发开发技术中经常会使用到多线程、线程池等技术，那我们为啥还搞个单线程消息队列呢？不直接怼多线程搞？ 不同的模式适用于不同的场景，当使用多线程的开发模式时，适用于CPU密集型作业，比如使用多线程提高任务并发处理能力，而当应用WAL 机制写log文件时，需要解决的问题是如何将状态更新指令顺序的迅速地写入文件，如果采用多线程，反而需要对文件进行锁来保证写入的顺序。 为了写文件时不阻塞工作线程，通常我们采用消息队列来缓冲写入log文件的指令，再通过线程异步消费来写入文件。 解决思路 实现同步队列单线
Spring boot 内部消化消息（多线程，队列）
骚政
03-21 2861
业务内部消化设计 新建 WorkManagerRunner 类 继承ApplicationRunner 随spring boot程序启动 启动时调用 ① 方法，同时启动生产者和消费者 1. public void run(ApplicationArguments args) throws Exception { logger.info("start WorkManager"); ...
单线程任务队列
dulei123321的专栏
10-31 3358
下边代码解决了 避免创建新线程 规避了线程池的创建过多线程 解决浪费资源问题   using System; using System.Collections.Generic; using System.Text; using System.Threading; namespace MyThreadPool { /// /// 线程任务队列 /// /// publi
Java实现生产者消费者问题：缓冲区阻塞模拟
"Java模拟生产者消费者问题，通过GUI实现" 在计算机系统设计中，生产者消费者问题是多线程同步的经典案例，它描述了两个或多个线程如何共享有限资源并协同工作。在这个问题中，生产者负责创建数据，而消费者负责...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值