使用生产者和消费者算法加速数据处理

最新推荐文章于 2022-06-06 16:47:21 发布
最新推荐文章于 2022-06-06 16:47:21 发布
阅读量434 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Hello_Ray/article/details/109134775
版权
应用场景

数据库里有1120万条数据需要一个不漏的全部处理，然后将处理后的数据再次保存在数据库中。如果数据量小的话，取出来后挨个处理挨个进行保存即可，此时我们面对的是千万级别的大批量的数据，挨个处理挨个保存这种顺序方法非常耗时，不可行。
在这里插入图片描述

方法使用

此时可以选择一个生产者和消费者思路进行处理，如下图顺序方法和生产者消费者方法的对比。
顺序执行的耗时模型处理数据处理数据完成后才可以执行保存数据，耗时是叠加；生产消费方法执行耗时是生产数据和消费数据方法并行的执行状态，消耗时间取决于哪个最后执行完成（此图中生产数据执行时间最长）。
在这里插入图片描述

首先创建线程安全的队列，用于生产者和消费者的数据传递。生产者在处理完成一条数据后，把数据放入队列中，消费者不断的检查队列中是否存在数据，如果存在数据就进行取出处理后保存。

private Queue<RelateCountMatrixEntity> queue = new ConcurrentLinkedQueue<>(
最低0.47元/天 解锁文章
Hello_Ray
关注
Kafka消费者数据清洗与数据转换
AI天才研究院
07-07 799
Kafka消费者数据清洗与数据转换 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：Kafka消费者, 数据清洗, 数据转换, 大数据处理, Apache Kafka 1.背景介绍
常用数据结构和算法（python实现版）
weixin_41783242的博客
04-04 1555
【代码】常用数据结构和算法（python实现版）
使用生产者消费者解决海量数据的处理与相关优化
纸上得来终觉浅,绝知此事要躬行
08-21 1753
最近一直在优化海量数据(几千万)处理这一块。我使用的是java提供的ExecuterPool线程池来实现的，这几天在研究如何使用生产者和消费者模式去解决类似处理数据的问题，下面是思考与实现的过程与思考。
生产者消费者模型在大数据量处理中的应用
03-21 1007
生产者消费者模型是经典的进程/线程协同处理模型，在现实中也有很大量的应用。而在C/S或B/S模式的客户端和服务器交互的应用中却少见。其实在这种应用中如果存在大数据量的处理，使用这种模型也能带来较大的性能提升。生产者消费者模型原型如下：    其实是一个很简单的模型，生产者不停的往队列里生产Item，如果队列满了则停止生产，直到有空位，消费者不停地从队列里取走
生产者与消费者应用案例
zs1342084776的博客
08-11 571
package com.vince; /** * 两个线程协同工作，先生产，再消费 * wait():当前线程停止运行，被同一个线程锁的其它线程唤醒之后才能接着运行 * notify(): 唤醒同一个同步锁中某一个wait()锁 * * sleep和wait的区别： * sleep: 让线...
BulkDataProcessor:批量处理数据的生产者消费者示例项目
06-19
批量数据处理器 我最近不得不编写一个可以批量处理大量数据的程序。 这基本上是该程序的骨架，它能够从数据库表中获取和更新条目。 有一个线程滚动浏览数据库条目以保持合理的内存消耗和处理每个条目的多个消费者线程。 随意使用它。 如何使用 打开你最喜欢的 IDE 并导入这个项目 通过和配置数据库连接 通过配置程序 将调整为您的数据库架构 定义您的枚举（ ） 实现您想要对每个条目执行的操作（请参阅 ） 运行 学分 该项目使用 、 、 、 和 。
生产消费者模型的应用--大数据量处理
never stop,just running！！！
06-03 154
   生产消费者模型我们都挺熟悉的，用程序实现来说就是有个数据区，一个线程放数据、一个读数据。    现在有个需求，读取数据库记录进行加工并显示，如果数据量比较大，如1000W，读取数据、加工到显示整个过程用时几秒，而项目要求页面等待时间小于2S，由于页面显示数据不会一次性显示那么多，因此如果加工好一页数据显示就ok了，可以将读取数据库加工记录放入缓冲区，页面显示时读取缓冲区。。。    如j...
安永：2022年印度电子商务和网络消费者报告（EN）.pdf
最新发布
07-19
综上所述，印度的电子商务和消费者互联网领域正处于一个快速发展的阶段，不仅得益于数据革命带来的巨大流量增长，还因为疫情加速了数字化转型的步伐。未来，这一领域将展现出更多的创新和技术突破，同时也为其他行业...
C++17并行算法威力：加速数据处理，提升性能的秘诀
[C++17并行算法威力：加速数据处理，提升性能的秘诀](https://www.modernescpp.com/wp-content/uploads/2019/10/TimelineCpp20BigFourUpdate.png) # 1. C++17并行算法概览 C++17标准的引入为开发者带来了一系列强大...
对接数据生产者消费者_记一次生产者消费者读取200w数据, 写入2000w数据的过程...
weixin_34811804的博客
01-17 486
记一次生产者消费者读取200w数据, 写入2000w数据的过程前情提要: 由于开发阶段,数据量的不充足,同时线上的产品数据需要使用到经纬度这一块数据. 就有数据部门的同事爬去了100w条数据,给的也是csv文件, 由此产生一个问题, 如何来大批量的读取这些数据呢这里我们想到了两种方式, csv文件读取采用文件行读取, 读取excel 采用 phpexcel为了兼容以后可能导入的xls文件,我这里就...
Linux——生产者和消费者模型
仟各的博客
11-27 510
生产者消费者问题概述： 多个线程同时从一块缓冲区中读取数据，并且有一个或者多个线程同时向这块缓冲区中写入数据。 读取（取走）数据的线程成为“消费者” 写入（添加）数据的线程称为“生产者” 生产者消费者模型的优点： ①解耦 生产者和消费者的代码发生变化都不会对对方产生影响，变成生产者、缓冲区、消费者这种低耦合的 ②支持并发 生产者产生的数据添加到缓冲区，就可以再去产生下一个数据了，消费者也是一样，从缓冲区中读取数据之后无需等待生产者。可以使得生产者和消费者并发执行 ③支持忙闲不均 生产者只需要负责向缓冲区中添
How to: 使用 数据流 实现生产者-消费者模式
weixin_30411997的博客
09-25 124
producer把消息发送到消息块，consumer从块读取消息。 安装： Install-Package Microsoft.Tpl.Dataflow using System.Threading.Tasks.Dataflow; 解释： Produce方法随机生成字节，并Post到ITargetBlock对象； Consumer方法从ISourceBlock对象读取...
并发编程设计之生产者-消费者模式：用流水线思想提高效率
香农三定律的博客
11-21 677
并发编程设计之生产者-消费者模式：用流水线思想提高效率引言生产者 - 消费者模式的优点支持批量执行以提升性能支持分阶段提交以提升性能 引言 Java 线程池本质上就是用生产者 - 消费者模式实现的，所以每当使用线程池的时候，其实就是在应用生产者 - 消费者模式。 Log4j2 中异步 Appender 内部也用到了生产者 - 消费者模式。 Java 语言提供的线程池本身就是一种生产者 - 消费者模式的实现，但是线程池中的线程每次只能从任务队列中消费一个任务来执行，对于大部分并发场景这种策略都没有问题。但是有
生产者消费者算法的简单实现
knight99z的博客
06-06 1675
生产者消费者算法是经典的进程同步算法，下面运用C++模拟实现生产者消费者算法，能实现对缓冲池的互斥访问和生产者进程与消费者进程之间的同步。
生产者消费者模型
qq_40820563的博客
06-22 218
生产者-消费者模型是一个常见的多线程编程模型，如下图所示： 一个内存队列，多个生产者线程往内存队列中放数据；多个消费者线程从内存队列中取数据。 要实现这样一个编程模型，需要做下面几件事情： 内存队列本身要加锁，才能实现线程安全。 阻塞。当内存队列满了，生产者放不进去时，会被阻塞；当内存队列是空的时候，消费者无事 可做，会被阻塞。 双向通知。消费者被阻塞之后，生产者放入新数据，要notify()消费者；反之，生产者被阻塞之 后，消费者消费了数据，要notify()生产者。 第1件事情必须要做，第2
分布式优化算法的背景，应用场景，研究动态
sync
06-21 1万+
文章目录0.写在前面1.背景介绍① 概念解释② 应用背景③ 小结2.研究动态与现状①分布式优化算法的数学模型②分布式优化算法的分类③ 有中心节点VS无中心节点④有向图和无向图⑤静态图和时变图⑥同步更新和异步更新⑦次线性收敛和线性收敛⑧小结3.写在最后4.参考文献 0.写在前面 注：图床使用的是github，所以如果图片加载不出来，请打开小飞机。 这是在B站看得一则视频。 内容是【人工智能前沿学生论坛 第十期】 清华大学博三的张家绮学长做的关于一个分布式优化算法及其应用的分享 内容主要分四个小节 背景介绍
操作系统算法之生产者消费者算法模拟
qq_43550476的博客
01-05 2982
操作系统算法之生产者消费者算法模拟 实验目的 本实验通过参考和调试生产者-消费者模拟程序，进一步认识进程并发执行的实质，加深对进程竞争关系，协作关系的理解，掌握使用信号量机制与P、V操作来实现进程的同步与互斥。进而完成本实验的要求。 实验要求 参考生产者-消费者模拟程序，完成下题要求： 桌子上有一空盘，允许存放一只水果。爸爸可向盘中放苹果，也可向盘中放桔子，儿子专等吃盘中的桔子，女儿专等吃盘中的苹果。规定当盘空时一次只能放一只水果供吃者取用。 （1）使用P、V操作实现爸爸、儿子、女儿三个并发进程的同步的算法
RocketMq--单生产者多消费者--多生产者多消费者--消息类型及过滤
Strong_shady的博客
08-09 3064
单产多费（1） 注意：不同的组之间，订阅的topic一样，每组收到的消息数一样多且无争抢，类似广播。 生产者： //1.创建一个发送消息的对象Producer DefaultMQProducer producer = new DefaultMQProducer("group1"); //2.设定发送的命名服务器地址 producer.setNamesrvAddr("localhost:9876"); //3.1启动发送的服务 p
生产者消费者模式的几种实现方式以及线程安全问题
热门推荐
noaman_wgs的博客
03-27 1万+
生产者消费者模式的几种实现方式拿我们生活中的例子来说，工厂生产出来的产品总是要输出到外面使用的，这就是生产与消费的概念。 在我们实际的软件开发过程中，经常会碰到如下场景：某个模块负责产生数据，这些数据由另一个模块来负责处理（此处的模块是广义的，可以是类、函数、线程、进程等）。 产生数据的模块，就形象地称为生产者；而处理数据的模块，就称为消费者。 第一种:采用wait—notify实现生产者消费者
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值