多线程如何实现分批处理数据

最新推荐文章于 2023-03-06 14:08:20 发布
最新推荐文章于 2023-03-06 14:08:20 发布
阅读量668 收藏
点赞数
文章标签： java 后端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45437459/article/details/107343923
版权

多线程分批处理数据
需求：目前某app有10万个用户，现在需要做优惠活动，给每一个用户发送一条短信
考虑问题：
1、为了提高线程的效率，请使用多线程技术分批发数据；
2、每开一个线程，都会占用CPU资源
3、服务器（电脑）配置CPU核数 （有关系） 跟硬盘大小没关系
https://github.com/lf-10/Demo.git/

weixin_45437459
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
SpringMVC ThreadPoolTaskExecutor线程池应用
TwiceHero的博客
09-05 1037
1、首先，在SpringMVC配置文件中配置线程池，配置如下：         <!-- 配置"testExecutor" -->      <bean id="testExecutor"         class="org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor">         &l...
Java使用多线程做批处理（查询大量数据）
m0_61820867的博客
08-27 1万+
一个小demo表示java多线程的原理和应用
多线程分批处理数据及MyBatis的批量插入
一个喜欢诗和远方的程序媛
12-05 3644
多线程分批处理时，那如何分批，怎么计算批次数呢？ MyBatis批量插入示例
多个线程实现顺序打印数据，（可自定义线程一次打印数量和总数量）
weixin_34332905的博客
12-01 145
　　最近看到一道面试题：让3个线程顺序打印数字，如线程1打印1-5，线程2打印6-10，线程3打印11-15,然后是线程1打印16-20...一直打印到75结束。 　　这到题主要问题有两点： 　　　　第一点是不能让线程打印的过程中出现其他线程 　　　　第二点是要实现线程进入的过程是有序的，如上123123..这样。 　　我先是把基本的功能实现了，后来发现可以改造一下，做成可扩展的，即每次打...
多线程顺序打印输出数据
To the beyond and infinity!
07-13 249
同花顺技术面手撕代码题，考察线程同步的实现。 题目： 有三个线程，编号分别为①②③，其中 ①线程打印1，4，7，10，…； ②线程打印2，5，8，11，…； ③线程打印3，6，9，12，…； 如何编程，使得在STDOUT中的输出是顺序的，即输出是 1，2，3，4，5，6，7，8，9，…，100 题解： #include <iostream> #include <thread> #include <mutex> #include <condition_variab
Tensorflow 多线程与多进程数据加载实例
01-21
无法载入内存的问题就不用说了,单线程分批读取和处理(虽然这个处理也只是特别简单的首尾相连的操作)也会使瓶颈出现在CPU性能上,所以研究了一下多线程和多进程的数据读取和预处理,都是通过调用dataset api实现 ...
Java多线程调用BlockingDeque跑批量数据的例子
11-27
N个线程对完成的A表数据做最后处理 支持大数据量跑批，就是个例子，本来是公司发送促销邮件用的，欢迎提意见和建议。 运行DispatcherMain可以测试，库结构自己可以根据code随便改成父子表关系的就行
java多线程导出excel（千万级别）优化
12-05
轻松解决普通poi形式导出Excel的中出现的栈溢出问题，此资源可实现千万级数据分批导出csv文件，csv大数据量导出(千万级别，不会内存溢出)，多线程导出 ，生产环境已经很稳定的使用着
Shell中实现“多线程”执行脚本文件完美解决方案
09-15
主要介绍了Shell中实现“多线程”执行脚本文件完美解决方案,本文是针对一次调用执行多个脚本文件并分批执行的一个解决方法的测试和总结,需要的朋友可以参考下
使用多线程批量处理数据
rookiecoder2的博客
07-06 5983
数据量大时，使用多线程处理
JAVA零学习之基础归纳（十七）--进程、单线程、多线程、生命周期、线程安全、设计模式等
Ling的博客
09-23 396
线程 一、进程 1.1 概述 是并发执行的程序在执行过程中分配和管理资源的基本单位，是一个动态概念，竟争计算机系统资源的基本单位。每一个进程都有一个自己的地址空 间，即进程空间或（虚空间）。 1.2 一般而言，进程包含如下三个特点： 动态性：进程是程序的一次执行过程，是临时的，有生命期的，是动态产生，动态消亡的； 并发性：任何进程都可以同其他进行一起并发执行，并不会互相影响； 独立性：进程是系统进行资源分配和调度的一个独立单位； 结构性：进程由程序，数据和进程控制块三部分组成 现代的操作系统都支持多
使用spring线程池多线程并发处理大批量数据，解决IO效率问题
热门推荐
奔跑的路路
08-24 2万+
首先，叙述一下当前面临的问题所在。当前系统通过接口调用其他系统的数据，返回的数据达到10万级，然后将这批数据插入到oracle数据库。怎样尽可能提高这一过程的效率？ 大致从两个时间节点来优化： 一个节点是  优化接口之间调用的响应速度，可以项目之间使用集群，实现负载均衡。接口拿到数据后可以暂存到Redis或kafka再者是MQ队列中，以提高接口直接的相率。当然了如果项目团队允许，分布式的Hba...
List集合分批多线程处理，同时控制最大并发
weixin_30662109的博客
06-21 1144
业务中，要实现数据日终同步，采用将同步文件中的数据封装成List集合分批处理加多线程的方式，根据数据量动态设置线程数，同时控制最大并发数量（业务中有IO操作，避免过大并发导致堵塞），实现效率提高 //最大线程数控制 private static int MAX_THREADS= 5; //跑批分页大小 private static int EXPIRED_PAGE_SIZE = 30;...
使用多线程的方式对数据操作
旷野历程
01-12 1077
分享知识 传递快乐 使用多线程的方式批量处理数据操作。示例如下： @Test public void syncAccount() throws Exception { // 每500条数据开启一条线程 int threadSize = 50; // 总数据条数 int dataSize = readAll.size(); // 方法一：每个线程处理数据量 int threadNum = dataSize / threadSize + 1; i
创建10个线程，打印十个数字--多线程（1）
LiAphrodite的博客
11-16 2281
package lesson1; public class CreateThread2 { public static void main(String[] args) { int num=10; //共享数据10；每一个线程里面-1 MyRunner2 myRunner2=new MyRunner2(num); //my...
多线程练习
naoguoteng的博客
09-07 570
1.创建两个线程：一个线程打印100个A,一个线程打印100个B. 输出效果：ABABAB.....交替打印。 2.创建三个线程：一个线程打印 100个A,一个线程打印100个B,一个线程打印100个C. 输出效果：ABCABCABC.....交替打印 3.三个线程复制同一个文件,一个线程复制一段
多线程+List分段处理批量数据
qq_38042187的博客
03-06 3123
多线程+List分段处理批量数据
批量数据分解多线程并行处理方案
沧海桑田的博客
03-09 786
项目中存在很多批量数据入库业务，通常这些业务，首先需要对每一条数据进行格式校验，如数据类型、必填性、长度、枚举、范围、关联性等，其次需要对每一条数据进行业务逻辑校验，如重复性、真实性、数据权限、锁权限、写入权限等。这些业务，涉及到文件IO、网络IO、本地计算，各子过程的数据量较大时通常需要很长的耗时，尤其是传统单线程处理时。 多线程或多进程处理批量数据可以提高效率，多进程处理相对比较复杂，本方案采用更常用的解决方案，即多线程处理。...
java循环改为多线程分批执行
最新发布
09-20
在 Java 中，可以使用多线程来实现循环分批执行。具体的方法是将循环中的每一部分放到不同的线程中执行。举个例子： 假设你有一个循环需要执行1000000次，要将它分成10批执行。那么可以创建10个线程，每个线程执行100000次。 代码示例: ``` int batchSize = 1000000 / 10; // 每批的大小 for (int i = 0; i < 10; i++) { final int start = i * batchSize; // 每批的开始索引 final int end = start + batchSize; // 每批的结束索引 new Thread(() -> { for (int j = start; j < end; j++) { // 循环体 } }).start(); } ``` 如果在循环体中需要对共享变量进行修改，需要加锁保证原子性。 更多的方法还有 java.util.concurrent.Executor ， java.util.concurrent.ExecutorService, java.util.concurrent.ForkJoinPool等 这些类或者框架来实现多线程分批执行。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值