python多线程编程：线程安全读写冲突解决办法&锁

已于 2022-07-28 16:33:31 修改
阅读量1.5k 收藏
点赞数
分类专栏： python 文章标签： java 开发语言
于 2022-07-28 14:05:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29707567/article/details/126033591
版权

场景：

        使用多线程方式执行推理任务，调用的推理任务主函数作为多线程，推理任务的处理过程比较长，其中涉及到数据的前处理、推理、后处理等。

        其中在推理计算精度时，需要将推理结果写入到一个文件中，问题来了，多个线程中如果同一个模型的话，会向同一个文件写数据，会出现数据冲突报错的问题。

        参考了网上的建议，在出错那个方法中，尝试使用锁的方式，目前看不再报错了，

加入了这两行，其他不变

        1、方法1 ：后来有些问题

2、方法2：

验证仍然有些问题 

3、方法3：

验证中

 

 

参考博文：

Python中的多线程编程，线程安全与锁(一) - 青山牧云人 - 博客园

python--threading多线程总结 - 苍松 - 博客园

python多线程及锁_马儿不会跑的博客-CSDN博客_python多线程锁

qq_29707567
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
6.9:Python如何在写入文件时保证文件的安全性？
小兔子平安
04-16 213
程序员还可以使用Python的其他文件操作功能，如文件拷贝、文件压缩、文件加密等等，以满足不同的需求。总 之，Python的文件操作功能非常丰富，程序员只需要掌握基本的文件操作技巧，就可以处理大多数文件读写问题。
python两种方法解决线程冲突问题
执念斩长河
07-15 3041
本博文源于python基础炫酷技能，主要讲述python的线程的问题。大家学到多线程的时候只要搞明白两种东西即可，第一线程通信，另一个叫做线程冲突。本博文就以一种打印数字的方法浅析线程冲突的解决方案！
python多线程操作字典_关于多线程：Python字典中的线程安全
weixin_39779528的博客
11-30 743
我有一个持有字典的班级123456789class OrderBook:orders = {'Restaurant1': None,'Restaurant2': None,'Restaurant3': None,'Restaurant4': None}@staticmethoddef addOrder(restaurant_name, orders):OrderBook.orders[restau...
python写打开的excel 冲突_使用python读写操作excel内两个不同表(基于python3.6)
weixin_39662228的博客
11-28 186
#!/usr/bin/python3# -*- coding: utf-8 -*-# @File : csvHandle# @Author : moucong# @Date : 2019/3/14 15:28# @Software: PyCharmimport openpyxldef csv_handle():filename = "all.xlsx"wb = openpyxl.lo...
023：Python文件读写和异常处理
JY631591678的博客
11-25 672
实际开发中常常会遇到对数据进行持久化的场景，所谓持久化是指将数据从无法长久保存数据的存储介质（通常是内存）转移到可以长久保存数据的存储介质（通常是硬盘）中。实现数据持久化最直接简单的方式就是通过文件系统将数据保存到文件中。 计算机的文件系统是一种存储和组织计算机数据的方法，它使得对数据的访问和查找变得容易，文件系统使用文件和树形目录的抽象逻辑概念代替了硬盘、光盘、闪存等物理设备的数据块概念，用户使用文件系统来保存数据时，不必关心数据实际保存在硬盘的哪个数据块上，只需要记住这个文件的路径和文件名。在写入新数
python多线程同步之文件读写控制
09-18
在Python编程中，多线程同步对于文件读写控制至关重要，因为如果不加以控制，多个线程同时访问同一文件可能会导致数据不一致或者错误。这里我们将深入探讨如何在Python中使用多线程同步来确保文件读写的安全性。 ...
对Python多线程读写文件加锁的实例详解
12-25
Python的多线程在io方面比单线程还是有优势，但是在多线程开发时，少不了对文件的读写操作。在管理多个线程对同一文件的读写操作时，就少不了文件锁了。 使用fcntl 在linux下，python的标准库有现成的文件锁，来自于...
Python多线程同步---文件读写控制方法
09-19
总结来说，Python多线程同步在文件读写控制中的应用主要是为了避免并发访问造成的数据不一致。通过使用线程锁或其他同步机制，我们可以确保文件操作的顺序性，从而保证程序的正确性和数据的完整性。在编写多线程程序...
python 多线程操作MySQL读写脚本
11-08
总的来说，"python 多线程操作MySQL读写脚本"涉及了Python多线程编程、MySQL数据库操作、事务管理、并发控制、连接保持和文件操作等多个方面。在实现这样的脚本时，需要充分理解这些概念，并注意处理好并发带来的...
Python多线程同步—文件读写控制方法
12-31
1、实现文件读写的文件ltz_schedule_times.py #! /usr/bin/env python #coding=utf-8 import os def ReadTimes(): res = [] if os.path.exists('schedule_times.txt'): fp = open('schedule_times.txt', 'r') ...
python中文件读写问题及解决方法
LSG_Dawn的博客
09-27 385
Python 文件读写的问题
zsk_john的技术分享专用博客
04-24 416
Python 文件读写的问题 Python中的文件读写相对其它语言来说，是比较简单的，如果我没有记错，java中的文件读取是比较繁琐的一件事情，Python中的读写操作是由其内置函数open（）或者with 语法来完成，其中的难点在于open（）函数所使用的形参比较多并且记忆较难，分别是 r，w，w，r+，w+，a+，*b 这几个参数，下面讲解这几...
Python多进程写入同一文件
热门推荐
07-16 3万+
最近用python的正则表达式处理了一些文本数据，需要把结果写到文件里面，但是由于文件比较大，所以运行起来花费的时间很长。但是打开任务管理器发现CPU只占用了25%，上网找了一下原因发现是由于一个叫GIL的存在，使得Python在同一时间只能运行一个线程，所以只占用了一个CPU，由于我的电脑是4核的，所以CPU利用率就是25%了。既然多线程没有什么用处，那就可以使用多进程来处理，毕竟多进程是可以不受
python多进程写入同一excel文件_Python多进程写入同一文件的方法
weixin_35055546的博客
02-03 1925
最近用python的正则表达式处理了一些文本数据，需要把结果写到文件里面，但是由于文件比较大，所以运行起来花费的时间很长。但是打开任务管理器发现CPU只占用了25%，上网找了一下原因发现是由于一个叫GIL的存在，使得Python在同一时间只能运行一个线程，所以只占用了一个CPU，由于我的电脑是4核的，所以CPU利用率就是25%了。既然多线程没有什么用处，那就可以使用多进程来处理，毕竟多进程是可以不...
Python使用多线程实现串口收发数据
GRF-Sunomikp31
03-07 6254
Python使用多线程实现串口收发数据前言代码最后 前言 近期要写个串口的代码，想着工程有点大打算用多线程布局… 在使用这份代码之前，你可以根据下述博文先配置serial库： Windows：https://blog.csdn.net/qq_44847636/article/details/114156472. Linux：https://blog.csdn.net/qq_44847636/article/details/114242849. Jeston nano/Rraspberry Pi：https:
用线程锁，解决python多线程的资源冲突
qq_26530585的博客
09-24 1130
要解决的问题： 程序中可能存在多个线程要同时访问一个资源，这在某些资源中是不允许的，需要保证同一时间段只有一个线程访问资源。 解决的方案是： 用线程锁（threading.Lock() )，在线程访问共享资源时，把需要解决冲突资源加锁保护。 具体实施： import threading self.lock=threading.Lock() def main1(s...
python multiprocessing lock_python并发之multiprocessing
weixin_34002071的博客
02-09 436
由于GIL(全局解释锁)的问题，python多线程并不能充分利用多核处理器。如果想要充分地使用多核CPU的资源，在python中大部分情况需要使用多进程。multiprocessing可以给每个进程赋予单独的Python解释器，这样就规避了全局解释锁所带来的问题。与threading.Thread类似，可以利用multiprocessing.Process对象来创建一个进程。multiproces...
跨平台的进程
听酒
05-18 295
Windows无法使用fork调用创建进程multiprocessing模块就是跨平台版本的多进程模块，使用该模块的Process类可以创建进程。from multiprocessing import Process from time import sleep num = 100 def test(): print("------>num:", num) def test1()...
Python多线程读写list，并且保证线程安全
最新发布
wenangou的博客
11-14 1015
不过，过度的加锁会降低程序的并发性能，因此应该仔细设计你的程序，以避免不必要的锁争用。在不涉及共享资源修改的场景下，只进行读操作，通常是线程安全的。Python的全局解释器锁（GIL）虽然保证了同一时刻只有一个线程执行Python字节码，但不能保证操作原子性，特别是在涉及到列表这样的可变数据结构时。操作可能被分成了多个步骤（比如计算长度、分配空间、插入元素），如果没有锁，另一个线程可能在这些步骤之间执行并修改列表，导致出现不可预料的结果。，分别用于向列表添加元素和移除元素，这两个函数都通过。
Python多线程实战：threading模块详解
"python多线程-threading模块" Python的`threading`模块是进行多线程编程的关键工具，尤其在处理并发任务时非常有用。它提供了比基础`thread`模块更高级的功能，使得多线程操作更加灵活和可控。在这个模块中，`...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值