python使用多线程写入数据到文件

        python使用多线程写入数据时,可能会存在写入的一些数据丢失现象。如示例代码1所示,反复修改写入文件的两种方式和加入buffering缓冲也时存在数据丢失现象。

示例代码1:

import time
import threading
from queue import Queue


def func(num):
    time.sleep(1)
    thread_name = threading.current_thread().name
    data = str(num) + "当前线程:" + thread_name + '\n'
    print(data)
    with open('text.txt', 'a', encoding='utf-8') as f:
        f.write(data)
    # f = open('text.txt', 'a', encoding='utf-8', buffering=100)
    # f.write(data)
    # f.close()


if __name__ == '__main__':
    queue = Queue()
    for i in range(1000):
        queue.put(i)

    # 开启100个线程
    for _ in range(100):
        thread = threading.Thread(target=func, args=(queue.get(),))
        thread.start()

运行结果:

百度众多帖子也未找到答案,最后加入了锁机制,竟然解决了数据丢失的问题!如示例代码2所示。

示例代码2:

import time
import threading
from queue import Queue
from threading import Lock

mutex = Lock()


def func(num):
    time.sleep(1)
    thread_name = threading.current_thread().name
    data = str(num) + "当前线程:" + thread_name + '\n'
    print(data)
    mutex.acquire()
    with open('text.txt', 'a', encoding='utf-8') as f:
        f.write(data)
    mutex.release()
    # f = open('text.txt', 'a', encoding='utf-8', buffering=100)
    # f.write(data)
    # f.close()


if __name__ == '__main__':
    queue = Queue()
    for i in range(10000):
        queue.put(i)

    # 开启10000个线程
    for _ in range(10000):
        thread = threading.Thread(target=func, args=(queue.get(),))
        thread.start()

运行结果:

各位大佬若有好的办法,欢迎评论区留言......

  • 6
    点赞
  • 34
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
Python中,使用多线程读取文件可以通过使用文件来实现线程安全的读取操作。例如,在Linux下,可以使用fcntl库中的文件来管理多个线程对同一文件的读取操作。文件可以确保在某个线程读取文件时,其他线程无法同时进行读取或写入操作,从而避免了重复读和跳读的问题。 为了演示多线程读取文件的操作,你可以使用下面的代码片段作为参考: ```python import threading def read_file(): # 获取文件 lock = threading.Lock() # 读取文件 with open('text.txt', 'r', encoding='utf-8') as f: # 加 lock.acquire() # 读取文件内容 data = f.read() # 解 lock.release() # 处理文件内容 # ... ``` 在上面的代码中,我们首先创建了一个线程对象,然后在读取文件之前通过`lock.acquire()`方法获取,这样其他线程就不能同时进行读取操作。在读取完文件内容后,我们通过`lock.release()`方法释放,以便其他线程可以继续读取文件。这样就保证了多个线程之间的读取操作是互斥的,避免了重复读和跳读的问题。 另外,为了测试多线程读取文件的效果,你可以使用下面的代码片段生成一个包含随机数的文件: ```python import random def generate_data(): for i in range(100): a = random.randint(10, 99) b = random.randint(10, 99) data = f'num{i+1}:{a} {b}=\n' with open('text.txt', 'a', encoding='utf-8') as f: f.write(data) ``` 以上代码会生成一个名为`text.txt`的文件,其中包含了100行随机数。你可以在多个线程中同时执行`read_file()`函数来测试多线程读取文件的效果。请注意,在实际应用中,你需要根据具体情况对文件使用进行调整,并确保线程安全的读取操作。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [对Python多线程文件的实例详解](https://download.csdn.net/download/weixin_38623080/13775720)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [python使用多线程数据文件2](https://blog.csdn.net/weixin_44799217/article/details/126678163)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值