使用多线程解决读写数据不一致的问题

本文链接：https://blog.csdn.net/TalorSwfit20111208/article/details/141872301

引言

在工作中我们经常会遇到从一个文件中读取数据，然后去做另一个操作，最近小编在日常工作中遇到一个问题：从一个json文件中读取参数化数据循环对比配置，发现生成的配置都是取得最后一个参数所生成的，在这里小编就很疑惑了，查看日志，入参都是没有问题的，是什么原因引起的呢？小编排查日志很久都没发现啥问题，于是我用单个参数进行更新发现每个参数都是OK的，不会存在更新失败的问题，所以参数是没有问题的，那么是哪里的问题呢。

然后我注意到执行循环对比时，多个配置进行对比程序运行完时间竟然还比单个文件运行时间短，这明显不合理啊，于是我突发奇想：是不是程序没执行完就往下循环了，因为小编刚开始是用的单线程。

初始代码

问题代码如下

# 省略库导入，代码仅供参考

current_dir = os.getcwd()
config_dir = os.path.join(current_dir, 'configs')
app_file = os.path.join(config_dir, "app.json")
app_list = []
diff_result = None

def test_batch_diff():
    logging.info(f"{config_dir},{app_file}")
    with open(app_file, "r") as f:
        app_list = json.load(f)

        logging.info(f"{json.dumps(app_list, indent=2)}")

    for app_value in app_list:
        logging.info(f'app_value:{app_value}')
        app = app_value.get("app")
        a = app_value.get("a")
        e = app_value.get("e")
        version = app_value.get("version")
        app_dict = dict(app=app, a=a, e=e, version=version)
        logging.info(f'app_dict:{app_dict}')

        if app and a and e and version:
            # update_config_psa_data(**app_dict)
            diff_result = single_configs_compare_v2(app_dict)
            if diff_result:
                write_diff_results(app, diff_result)

# 示例调用
if __name__ == "__main__":
    test_batch_diff()

为啥这个写入的diff_result都是psa_list最后的一个数据？小编查阅了下资料确认是：

可能出在single_configs_compare_v2(psa_dict)函数耗时较长，导致在该函数执行期间程序进入下一次循环，从而导致每次写入的diff_result都是最后一个数据。

执行时间较长，然后没完全执行完就开始下个循环了，导致参数化结果都是一样的，这显然是不可接受的。在这里可以将耗时较长的任务放在另外一个线程中进行处理，经测试，将耗时长的这个函数single_configs_compare_v2放到另外一个线程中执行问题就解决了。

使用多线程优化后的代码


# 省略库导入，代码仅供参考
current_dir = os.getcwd()
config_dir = os.path.join(current_dir, 'configs')
app_file = os.path.join(config_dir, "app.json")
app_list = []
diff_result = None

def process_app(app_dict):
    diff_result = single_configs_compare_v2(app_dict)
    if diff_result:
        write_diff_results(app_dict["app"], diff_result)

def test_batch_diff():
    logging.info(f"{config_dir},{app_file}")
    with open(app_file, "r") as f:
        app_list = json.load(f)

        logging.info(f"{json.dumps(app_list, indent=2)}")

    threads = []
    for app_value in app_list:
        logging.info(f'app_value:{app_value}')
        app = app_value.get("app")
        a = app_value.get("a")
        e = app_value.get("e")
        version = app_value.get("version")
        app_dict = dict(app=app, a=a, e=e, version=version)
        logging.info(f'app_dict:{app_dict}')

        if app and a and e and version:
            thread = threading.Thread(target=process_app, args=(app_dict,))
            threads.append(thread)
            thread.start()

    # 确保所有线程都执行完毕
    for thread in threads:
        thread.join()

# 示例调用
if __name__ == "__main__":
    test_batch_diff()

在这个修改后的代码中，我们将single_configs_compare_v2(app_dict)的执行放在了一个单独的线程中，这样可以避免阻塞主循环。通过使用多线程，可以让每次对比操作在独立的线程中进行，从而避免因为耗时操作导致的数据混乱问题。

总结

多线程是一种常见的并发编程模型，在许多应用场景中具有显著的优势。下面详细介绍多线程的使用场景及其优势。

多线程的使用场景

I/O 密集型任务：
- 当程序需要频繁进行 I/O 操作（如磁盘读写、网络通信等），并且这些操作耗时较长时，使用多线程可以让其他线程继续执行，提高程序的整体响应速度和效率。
CPU 密集型任务：
- 对于需要大量计算的任务，多线程可以充分利用多核处理器的并行计算能力，加快计算速度。但是需要注意的是，多线程在 CPU 密集型任务上的优势取决于具体的应用场景和硬件配置。
用户界面交互：
- 在图形用户界面（GUI）应用程序中，主线程通常负责处理用户交互事件，而其他线程则可以用来执行耗时的后台任务，避免用户界面冻结。
网络服务：
- 在服务器端开发中，多线程可以用来处理并发的客户端请求，每个客户端连接由一个独立的线程处理，提高服务器的响应能力和吞吐量。
批处理任务：
- 对于需要处理大量数据或任务的情况，可以将任务分解成多个子任务，并在多个线程中并行处理，以提高整体处理速度。

多线程的优势

提高响应速度：
- 多线程可以提高程序的响应速度，尤其是在处理 I/O 密集型任务时，可以让程序在等待 I/O 操作完成的同时继续执行其他任务。
提高资源利用率：
- 多线程可以更好地利用计算机系统的资源，尤其是多核处理器。每个线程都可以在不同的核心上并行执行，从而提高整体性能。
改善用户体验：
- 在 GUI 应用程序中，多线程可以避免由于长时间运行的任务导致的界面冻结，提供更好的用户体验。
简化复杂任务的处理：
- 对于复杂的任务，可以将其拆分成多个子任务，并在多个线程中并行执行，简化任务处理的难度。
提高系统吞吐量：
- 在服务器端应用中，多线程可以处理更多的并发请求，提高系统的吞吐量。

多线程的注意事项

尽管多线程有很多优势，但也存在一些需要注意的问题：

线程安全：
- 多线程环境下，多个线程可能会同时访问共享资源，因此需要确保对共享资源的访问是线程安全的，通常通过使用锁（如 threading.Lock）来实现。
死锁：
- 如果多个线程持有不同的锁，并且都在等待对方释放自己所需的锁，就会发生死锁。需要合理设计线程间的锁获取顺序来避免死锁。
资源开销：
- 创建和销毁线程会有一定的资源开销，因此在频繁创建和销毁线程时需要注意性能问题。
调试难度：
- 多线程程序的调试通常比单线程程序更加复杂，因为线程之间的执行顺序往往是不确定的，可能会引入难以复现的 bug。