python—多线程之数据混乱问题

已于 2024-02-25 10:11:07 修改
阅读量3.8k 收藏 10
点赞数 4
分类专栏： 多线程和多进程 文章标签： python 爬虫 pycharm
于 2021-10-14 06:45:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/YZL40514131/article/details/120692500
版权

这里写目录标题

一、加入线程同步的原因

由于同一进程中的所有线程都是共享数据的，如果对线程中共享数据的并发访问不加以限制，结果将不可预期，在严重的情况下，还会产生死锁
在一个进程内的所有线程共享全局变量，能够在不使用其他方式的前提下完成多线程之间的数据共享(这点要比多进程要好)
缺点就是，线程是对全局变量随意遂改可能造成多线程之间对全局变量的混乱(即线程非安全)

二、解决数据混乱的方法

为了让线程是安全的，解决方法：
1、为了解决这个问题，需要允许线程独占地访问共享数据，这就是线程同步。
2、让每个线程拥有一个独立的私有变量
在这里插入图片描述

三、数据混乱示意图

在这里插入图片描述

四、代码实现数据混乱问题

在这里插入图片描述
执行结果为：数据混乱在这里插入图片描述
但是当我把累加次数设置小，就不会出现数据混乱问题
在这里插入图片描述
数据混乱的原因：
cpu分成多个时间片段，启动10线程，分配10个cpu时间片段，当我累加数字设置比较小的时候，在单个cpu时间片段内，for循环代码就执行完，就不会产生数据混乱的。当我数据设置的比较大时，在单个cpu时间片段内，for循环代码就执行不完，并且没有分配2个或2个以上的连续的cpu时间片段，导致一个cpu时间片段没有执行完该线程，下一个线程开始执行了

敲代码敲到头发茂密
关注
  • 4
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
python--多线程加载数据
qestion_yz_10086的博客
07-20 681
python–多线程加载数据 from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutor # 线程池，进程池 import threading, time import os import pandas as pd from queue import Queue def test(arg1,q): data=pd.read_excel(arg1,sheet_name='sheet2') # print(arg
python多线程处理数据
Ganymede的Hadoop世界
06-16 7095
python多线程处理数据
基于python的多线程数据写入
03-01
使用python结合多线程技术，将已经在python文件中的数据写入到对象的数据库，方便数据的处理和管理。
Python爬虫进阶之多线程爬取数据并保存到数据库
12-21
今天刚看完崔大佬的《python3网络爬虫开发实战》，顿时觉得自己有行了，准备用appium登录QQ爬取列表中好友信息，接踵而来的是一步一步的坑，前期配置无数出错，安装之后连接也是好多错误，把这些错误解决之后，找APPactivity的值又让我绕了一大圈，找到值后又在权限上无法授权。 正当我手足无措的准备放弃的时候，我突然看到Charles，可以直接对APP抓包，在配置上有事一步一个坑后，当我准备抓取抖音视频评论的时候一堆乱码，我反手就是一巴掌 为了避免这种尴尬，以及我突然想写博客的心情，我决定还是为大家在进行一次简易爬虫展示，总体程序我会利用多线程的方式来充分利用CPU的空闲时间，其中我也
解决python多线程print输出混乱
最新发布
OeMook的博客
05-13 184
【代码】解决python多线程print输出混乱。
Python爬虫多线程获取数据顺序混乱的解决方法
qq_17828689的博客
01-09 1197
【代码】Python爬虫多线程获取数据顺序混乱的解决方法。
Python线程，以及多线程带来的数据错乱和死锁的解决方法
热门推荐
流夏_
09-29 1万+
摘至本人有道云笔记《Python线程》 1.python多线程的创建 在Python中，同样可以实现多线程，有两个标准模块thread和threading，不过我们主要使用更高级的threading模块 threading模块提供的类：   　　 Thread, Lock, Rlock, Condition, [Bounded]Semaphore, Event, Timer, local。...
Python | 多线程处理数据并写入到文件，但数据内容存在残缺混乱的情况。
qq_50909707的博客
02-27 814
Python | 多线程处理数据并写入到文件，但数据内容存在残缺混乱的情况。_.-CSDN博客
Python 多线程输出混乱
weixin_43919144的博客
04-03 3809
问题 python多线程时并发并非并行，线程之间并非严格遵守顺序，这就会造成线程不安全的情况，例如print是自动添加换行的，在换行时可能线程不安全，导致换行和下一句输出发生混乱 解决办法 手动输入换行符，例如print(url+'\n',end='')，以空字符结尾，在输出内容后面主动加入换行符，这样就不会存在错位的问题。 对 print() 加锁 _print = print mutex = threading.Lock() def print(text, *args, **kw): ‘’’ 使输
python—多线程数据混乱问题解决之同步锁
python全栈
10-14 2130
一、同步 问题产生的原因就是没有控制多个线程对同一资源的访问，对数据造成破坏，使得线程运行的结果不可预期。这种现象称为"线程不安全”"。 同步：就是协同步调，按预定的先后次序进行运行。如:你说完，我再说。如进程、线程同步，可理解为进程或线程A和B一块配合，A执行到一定程度时要依靠B的某个结果，于是停下来，示意B运行;B依言执行，再将结果给A;A再继续操作。这既是同步， 二、同步锁 1、lock=Lock()：创建同步锁 2、lock.acquire()：获得这把锁的钥匙 3、lock.release()：释
python多线程同步之文件读写控制
09-18
这会导致并发问题，如输出所示，数据被错误地读取和写入，因为多个线程可能同时访问文件，导致数据混乱。 为了修复这个问题，我们需要引入线程同步机制。在2.2部分，我们可以看到通过使用`threading.Lock()`对象...
Python多线程同步---文件读写控制方法
09-19
总结来说，Python多线程同步在文件读写控制中的应用主要是为了避免并发访问造成的数据不一致。通过使用线程锁或其他同步机制，我们可以确保文件操作的顺序性，从而保证程序的正确性和数据的完整性。在编写多线程程序...
对Python多线程读写文件加锁的实例详解
09-19
以下是对Python多线程读写文件加锁的详细解释。 首先，我们来看如何使用`fcntl`模块实现文件锁。`fcntl`模块提供了Unix系统中的`fcntl()`和`ioctl()`接口，其中`fcntl.flock()`函数是实现文件锁的关键。这个函数...
Python多进程写入同一文件的方法
09-19
在Python编程中，有时我们需要处理大量...总的来说，Python多进程写入同一文件时，可以通过使用锁或回调函数来解决并发访问带来的问题。在实际应用中，应根据具体情况选择合适的方法，同时注意跨平台兼容性和性能优化。
浅谈Python线程的同步互斥与死锁
12-20
影响 ： 对共享资源的无序操作可能会带来数据的混乱，或者操作错误。此时往往需要同步互斥机制协调操作顺序。  3. 同步互斥机制 同步 ： 同步是一种协作关系，为完成操作，多进程或者线程间形成一种协调，按照必要...
在Python下尝试多线程编程_.docx
10-09
在多线程环境中，数据共享可能会引发竞态条件，即多个线程同时修改同一变量导致数据混乱。为了防止这种问题，Python的`threading`模块提供了多种同步机制，如`Lock`。以下是一个简单的例子展示了没有锁的情况下，多...
Python 线程池并发问题 全局变量操作导致数据混乱
qq_43833393的博客
11-18 1337
Python 线程池并发问题 全局变量操作导致数据混乱
python 多线程写文件出现串行问题
rongDang的博客
08-10 351
python 爬虫运行100个线程爬取数据，获取的信息都是准确的，但是多线程同时写入文件中的时候，出现数据错行的问题。互斥锁（Lock）：通过使用互斥锁，确保每次只有一个线程能够执行写操作。这样可以避免数据交叉写入的问题。
关于For循环的一个细节，变量i的值不对
qq_42489774的博客
03-25 1271
今天做项目，发现了一个奇怪的现象 代码如下 for (int i = 1; i < 2; i++) { Debug.LogError("测试1：" + i); transform.DOMove(Vector3.zero, 0.5f).OnComplete(() => { Debug.LogError("测试2：" + i); });
python sqlite3 多线程插入数据
06-10
在使用 Python 的 sqlite3 模块执行多线程插入数据时，需要注意以下几点： 1. 每个线程需要创建独立的数据库连接对象，避免多个线程共用同一个连接对象导致数据混乱或者死锁等问题。 2. 在插入数据时，需要使用 sqlite3 的锁机制，以确保多个线程不会同时插入数据导致数据冲突。 下面是一个简单的示例代码，演示如何在多线程环境下插入数据到 sqlite3 数据库中： ```python import sqlite3 import threading # 定义插入数据的函数 def insert_data(thread_id): conn = sqlite3.connect('test.db') cursor = conn.cursor() cursor.execute("INSERT INTO test_table(name, age) VALUES (?, ?)", ('test', thread_id)) conn.commit() conn.close() # 创建多个线程插入数据 threads = [] for i in range(10): t = threading.Thread(target=insert_data, args=(i,)) threads.append(t) # 启动所有线程 for t in threads: t.start() # 等待所有线程结束 for t in threads: t.join() ``` 在上面的代码中，我们创建了 10 个线程，每个线程都会插入一条数据到 test_table 表中。注意，在插入数据时，我们使用了 sqlite3 的连接对象和游标对象，以及 commit() 方法来确保数据插入成功。同时，我们还使用了线程锁来避免多个线程同时插入数据导致数据冲突。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

敲代码敲到头发茂密

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值