多进程和数据传递

最新推荐文章于 2023-08-03 13:33:52 发布
最新推荐文章于 2023-08-03 13:33:52 发布
阅读量990 收藏
点赞数
分类专栏： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wait_for_eva/article/details/78106322
版权

python不仅线程用的是系统原生线程，进程也是用的原生进程

进程的用法和线程大同小异

import multiprocessing

p = multiprocessing.Process(target=fun,args=())

线程的基本方法在进程中都能够使用


但是进程和线程中有一个明显的区别：可以实现多核的运用

python本身会启动一个主进程，并且拥有一个主线程

把主进程看做一家之主，那主线程也是他本身，其他线程就相当于老婆们

而进程，长大了的儿子们

线程固然是不能分割的，一家人还是要团结

但是儿子自家的事务，老子却也不能插手

所以，一家只能占用一个CPU实现单核运用的话，生多个儿子那必然就实现了多核运用


GIL锁住的，只是一个进程，让一家人团结

但是一个进程只有这么一把全量锁，线程不能单独跑，那就打包一起跑

多进程就这样完成了一般语言中多线程的优化


数据传递

多线程，多进程中总有要协同的工作，都涉及数据的交互，不过交互方式有些不同

信息进行传递的时候，为了不阻塞执行一般会将数据放入对列当中而不是直接返回


线程中，由于都属于同一个进程，定义一个全局的队列在各线程中就能够压入数据


进程可能运行在不同的CPU上，因此，相互间的传递不能在全局定义，只能通过创建时进行传入

内部操作：传入的队列实际上并不是将引用传入，然后直接操作队列，这毕竟是不同的CPU上的工作

队列的传入实际上是队列拷贝的传入，通过pickle拷贝后进行传入，然后再pickle将数据传回

import multiprocessing

multiprocessing.Queue()
线程和进程都有不同的队列对象，以实现不同的数据交互，不能错位使用




wait_for_eva
关注
专栏目录
28 多进程之数据交换Pipe
Jian Sun_的博客
08-02 336
我们在类Unix系统中经常使用管道（Pipe）命令来让一条命令的输出（STDOUT）作为一条命令的输入（STDIN）获取最终的结果。在Python多进程编程中也有一个Pipe方法可以帮助我们实现多进程之前的数据传输。我们可以将Unix系统中的一个命令比作一个进程，一个进程的输出可以作为另一个进程的输入，如下图： multiprocessing.Pipe()方法返回一个管道的两个端口，如Command1的STDOUT和Command2的STDIN， 这样Command1的输出就作为Command2的输.
android 进程间的数据传递
bencheng06的博客
04-17 2121
android进程间通信 - IPC 定义多进程 Android应用中使用多进程只有一个办法（用NDK的fork来做除外），就是在AndroidManifest.xml中声明组件时，用android:process属性来指定。进程的指定分为3种形式，分别是： 当用户不指定process属性，则默认运行在主进程中，主进程名字为包名。 android:process = “:remote” ...
多进程传值
u013754648的专栏
07-16 256
1.传输数据的进程不可被杀死.即android.os.Process.killProcess(android.os.Process.myPid());不可使用 2.通过StartActivityForResult,SetResult,OnResult来进程间相互传递数据 3.startActivityResult注意点: 调用startActivityForResult后，onActivit...
多进程之间的数据传输 Pipe
weixin_30340775的博客
01-13 128
#注意：接收端口要close一下。 from multiprocessing import Process,Pipe def fun(conn): print(conn.recv()) conn.send([43,None,'hello father']) conn.close() if __name__ == '__main__': ...
多进程分析数据
weixin_42544006的博客
05-24 199
数据库中有一堆新闻数据 还有一个表示新闻列表页 分析每个列表页是否可访问, 是否抓到数据, 抓过来数据的最大时间, 列表页抓过来数据的个数 列表页数据格式 id url isconnect status -xihTZ8tXJ http://www.zmdsti.net/e/action/ListInfo/?classid=5 1 200 -XKm...
多进程数据共享
willow_LI的博客
11-06 734
多进程之间的数据共享 不用进程池的多进程的数据共享 from multiprocessing import Process,Queue queue = Queue() def func(a,q): re = f'我是子进程{a}：我放入data{a}' q.put(re) if __name__ == '__main__': ls = [] for i in range(10): p = Process(target=func,args=(i,queue))
Python 多进程和数据传递的理解
09-21
以下是一个简单的多进程数据传递示例： ```python import multiprocessing def worker(q): while True: data = q.get() if data is None: break print(f'Worker received: {data}') # 处理数据 if __name__...
C#中使用SendMessage在进程间传递数据的实例
12-28
在C#中，`SendMessage`通常用于简单的数据传递，如整数或字符串。例如，如果你想发送一个整数值，可以这样使用： ```csharp const uint WM_USER = 0x400; int value = 123; SendMessage(hWnd, WM_USER, IntPtr.Zero...
行业分类-设备装置-一种实现进程间数据传递的方法及系统.zip
08-29
"一种实现进程间数据传递的方法及系统"可能详细阐述了针对特定工业环境设计的一种创新的IPC解决方案，涵盖了数据安全、效率、实时性等多个方面。该系统可能采用了混合型的IPC策略，优化了不同进程间的协作，确保在...
8、多进程之间的通信
qq_15060477的博客
11-30 1064
如果q为空，此方法将阻塞，直到队列中有项目可用为止。block用于控制阻塞行为，默认为True. 如果设置为False，将引发Queue.Empty异常（定义在Queue模块中）。此函数的结果并不可靠，因为在返回结果和在稍后程序中使用结果之间，队列中可能添加或删除了项目。q.full() ：如果q已满，返回为True. 由于线程的存在，结果也可能是不可靠的（参考q.empty()方法）。就比如，进程1所得到的结果，要在进程2、3、4等进程当中用，此时，可以通过Queue，让其他进程来获得进程1中的结果。
Python实现多进程共享数据的方法分析
12-23
本文实例讲述了Python实现多进程共享数据的方法。分享给大家供大家参考，具体如下： 示例一： # -*- coding:utf-8 -*- from multiprocessing import Process, Manager import time import random def kkk(a_list, number): for i in range(10): a_list.append(i) time.sleep(random.randrange(2)) print('这是进程{} {}'.format(number, a_list)) print
python 多进程数据交互及共享
weixin_34406086的博客
10-18 468
多线程和多进程最大的不同在于，多进程中，同一个变量，各自有一份拷贝存在于每个进程中，互不影响，而多线程中，所有变量都由所有线程共享，所以，任何一个变量都可以被任何一个线程修改，因此，线程之间共享数据最大的危险在于多个线程同时改一个变量，把内容给改乱了。 不同进程之间内存是不共享的，要实现两个进程间的数据交换，可以用以下方法： queues 使用方法和threading里面的queue差不多 ...
Python多进程间数据交互教程
最新发布
sinat_35773915的博客
08-03 495
在Python中，多进程是一种并行处理的方法，可以提高程序的运行效率。然而，多个进程之间的数据交互是一个常见的问题。本教程将介绍如何在Python中实现多进程间的数据交互。
【python3】 多进程数据交互（queue队列）
jn10010537的博客
05-08 1131
一个稍微大一点的业务逻辑，可能就需要多进程去做，比如同时跑几次进程的算法，算法之间有数据交互。 很多业务下是：Master-Worker模式：Master负责分配任务，Worker负责执行任务，因此，多任务环境下，通常是一个Master，多个Worker。如果用多进程实现Master-Worker，主进程就是Master，其他进程就是Worker。 多进程模式稳定性高，因为一个子进程崩溃了，不会影响主进程和其他子进程。进程有独立的地址空间，相互之间的通信，就需要一个公共的内存空间以实现共享，来达到通信.
多个应用相互传值
public_calss的专栏
08-13 608
有两个app,分别叫做App1和App2。 App1包含两个Activity,分别叫做App1_A和App1_B.其中App1_A是入口Activity. 也就是App1_A设置intent-filter,action为 App2只有一个Activity，叫做App2_A。 现在在App2_A中通过startActivity启动App1_A是没问题的.但是启动App1_B的时候报了fc错误
进程间传递数据
wanhjun的专栏
02-19 997
Android提供的进程间传递数据的接口，就是传递的数据类型一定是要实现Parcelable接口的，我们定义了一个GnssInfo对象，准备在进程间传递这个对象，也将GnssInfo继承了Parcelable接口，在测试进程间传递数据的时候，结果发生了奔溃，在网上搜索报出的异常，以为是线程不同步的问题，为了这个问题，折腾了好久，后来才猜测是进程间传递数据的问题，经过测试，发现是因为Gnss...
多进程参数传递技术探讨
每天吃早饭
09-07 2256
探讨多进程参数传递技术 所谓多进程参数传递过程，实际上是在程序的多次重复运行时，为保证内存中的进程唯一性又不丢失后来启动时传递的命令行参数，并把此命令行参数传递给已经运行进程的过程。而这次可能会激活已运行进程中某个处理事件或线程。这主要涉及到程序的重复运行检测、进程间通信、远程进程激活以及可能的多线程技术。最初需要这种技术的场合就是像NetAnts的IE右键菜单启动。使用这种技术可
python多进程--交互
weixin_34114823的博客
07-11 275
1.管道使用 ''' 管道Pipe ''' from multiprocessing import Process,Pipe def f(conn): conn.send('child message')#给主进程发送消息 conn.close() if __name__=='__main__': parent_conn,child_conn=Pipe() p=P...
多进程与多线程参数传递：并发服务器的实践与问题
本文档主要讨论了在多进程和多线程程序开发中，如何有效地传递参数的问题。由于线程创建函数的限制，无法直接传递多个参数，通常会通过结构体来封装这些数据。作者以C语言为例，提供了一个使用结构体ARG作为参数的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值