Python多进程与随机函数

最新推荐文章于 2023-03-10 10:24:01 发布
最新推荐文章于 2023-03-10 10:24:01 发布
阅读量1.4k 收藏
点赞数 1
分类专栏： Python学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Xianyu_Wang/article/details/102676086
版权
本文探讨了Python在Windows和Linux平台上实现多进程的差异，指出Linux使用Fork，而Windows依赖multiprocessing模块。在多进程中使用Random函数时，由于进程间随机数生成器的状态共享，可能导致同一随机序列的产生。因此，建议在每个进程开始时通过Random.seed()初始化随机数生成器以确保独立的随机序列。
摘要由CSDN通过智能技术生成

不同平台上的多进程(Windows和Linux)

廖雪峰关于Python的多进程在不同平台上的实现：链接

  • 要点：
    • Linux通过Fork实现多进程，Windows通过multiprocessing实现多进程
    • 由于Windows通过调用上述模块实现多进程，所以要通过if name == “main“:将其保护起来，否则将递归创建进程

在多进程中的Random函数

由于在Unix上每一个工作进程都继承了来自父进程的随机数产生器，因而在每一进程里会产生同一个随机数。
因而，在每个进程使用Random前，需要初始化随机数产生器 — 使用Random.seed()

What happens is that on Unix every worker process inherits the same state of the random number generator from the parent process. This is why they generate identical pseudo-random sequences.




                

        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    


                



	

		

			

				
					
python numpy生成随机数_在Python中使用numpy生成随机数对每个时代都是一样的,pytorch,epoch...

				
			

			

				

					weixin_33657316的博客
				

				

					01-14
					
					262
					
				

			

		

		

			
				
pytorch中使用numpy生成随机数每个epoch都一样问题最近在使用pytorch做实验的过程中发现，在dataset里面使用numpy生成随机数，每个epoch生成的随机数是一样的。代码import numpy as npimport torchfrom torch.utils.data import Datasetfrom torch.utils.data import DataLoad...

			
		

	



                

            
              



	

		

			

				
					
python多进程和多线程一起使用_Python干货：多进程与多线程！

				
			

			

				

					weixin_30325929的博客
				

				

					01-29
					
					2831
					
				

			

		

		

			
				
今天我们来聊聊Python里面的多进程与多线程编程模式。01 多线程工作在开始讲今天的正文之前，先给大家介绍一个概念「多线程工作」，这个概念可能有的人听过，也可能有的人平常工作中就是这么做的。我再来给大家讲讲这个概念，所谓的「多线程工作」就是同时做好几件事情。拿我个人工作中例子来说，当我用Sql跑数的时候，数据不可能一下子就导出来，我会在一个屏幕上显示Sql运行进度，在另一个屏幕上先做一会PPT，...

			
		

	



              


  
              

                


	

		

			

				
					
python 多进程代码编写

				
			

			

				

					weixin_44087001的博客
				

				

					12-02
					
					301
					
				

			

		

		

			
				
python多进程代码编写

			
		

	





	

		

			

				
					
python多线程和多进程详解_python  多线程和多进程

				
			

			

				

					weixin_39645306的博客
				

				

					12-01
					
					73
					
				

			

		

		

			
				
官方文档：multiprocessing is a package that supports spawning processes using an API similar to the threading module. The multiprocessing package offers both local and remote concurrency, effectively side-...

			
		

	



		

			
		



	

		

			

				
					
多线程取随机数方法

				
			

			

				

					weixin_43950684的博客
				

				

					11-29
					
					1823
					
				

			

		

		

			
				
背景
&embp;



			
		

	





	

		

			

				
					
linux随机数 多线程,用线程安全随机数解决Random在多线程中随机性重复的问题

				
			

			

				

					weixin_35241867的博客
				

				

					05-09
					
					242
					
				

			

		

		

			
				
在.NET中，随机数一般是用Random来获取，但是当在多任务的并行化编程时，问题就出现了。因为Random是基于时间作为种子来生成伪随机数的，而如果程序在多核并行时，在同一时间内的多个核中取到的时间是一样的，这样一来，生成的伪随机数就有可能会有一样的。如果业务需求中需要不可重复的随机数，那么这后果将会相当严重，所以必须采取一种新的方式来获取线程安全的伪随机数。下面是摘自《.NET Paralle...

			
		

	





	

		

			

				
					
Python基于进程池实现多进程过程解析

				
			

			

				

					09-16
				

			

		

		

			
				
 在Python中，主函数与多进程间的数据交换通常通过参数传递。由于每个进程都有自己的内存空间，因此直接在主函数中定义的数据在子进程中无法访问。如果需要共享数据，可以考虑使用全局变量，但需要注意的是，全局...

			
		

	





	

		

			

				
					
python多进程读写文件_python多进程文件操作的一些理解

				
			

			

				

					weixin_31077125的博客
				

				

					12-29
					
					3271
					
				

			

		

		

			
				
如果多进程都对同一个文件进行写入，那么就会出现多个进程争夺资源的问题。会使写入的文件内容错乱。1. 写入文件: 同一时间，只能有一个进程，对文件进行写入操作。这是操作系统的设定2. 多进程写入文件: 由操作系统随机决定哪个进程来写入操作。因为这种决策是随机，完全无序的。所以写入文件时，会造成文件顺序的错乱。一个进程执行多长时间是由操作系统决定的。而且程序的执行单元是原子型的，也就是说一行汇编代码才...

			
		

	





	

		

			

				
					
python多进程读同一个文件_python 多进程读写文件

				
			

			

				

					weixin_39789525的博客
				

				

					12-08
					
					4220
					
				

			

		

		

			
				
import timefrom multiprocessing import Process, JoinableQueue, cpu_countimport csv####处理一条数据的方法def deal_line(line, writer, csv_file):writer.writerow((line[3], line[1]))csv_file.flush()#重点,在多进程中写文件需要尽快...

			
		

	





	

		

			

				
					
random在多进程下的奇怪表现

				
			

			

				

					Arthur的随笔
				

				

					08-27
					
					1198
					
				

			

		

		

			
				
tornado源码process.py fork_process函数功能是根据cpu数等来启动多个进程, 使用得是os.fork, 但在子进程里，真正执行端口监听前调用了一个奇怪得函数_reseed_random，该函数实现如下：
def _reseed_random():
    if 'random' not in sys.modules:
        return
    import

			
		

	





	

		

			

				
					
python之random函数

				
			

			

				

					weixin_30299539的博客
				

				

					07-29
					
					825
					
				

			

		

		

			
				
# random各种使用方法
import random

# 随机生成[0.1)的浮点数
print("random():", random.random())

# 随机生成1000-9999之间的整数
print("randint(1000, 9999):", random.randint(1000, 9999))

# 随机生成0-20之间的偶数
print("ra...

			
		

	





	

		

			

				
					
Python, NumPy, Pytorch中的多进程中 每个进程的随机化种子 误区

				
			

			

				

					xiaojiajia007的博客
				

				

					05-14
					
					2885
					
				

			

		

		

			
				
python中多进程种子seed
python自带的random在不同子进程中会生成不同的种子，而numpy.random不同子进程会fork相同的主进程中的种子。pytorch中的Dataloader类的__getitem__()会在不同子进程中发生不同的torch.seed()，并且种子与多进程的worker id有关（查看**worker_init_fn参数说明）。但是三者互不影响，必须独立...

			
		

	





	

		

			

				
					
Python多进程详解

				
			

			

				

					ifhuke的博客
				

				

					03-10
					
					6286
					
				

			

		

		

			
				
Python多进程的详细教程

			
		

	





	

		

			

				
					
python中的multiprocessing真的是多进程运行？

					
热门推荐

				
			

			

				

					Jack Cheung
				

				

					04-25
					
					1万+
					
				

			

		

		

			
				
问题


  近日来在着手python的多进程训练数据的时候，出现了一个问题。在1台有着8核64G内存的机器，开启8个进程，结果是各进程各占用一个CPU且每个CPU的占用量都可达到100%。而为了加快速度，在一台15核24G内存的机器，开启10个进程，结果发现只有一个进程的占用了CPU，且CPU利用率达到100%，而看不到其它9个进程！WHY！！！


 
 
 
跑满CPU的机器

 
 
 
...

			
		

	





	

		

			

				
					
用srand, rand产生的随机数有隐患------还是用利用linux的/dev/urandom文件产生随机数吧

				
			

			

				

					认知  行动  坚持
				

				

					06-29
					
					9807
					
				

			

		

		

			
				
我们知道， rand是伪随机的， 每次都会产生相同的序列（因为种子相同），  而srand可以产生种子， 我们经常用srand(time(NULL))来产生种子， 当种子随着时间变化时， 就会产生不同的序列， 然而这就够了吗？
        今天碰到这样一个问题： 在很短时间（比如1s）内， 需要产生较好的随机数， 此时用srand(time(NULL))是失效的， 因为ime(NULL)的值

			
		

	





	

		

			

				
					
多线程获取随机数性能对比（C vs C++）

				
			

			

				

					alw2009的博客
				

				

					04-22
					
					1342
					
				

			

		

		

			
				
测试结论：C 完胜 C++测试代码：#include <iostream>
#include <random>
#include <functional>
#include <chrono>
#include <thread>
#include <cstdlib>
#include <ctime>
using na

			
		

	





	

		

			

				
					
一定范围内取几个不重复的随机数方法(php)

				
			

			

				

					wml
				

				

					06-28
					
					6081
					
				

			

		

		

			
				
方法一：<?php
//range 是将1到42 列成一个数组$numbers = range (1,42);//shuffle 将数组顺序随即打乱shuffle ($numbers);//array_slice 取该数组中的某一段 $result = array_slice($numbers,0,3); print_r($result);
 ?>方法二：<?php $numbers = range

			
		

	





	

		

			

				
					
python多进程for循环

					
最新发布

				
			

			

				

					08-02
				

			

		

		

			
				
在Python中，可以使用多进程来执行for循环中的任务。引用[1]中的代码展示了一个使用多进程执行任务的示例。首先，需要导入必要的模块，包括time、random和multiprocessing。然后，定义一个任务函数task，该函数接受三个参数arg、i和string_。在任务函数中，首先生成一个0到1之间的随机值value，然后通过sleep函数阻塞一小段时间。接下来，打印arg的总和，并输出一条消息表示任务完成。在主程序中，定义了一个进程池的大小pool_num和一个参数列表args_list。然后，使用列表推导式创建了多个进程对象，并将它们放入一个进程列表processes中。接着，使用start方法启动所有进程，并使用join方法等待所有进程完成。最后，输出一条消息表示所有任务已完成。

引用[2]中的代码展示了另一个使用多进程执行for循环的示例。首先，导入必要的模块，包括multiprocessing和os。然后，定义一个工作函数work，该函数接受一个参数num。在工作函数中，打印工作的编号和当前进程的名称和进程ID。在主程序中，创建一个进程列表jobs，并使用循环创建多个进程对象，并将它们放入进程列表中。然后，使用start方法启动所有进程，并使用join方法等待所有进程完成。最后，输出一条消息表示主进程结束。

综上所述，以上两个示例展示了如何使用多进程来执行for循环中的任务。你可以根据自己的需求选择适合的方法来实现多进程的并行执行。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值