python案例单进程与多进程，传参

已于 2024-01-16 21:00:45 修改
阅读量568 收藏 8
点赞数 6
分类专栏： python 案例 文章标签： python 开发语言
于 2024-01-15 20:36:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jolinoy/article/details/135610419
版权

目录

1.单进程

2.多进程

3、多进程传参

4、多进程变量共享

 5、进程通信队列

6、进程通信字典

7、进程通讯列表

8、多个子进程

9、进程池

10、进程池map

11、多进程爬取肯德基门店信息

1.单进程

import time

def run1():
    print('我是run函数')
    # 当前代码阻塞在这了  卡在这了
    time.sleep(1000)

def run2():
    print('我是run函数')
    # 当前代码阻塞在这了  卡在这了
    time.sleep(1000)
run1()
run2()
print('我是下面的代码')

2.多进程

import time
from multiprocessing import Process

def run1():
    for i in range(500):
        print('我是run1函数')
        # 当前代码阻塞在这了  卡在这了
        time.sleep(1)

def run2():
    for i in range(500):
        print('我是run2函数')
        # 当前代码阻塞在这了  卡在这了
        time.sleep(1)

if __name__ == '__main__':
    t1 = time.time()
    p1 = Process(target=run1)  # 创建子进程p1
    p2 = Process(target=run2)  # 创建子进程p2
    p1.start()  # 开启p1子进程
    p2.start()  # 开启p2子进程
    p1.join()  # 阻塞等待 p1子进程执行完  主进程在等待子进程干活啊
    p2.join()  # 阻塞等待 p2 子进程执行完
    print('主进程')
    time.sleep(1000)
    print('我是下面的代码')
    print(time.time() - t1)

3、多进程传参

from multiprocessing import Process

# def run1(num, name):
def run1(num, name='lucky'):
    for i in range(num):
        print(f'我是{name}函数')
        # 当前代码阻塞在这了  卡在这了

if __name__ == '__main__':
    # 元祖的效率高于列表
    # 注意 传递参数args如果为一个值  则需给逗号,1为run1执行的次数
    Process(target=run1, args=(1,)).start()
    # Process(target=run1, args=[1]).start()
    # Process(target=run1, args=(1, )).start()
    # Process(target=run1, args=(1, 'lucky')).start()
    
    # 如果传递参数args为一个值，且没加逗号，将报下面错误
    # TypeError: 'int' object is not iterable

    # for i in 1:
    #     pass
    # TypeError: 'int' object is not iterable

4、多进程变量共享

"""
num = 1
def run1():
    # 声明num为全局变量
    global num
    num = 2  # 更改全局变量num的值为2
    print('我是run1函数', num)

run1()
print(num)
# 输出：我是run1函数 2
# 2
"""

List = []
def run1():
    List.append('luckyboy')
    print('我是run1函数', List)

run1()
print(List)
# 输出：我是run1函数 ['luckyboy']
# ['luckyboy']
from multiprocessing import Process

num = 1
def run1():
    # 声明num为全局变量
    global num
    num = 2  # 更改全局变量num的值为2
    print('我是run1函数', num)


if __name__ == '__main__':
    Process(target=run1).start()
    print('over')
    print(num)  # 1  进程间是独立的  每个进程有自己的独立存储

 5、进程通信队列

from multiprocessing import Process, Queue

def run(que):
    # 将数据放进队列中
    print('子进程放数据')
    que.put(1)
    que.put(2)
    que.put(3)

if __name__ == '__main__':
    # 创建队列对象
    que = Queue()
    # 这里传参args的参数que给run
    p = Process(target=run, args=(que, ))
    p.start()
    p.join()
    print('主进程获取数据', que.get())
    print('主进程获取数据', que.get())
    print('主进程获取数据', que.get())
    # 如果队列中没有数据了  会阻塞等待
    # print('主进程获取数据', que.get())
    # 如果在timeout时间内 还没有数据 跑出异常
    # print('主进程获取数据', que.get(timeout=3))
    
# 输出：子进程放数据
# 主进程获取数据 1
# 主进程获取数据 2
# 主进程获取数据 3

6、进程通信字典

from multiprocessing import Process, Queue, Manager

def run(Dict):
    # 将数据放进队列中
    print('子进程放数据')
    Dict['name'] = 'luckyboy'
    Dict['age'] = '18'

if __name__ == '__main__':
    # 创建队列对象
    Dict = Manager().dict()
    p = Process(target=run, args=(Dict, ))
    p.start()
    p.join()
    print('主进程获取数据', Dict)
# 输出：子进程放数据
# 主进程获取数据 {'name': 'luckyboy', 'age': '18'}

7、进程通讯列表

from multiprocessing import Process, Manager

def run(List):
    # 将数据放进队列中
    print('子进程放数据')
    List.append('luckyboy')
    List.append(18)

if __name__ == '__main__':
    # 创建队列对象
    List = Manager().list()
    p = Process(target=run, args=(List, ))
    p.start()
    p.join()
    print('主进程获取数据', List)
# 输出：子进程放数据
# 主进程获取数据 ['luckyboy', 18]

8、多个子进程

import time
from multiprocessing import Process

def get_data(url):
    # 请求爬取数据
    # requests.get(url)
    # print(new_url)
    print(url)
    time.sleep(1)

if __name__ == '__main__':
    # 爬取10页数据
    url = 'http://www.baidu.com?page='
    start = time.time()
    # print('开始时间:' , start)
    for i in range(10):
        new_url = url + str(i)
        Process(target=get_data, args=(new_url,)).start()
# 输出：http://www.baidu.com?page=0
# http://www.baidu.com?page=1
# http://www.baidu.com?page=2
# http://www.baidu.com?page=3
# http://www.baidu.com?page=4
# http://www.baidu.com?page=5
# http://www.baidu.com?page=6
# http://www.baidu.com?page=7
# http://www.baidu.com?page=8
# http://www.baidu.com?page=9

9、进程池

import time
from multiprocessing import Pool, cpu_count

def get_data(url):
    # 请求爬取数据
    # requests.get(url)
    # print(new_url)
    print('子进程开始', url)
    time.sleep(10)
    print('子进程结束', url)

if __name__ == '__main__':
    # 爬取10页数据
    # 注意
    # 自己练习抓取数据的时候 别给好几个进程  容易给网站跑死
    url = 'http://www.baidu.com?page='
    # pool = Pool()  # 传参 开启几个进程  默认开启核心数个cpu
    pool = Pool(2)  # 传参2 开启2个进程  默认开启核心数个cpu
    for i in range(6):
        url = 'http://www.baidu.com?page='+str(i)
        # 任务添加到进程池
        pool.apply_async(get_data, args=(url, ))
    pool.close()  # 关闭池子 不在放进程了
    pool.join()  # 阻塞等待
    print('主进程结束')
    print(cpu_count()) # 打印电脑的核心数
# 输出：
# 子进程开始 http://www.baidu.com?page=0
# 子进程开始 http://www.baidu.com?page=1
# 子进程结束 http://www.baidu.com?page=0
# 子进程开始 http://www.baidu.com?page=2
# 子进程结束 http://www.baidu.com?page=1
# 子进程开始 http://www.baidu.com?page=3
# 子进程结束 http://www.baidu.com?page=2
# 子进程开始 http://www.baidu.com?page=4
# 子进程结束 http://www.baidu.com?page=3
# 子进程开始 http://www.baidu.com?page=5
# 子进程结束 http://www.baidu.com?page=4
# 子进程结束 http://www.baidu.com?page=5
# 主进程结束
# 4

10、进程池map

import time
from multiprocessing import Pool, cpu_count

def get_data(url):
    # 请求爬取数据
    # requests.get(url)
    # print(new_url)
    print('子进程开始', url)
    time.sleep(10)
    print('子进程结束', url)

if __name__ == '__main__':
    # 爬取10页数据
    # 注意
    # 自己练习抓取数据的时候 别给好几个进程  容易给网站跑死
    url = 'http://www.baidu.com?page='
    # pool = Pool()  # 传参 开启几个进程  默认开启核心数个cpu
    pool = Pool(3)  # 传参 开启几个进程  默认开启核心数个cpu
    url_list = []
    for i in range(5):
        url = 'http://www.baidu.com?page='+str(i)
        url_list.append(url)
    pool.map(get_data, url_list)

# 输出：
# 子进程开始 http://www.baidu.com?page=0
# 子进程开始 http://www.baidu.com?page=1
# 子进程开始 http://www.baidu.com?page=2
# 子进程结束 http://www.baidu.com?page=0
# 子进程开始 http://www.baidu.com?page=3
# 子进程结束 http://www.baidu.com?page=1
# 子进程开始 http://www.baidu.com?page=4
# 子进程结束 http://www.baidu.com?page=2
# 子进程结束 http://www.baidu.com?page=3
# 子进程结束 http://www.baidu.com?page=4

11、多进程爬取肯德基门店信息

import urllib.request
import urllib.parse
import json
from  multiprocessing import Process

def kfc(num):
    # 拿到地址
    url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'
    headers = {
        'User-Agent':' Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Safari/537.36'
    }
    print(f'第{num}页数据')
    # 获取到当前浏览器请求所携带的表单数据
    formData = {
        'cname': '',
        'pid': '',
        'keyword': '北京',
        'pageIndex': num,
        'pageSize': 10,
    }
    # 对表单数据进行转码
    formData = urllib.parse.urlencode(formData).encode('UTF-8')
    # 发送post请求
    request = urllib.request.Request(url, data=formData, headers=headers)
    response = urllib.request.urlopen(request)
    # 返回json数据 转换成字典
    data = json.loads(response.read().decode('UTF-8'))
    # print(data['Table1'])
    for l in data['Table1']:
        print(l)

if __name__ == '__main__':
    for i in  range(1, 10):
        Process(target=kfc, args=(i,)).start()

longfei815
关注
  • 6
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python多任务进程-multiprocessing
weixin_45905671的博客
04-07 175
Python多任务管理 进程:正在执行的程序 代码 + 用到的资源 程序：没有执行 静态 进程的状态 启动 调度 结束 新建---->就绪---->运行---->死亡 满足条件 等待条件 等待 使用进程实现多任务 multiprocessing 模块就是跨平台的多进程模块 提供了一个Process类来代表一个进程对象 这个对象 可以理解为是一个独立...
Python 中的多进程（进程之间的通信）
a883774913的博客
06-20 4395
这篇文章将会讲解在 Python 中使用**多进程**模块时在进程之间共享数据和消息传递的概念。其中会讲到 共享内存、服务器进程、队列、以及管道相关的知识
Python 多进程pool.map()方法的使用
菜鸡小白的成长记录
08-05 3万+
在python中，只有多进程才可以充分利用CPU的资源，适合CPU计算型任务，其他的就不多说了。这里介绍一个 pool.map（）方法，很实用！ pool.map() 先直接上代码： import time from multiprocessing.pool import Pool def numsCheng(i): return i * 2 if __name__ == '__main__': time1 = time.time() nums_list = [1, 2, 3,
Python 进程 多进程传参
一碗烈酒的博客
09-08 1541
import time import os from multiprocessing import Process def demo_one(num): print("start" + str(num)) time.sleep(1) print(os.getpid(), os.getppid(), num) # 子进程和父进程的pid print("end" + str(num)) if __name__ == '__main__': p_list = [.
python多进程传递参数,python多进程数据传递
weixin_35621884的博客
03-26 930
python multiprocessing多进程数据传递使用列队太多bug了，有限制，可以使用multiprocessing.Manager()来传递数据可以解决queues列队的阻塞问题import multiprocessingdef fun(q,number,lst):arr = []for i in lst:arr.append(i)for i in range(2):q.append(...
python多线程与多进程及其区别
01-27
本文通过一些具体的例子简单介绍一下python的多线程和多进程，后续会写一些进程通信和线程通信的一些文章。 python中提供两个标准库thread和threading用于对线程的支持，python3中已放弃对前者的支持，后者是一种更...
Python并发：多线程与多进程
02-24
进程与多进程3.多线程并发下载图片4.多进程并发提高数字运算在计算机编程领域，并发编程是一个很常见的名词和功能了，其实并发这个理念，最初是源于铁路和电报的早期工作。比如在同一个铁路系统上如何安排多列火车，...
Python multiprocessing多进程原理与应用示例
09-19
主要介绍了Python multiprocessing多进程原理与应用,结合实例形式详细分析了基于multiprocessing包的多进程概念、原理及相关使用操作技巧,需要的朋友可以参考下
Python多进程原理与用法分析
09-20
主要介绍了Python多进程原理与用法,结合实例形式分析了Python多进程原理、开启使用进程、进程队列、进程池等相关概念与使用方法,需要的朋友可以参考下
python多进程传递参数,Python多进程-进程间数据的传递
weixin_29843603的博客
03-26 2632
两个进程间的数据是独立的，要进行数据传递的话可通过几个方法Queue通过队列来进行进程间数据的传递# -*- coding:utf-8 -*-__author__ = "MuT6 Sch01aR"from multiprocessing import Process, Queuedef Child_Process(n):n.put("Data From Child Process")if __na...
python多进程传参数
zc160513127的博客
12-11 774
转载！转载！转载！ https://blog.csdn.net/sinat_29214327/article/details/80686992 我自己踩的坑，python使用多进程通讯的时候，需要注意，用消息队列方式通讯时， from multiprocessing import Process,Queue，这句是必要的，使用python自带的Queue模块； from queue import Queue,这用多进程的时候会报错，消息队列作为参数无法传进进程中。 ...
python多进程中传递变量
Pcject的博客
03-29 4533
一句话，多进程传递的不是内存中的地址（浅拷贝），而是特码的整个对象（深拷贝），如果想操作同一对象还是使用队列或者其他的多进程共享变量的方法吧 遇到这个问题是对excel文件使用openpyxl写入的时候，希望能实现异步写入，使用协程发现没效果，初步估计应该是openpyxl的写入过程其实是cpu从内存中依次取了然后写入磁盘，并不是像网络请求那样，一个请求发出去cpu基本就不干活了，就处于接收响应...
Python中的多进程创建和传值（克隆）Queue方法
dreamingcrazy的博客
08-18 2148
今日怼人金句“OMG，你何时有这样高尚的想法了”（一般怼和你谈道德、良心的人） 先说什么是进程，进程按照笔者的理解就是空间+任务不对记得指正笔者，比如有一个公司（进程）里有员工在做不同的事（线程）。 好啦概念了，我们先说要用的包multiprocessing，记得要和线程的threading进行区分，笔者认为（可能也是笔者接触的比较浅 的缘故） 先来基本使用 简单的进程 im...
python多进程传递参数_Python进程，多进程，获取进程id，给子进程传递参数操作示例...
weixin_29649047的博客
02-20 612
本文实例讲述了Python进程，多进程，获取进程id，给子进程传递参数操作。分享给大家供大家参考，具体如下：线程与线程之间共享全局变量，进程之间不能共享全局变量。进程与进程相互独立 (可以通过socket套接字实现进程间通信，可以通过硬盘(文件)实现进程通信，也可以通过队列(Queue)实现进程通信)子进程会拷贝复制主进程中的所有资源(变量、函数定义等)，所以子进程比子线程耗费资源。demo.py...
【python 多进程传参】pool.map() 函数传多参数
赖德发的博客
09-02 5万+
一、背景介绍 相信很多人都用过，pool.map()函数，这个函数，有两个参数可以传，第一个参数传的是函数，第二个参数传的是数据列表。 那么怎么在第二个数据列表，多传几个参数呢，方法是通过对有多个参数的方法进行封装，在进程中运行封装后的方法。 类似如下调用job1()方法： # -*- coding:utf-8 -*- import time import multiprocessing d...
Python：多进程运行含有任意个参数的函数
地理信息系统、摄影测量与遥感、人工智能
12-01 2万+
目录 1. 问题引出 2. 解决方案 2.1 使用偏函数（partial） 2.2使用可变参数 2.3 使用pathos提供的多进程库 2.4 使用starmap函数 3. 总结 1. 问题引出 许多时候，我们对程序的速度都是有要求的，速度自然是越快越好。对于Python的话，一般都是使用multiprocessing这个库来实现程序的多进程化，例如： 我们有一个函............
Python 多进程 multiprocessing.Pool类详解
热门推荐
另一个自己
11-04 15万+
multiprocessing模块multiprocessing包是Python中的多进程管理包。它与 threading.Thread类似，可以利用multiprocessing.Process对象来创建一个进程。该进程可以允许放在Python程序内部编写的函数中。该Proces
from multiprocessing import Process
最新发布
06-02
`from multiprocessing import Process` 是 Python 中的一种导入方式，表示从 multiprocessing 模块中导入 Process 类。Process 类是 multiprocessing 模块中的一个重要类，用于创建新的进程并启动它们。通过使用 Process 类，可以方便地在 Python 中实现多进程编程，从而充分利用计算机的多核处理能力，提高程序的运行效率。例如，可以通过继承 Process 类并实现它的 run() 方法来创建一个新的进程，然后调用该进程的 start() 方法来启动进程。在 Python 中，使用 from multiprocessing import Process 这种导入方式可以直接使用 Process 类，避免了使用 multiprocessing.Process 这种完整的模块名的麻烦，使得代码更加简洁和易于理解。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值