Python之多进程与多线程

最新推荐文章于 2024-06-23 09:30:00 发布
最新推荐文章于 2024-06-23 09:30:00 发布
阅读量2.1k 收藏 41
点赞数 23
分类专栏： Python 文章标签： python 多线程 多进程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44864260/article/details/113729547
版权

多进程与多线程

进程与线程

想象在学校的一个机房，有固定数量的电脑，老师安排了一个爬虫任务让大家一起完成，每个学生使用一台电脑爬取部分数据，将数据放到一个公共数据库。共同资源就像公共数据库，进程就像每一个学生，每多一个学生，就多一个进程来完成这个任务，机房里的电脑数量就像CPU，所以进程数量是CPU决定的，线程就像学生用一台电脑开多个爬虫，爬虫数量由每台电脑的运行内存决定。
一个CPU可以有多个进程，一个进程有一个或多个线程。

多进程

1、导包
from multiprocessing import Process

2、写两个任务
也就是两个函数

3、创建一个进程
进程名字 = Process(target=函数名字，函数参数传字典或元组，是否守护进程)

4、启动进程
进程名字.start()

5、是否开启进程守护，一般主进程会等待子进程执行完毕后再关闭程序。当我们想程序主进程跑完，直接销毁掉未完成的子进程，关闭程序的话，加上一句代码 ：
1.创建进程的时候传参数daemon=True
2.进程名字.daemon=True

6、进程编号
导包os
获取当前进程编号
os.getpid()
获取当前父进程的编号
os.getppid()

代码示例（未开启进程守护）

from multiprocessing import Process
import time
import os

# 一个写作业函数
def homeWork(name, count):
    for i in range(count):
        # 打印当前进程编号os.getpid()
        print("当前进程编号:", os.getpid())

        # 打印当前父进程编号os.getppid()
        print("当前父进程编号:", os.getppid())

        print(name, "正在写作业...")
        time.sleep(0.2)
# 一个打游戏函数
def game(name, count):
    for i in range(count):
        # 打印当前进程编号os.getpid()
        print("当前进程编号:", os.getpid())

        # 打印当前父进程编号os.getppid()
        print("当前父进程编号:", os.getppid())

        print(name, "正在打游戏...")
        time.sleep(0.2)

if __name__ == '__main__':
    # 打印当前进程编号os.getpid()
    print("当前进程编号:", os.getpid())

    # 进程1写作业 元组传参
    p1 = Process(target=homeWork, args=("进程1", 10))
    # 进程2打游戏 字典传参
    p2 = Process(target=game, kwargs={"name": "进程2", "count": 10})

    # 启动进程
    p1.start()
    p2.start()
    time.sleep(1)
    print("主进程结束---------------------------------------------")

未开启线程守护的运行结果：

 # 可以看到主进程结束的，其子进程还在继续
当前进程编号: 14972
当前进程编号: 5732
当前父进程编号: 14972
进程1 正在写作业...
当前进程编号: 14752
当前父进程编号: 14972
进程2 正在打游戏...
当前进程编号: 5732
当前父进程编号: 14972
进程1 正在写作业...
当前进程编号: 14752
当前父进程编号: 14972
进程2 正在打游戏...
当前进程编号: 5732
当前父进程编号: 14972
进程1 正在写作业...
当前进程编号: 14752
当前父进程编号: 14972
进程2 正在打游戏...
当前进程编号: 5732
当前父进程编号: 14972
进程1 正在写作业...
当前进程编号: 14752
当前父进程编号: 14972
进程2 正在打游戏...
主进程结束---------------------------------------------
当前进程编号: 5732
当前父进程编号: 14972
进程1 正在写作业...
当前进程编号: 14752
当前父进程编号: 14972
进程2 正在打游戏...
当前进程编号: 5732
当前父进程编号: 14972
进程1 正在写作业...
当前进程编号: 14752
当前父进程编号: 14972
进程2 正在打游戏...
当前进程编号: 5732
当前父进程编号: 14972
进程1 正在写作业...
当前进程编号: 14752
当前父进程编号: 14972
进程2 正在打游戏...
当前进程编号: 5732
当前父进程编号: 14972
进程1 正在写作业...
当前进程编号: 14752
当前父进程编号: 14972
进程2 正在打游戏...
当前进程编号: 5732
当前父进程编号: 14972
进程1 正在写作业...
当前进程编号: 14752
当前父进程编号: 14972
进程2 正在打游戏...
当前进程编号: 5732
当前父进程编号: 14972
进程1 正在写作业...
当前进程编号: 14752
当前父进程编号: 14972
进程2 正在打游戏...

Process finished with exit code 0

代码示例（开启进程守护）

from multiprocessing import Process
import time
import os

# 一个写作业函数
def homeWork(name, count):
    for i in range(count):
        # 打印当前进程编号os.getpid()
        print("当前进程编号:", os.getpid())

        # 打印当前父进程编号os.getppid()
        print("当前父进程编号:", os.getppid())

        print(name, "正在写作业...")
        time.sleep(0.2)
# 一个打游戏函数
def game(name, count):
    for i in range(count):
        # 打印当前进程编号os.getpid()
        print("当前进程编号:", os.getpid())

        # 打印当前父进程编号os.getppid()
        print("当前父进程编号:", os.getppid())

        print(name, "正在打游戏...")
        time.sleep(0.2)

if __name__ == '__main__':
    # 打印当前进程编号os.getpid()
    print("当前进程编号:", os.getpid())

    # 进程1写作业 元组传参 第一种方法启动进程守护
    p1 = Process(target=homeWork, args=("进程1", 10), daemon=True)
    # 进程2打游戏 字典传参
    p2 = Process(target=game, kwargs={"name": "进程2", "count": 10})
    # 第二种
    p2.daemon = True
    # 启动进程
    p1.start()
    p2.start()
    time.sleep(1)
    print("主进程---------------------------------------------")

开启进程守护的运行结果

当前进程编号: 372
当前进程编号: 10116
当前进程编号: 9860
当前父进程编号: 372
进程1 正在写作业...
当前父进程编号: 372
进程2 正在打游戏...
当前进程编号: 9860
当前进程编号: 10116
当前父进程编号: 372
进程2 正在打游戏...
当前父进程编号: 372
进程1 正在写作业...
当前进程编号: 9860
当前进程编号: 10116
当前父进程编号: 372
进程1 正在写作业...
当前父进程编号: 372
进程2 正在打游戏...
当前进程编号: 9860
当前进程编号: 10116
当前父进程编号: 372
进程1 正在写作业...
当前父进程编号: 372
进程2 正在打游戏...
主进程结束---------------------------------------------

Process finished with exit code 0

多线程

1、导包
import threading

2、写两个任务
也就是两个函数

3、创建一个线程
线程名字 = threading.Thread(target=函数名字，函数参数传字典或元组，是否守护进程)

4、启动线程
线程名字.start()

5、是否开启线程守护，一般当前程序会等待子线程执行完毕后再关闭程序。当我们想程序跑完，销毁掉未完成的子线程，直接关闭程序的话，加上一句代码 ：
1.创建线程的时候传参数daemon=True
2.线程名字.daemon=True

6、线程编号
获取当前线程编号
threading.current_thread()

代码示例（未开启进程守护）

import threading
import time

# 一个写作业函数
def homeWork(name, count):
    for i in range(count):
        # 打印当前线程
        print(threading.current_thread())
        print(name, "正在写作业...")
        time.sleep(0.2)
# 一个打游戏函数
def game(name, count):
    for i in range(count):
        # 打印当前线程
        print(threading.current_thread())
        print(name, "正在打游戏...")
        time.sleep(0.2)

if __name__ == '__main__':

    # 线程1写作业 元组传参
    t1 = threading.Thread(target=homeWork, args=("进程1", 10))
    # 线程2打游戏 字典传参
    t2 = threading.Thread(target=game, kwargs={"name": "进程2", "count": 10})

    # 启动进程
    t1.start()
    t2.start()
    time.sleep(1)
    print("主进程结束###################################################################################")

未开启线程守护的运行结果

 # 可以看到主进程结束的，其线程还在继续
<Thread(Thread-1, started 3364)>
进程1 正在写作业...
<Thread(Thread-2, started 9100)>
进程2 正在打游戏...
<Thread(Thread-2, started 9100)>
进程2 正在打游戏...
<Thread(Thread-1, started 3364)>
进程1 正在写作业...
<Thread(Thread-1, started 3364)>
进程1 正在写作业...
<Thread(Thread-2, started 9100)>
进程2 正在打游戏...
<Thread(Thread-2, started 9100)>
进程2 正在打游戏...
<Thread(Thread-1, started 3364)>
进程1 正在写作业...
<Thread(Thread-1, started 3364)>
进程1 正在写作业...
<Thread(Thread-2, started 9100)>
进程2 正在打游戏...
主进程结束###################################################################################
<Thread(Thread-2, started 9100)>
进程2 正在打游戏...
<Thread(Thread-1, started 3364)>
进程1 正在写作业...
<Thread(Thread-1, started 3364)>
<Thread(Thread-2, started 9100)>
进程2 正在打游戏...进程1 
正在写作业...
<Thread(Thread-1, started 3364)>
进程1 正在写作业...
<Thread(Thread-2, started 9100)>
进程2 正在打游戏...
<Thread(Thread-2, started 9100)><Thread(Thread-1, started 3364)>
进程1 
进程2正在写作业...
 正在打游戏...
<Thread(Thread-2, started 9100)><Thread(Thread-1, started 3364)>

进程2 进程1 正在打游戏...
正在写作业...

Process finished with exit code 0

代码示例（开启线程守护）

import threading
import time


# 一个写作业函数
def homeWork(name, count):
    for i in range(count):
        # 打印当前线程
        print(threading.current_thread())
        print(name, "正在写作业...")
        time.sleep(0.2)
# 一个打游戏函数
def game(name, count):
    for i in range(count):
        # 打印当前线程
        print(threading.current_thread())
        print(name, "正在打游戏...")
        time.sleep(0.2)

if __name__ == '__main__':

    # 线程1写作业 元组传参
    t1 = threading.Thread(target=homeWork, args=("进程1", 10), daemon=True)
    # 线程2打游戏 字典传参
    t2 = threading.Thread(target=game, kwargs={"name": "进程2", "count": 10})
    t2.daemon = True

    # 启动进程
    t1.start()
    t2.start()
    time.sleep(1)
    print("主进程结束###################################################################################")

开启线程守护的运行结果

<Thread(Thread-1, started daemon 15480)>
进程1 正在写作业...
<Thread(Thread-2, started daemon 13700)>
进程2 正在打游戏...
<Thread(Thread-2, started daemon 13700)>
进程2 正在打游戏...
<Thread(Thread-1, started daemon 15480)>
进程1 正在写作业...
<Thread(Thread-1, started daemon 15480)><Thread(Thread-2, started daemon 13700)>
进程1 
进程2 正在写作业...正在打游戏...

<Thread(Thread-2, started daemon 13700)><Thread(Thread-1, started daemon 15480)>

进程1进程2 正在写作业... 正在打游戏...

<Thread(Thread-1, started daemon 15480)>
进程1 正在写作业...
<Thread(Thread-2, started daemon 13700)>
进程2 正在打游戏...
主进程结束###################################################################################

Process finished with exit code 0

在这里插入图片描述
原创不易,请给博主一个小小的赞吧~

我不是秃头sheep
关注
专栏目录
多进程，多线程 的使用
weixin_44689392的博客
05-28 180
多进程，多线程 简介 任务可以理解为程序，多个程序同时执行 比如：边听歌，边看小说 边写代码，边听相声 单核电脑实现多任务： 调度算法： 时间片轮转（翻牌） 调用优先级（等级） 并发： 3个任务，2个cpu，轮番调度 并行： 4个cpu，3个任务 进程的创建 Process创建进程 Process([group [, target [, name [, args [, kwar...
Python控制多进程与多线程并发数总结
09-21
### Python控制多进程与多线程并发数总结 #### 一、前言 在实际开发过程中，为了提高程序运行效率，经常会用到并发编程技术。本文将深入探讨Python中的多进程与多线程并发控制技术，并通过具体示例来讲解如何有效...
聊聊Python中的多进程和多线程
weixin_33979203的博客
11-30 362
今天，想谈一下Python中的进程和线程。 最近在学习Django的时候，涉及到了多进程和多线程的知识点，所以想着一下把Python中的这块知识进行总结，所以系统地学习了一遍，将知识梳理如下。 1. 进程和线程的关系 既然谈论到进程和线程，当然要老生常谈一个问题，那就是什么是进程，什么又是线程呢？ 用最简单的话解释就是一台电脑能同时运行多个QQ就是进程，每个QQ你打开不同窗口聊天，发图片，...
线程进程以及多线程多进程（超详解）
最新发布
cl122763974的博客
06-23 3289
多线程和多进程是实现并发执行的两种常见方式，它们在操作系统和编程领域中被广泛使用。
Python 多进程与多线程
关于我的学习记录
12-10 1524
Python 多进程与多线程
python多进程和多线程
weixin_44688529的博客
05-20 909
前言 进程是资源分配的最小单位，线程是CPU调度的最小单位 进程：操作系统的每个一个程序都是一个进程 线程：进程包括了线程，一个进程下可以有多个线程同时进行 一、多进程 代码如下（示例）： # -*- coding: utf-8 -*- """ @Time ： 2022/5/20 13:20 @Author ： 盘盘 @File ：more_process.py @IDE ：PyCharm """ from random import randint from time import time from
Python多进程与多线程
qq_41371858的博客
01-06 815
一、多进程 1.1 进程的创建步骤 导入进程包 import multiprocessing 通过进程类创建进程对象 进程对象 = multiprocessing.Process() 启动进程执行任务 进程对象.start() 1.2 通过进程类创建进程对象 进程对象 = multiprocessing.Process(target=任务名) 参数名 说明 target 执行的目标任务名，这里指的是函数名（方法名） name 进程名，一般不用设置 group 进程组，
python爬虫之多线程、多进程爬虫
02-24
多线程对爬虫的效率提高是非凡的，当我们使用python的多线程有几点是需要我们知道的：1.Python的多线程并不如java的多线程，其差异在于当python解释器开始执行任务时，受制于GIL(全局解释所)，Python的线程被限制到...
python多线程与多进程及其区别
01-27
本文通过一些具体的例子简单介绍一下python的多线程和多进程，后续会写一些进程通信和线程通信的一些文章。 python中提供两个标准库thread和threading用于对线程的支持，python3中已放弃对前者的支持，后者是一种更...
Python多进程并发与多线程并发编程实例总结
09-20
Python多进程并发与多线程并发编程实例总结深入探讨了Python中多进程和多线程的并发编程技术，这些技术允许程序同时执行多个任务，以提高效率和响应速度。以下是知识点的总结： 1. 并发编程概念： - 并发编程是让...
python多进程与多线程
内心不种满鲜花就会长满杂草
08-03 3287
进程程(Process)是资源分配的最小单位，它是操作系统进行资源分配和调度运行的基本单位，通俗理解：一个正在运行的程序就是一个进程。例如：正在运行的qq，微信等他们都是一个进程
python多进程、多线程（详细）
qq_61897309的博客
02-03 4640
python多进程、多线程介绍，以及线程池和进程池的用法
多进程与多线程的选择
华清远见 | 程序员的学习天堂
09-18 1380
 作者：王姗姗，华清远见嵌入式学院讲师。 上周去参加答辩，内容是安防系统，然后就想到了我们如何来实现我们的程序，是选择进程还是线程。带着疑惑，查了些资料，总结如下： 1、首先要明确进程和线程的含义： 进程（Process）是具有一定独立功能的程序关于某个数据集合上的一次运行活动，是系统进行资源分配和调度的一个独立单位。与程序相比，程序只是一组指令的有序集合，它本身没有任何运行的含义
多进程，多线程（转载）
weixin_33862041的博客
10-31 66
什么是多线程： 多线程是为了使得多个线程并行的工作以完成多项任务，以提高系统的效率。线程是在同一时间需要完成多项任务的时候被实现的。 使用线程的好处有以下几点： ·使用线程可以把占据长时间的程序中的任务放到后台去处理 ·用户界面可以更加吸引人，这样比如用户点击了一个按钮去触发某些事件的处理，可以弹出一个进度条来显示处理的进度 ·程序的运行速度可能加快 ...
python的多进程与多线程
羽的博客
07-07 136
python的多进程与多线程 文章目录python的多进程与多线程1、进程与多进程的概念2、进程的口粮3、多进程4、线程：5、进程与线程的关系6、多线程7、多线程的执行方式8、进程的创建进程的创建模块——multiprocessing9、多进程的问题10、进程池与进程锁。什么是进程池：进程池的创建—multiprocessing进程锁11、进程的通信队列的创建：12、线程的创建threading模块线程对象的方法13、线程池创建：14、GIL全局锁GIL的作用15、初探异步什么是异步：关键字async和aw
python中的多进程和多线程
junjian Li
03-16 1524
进程是程序在计算机上的一次执行活动，就是正在运行的应用程序，通常成为进程。每一个进程有自己独立的地址空间（内存空间）。线程是一个轻量级的子进程，是最小的处理单元；线程是进程的子集，一个进程可以由多个线程组成；多线程是指有多个线程存在于进程中，这些线程之间共享进程的资源。，一个线程只能属于一个进程，一个进程可以拥有多个线程；
评论 14
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值