Python学习日志-002 多线程、多进程、协程-01

标题Python学习日志-002 多线程、多进程、协程-01

#!/Users/11834/.conda/envs/Pytorch_GPU/python.exe
# -*- coding: UTF-8 -*-
'''=================================================
@Project -> File    ：Residue_processing -> python-002.py
@IDE    ：PyCharm
@Author ：Xue-Qiang Fan
@Date   ：2020/3/22 9:10
@Describe   ：多进程，多线程，协程
=================================================='''
'''
- 单核CPU实现多任务原理：操作系统轮流让各个任务交替执行
- 多核CPU实现多任务原理: 真正的执行多任务只能在多核CPU上实现，但是由于任务数量远远多于CPU的核心数量，
                        所以操作系统也会自动把很多任务调度到每个核心上执行。（调度问题）
- 并行和并发
 - 并发：当多个线程在操作时，如果系统只有一个CPU，则它根本不可能真正同时进行一个以上的线程，它只能把
         CPU运行时间划分成若干时间段，再将时间段分配给各个线程执行，再一个时间段的线程代码运行时，其他线程处于挂起。
 - 并行：当一个系统有一个以上CPU时，则线程的操作有可能非并发。当一个CPU执行一个线程时，另一个CPU可以执行另一个线程。
-实现多任务的方式
 - 多进程模式：
 - 多线程模式：
 -协程:
进程 》线程 》协程
'''
'''
一.多进程
进程是线程的容器，程序是指令、数据及其组织形式的描述，进程是程序的实体。
优点：稳定性高，一个进程崩溃了，不会影响其他进程
缺点: 开销大，操作系统能同时运行进程数目有限
1、进程创建
在linux下可以使用fork函数创建进程，在win上可以引入multiprocessing模块，创建进程。
可以使用multiprocessing模块中的Process类创建新的进程。
在Linux下的fork自行学习。

'''
from multiprocessing import Process
from time import sleep
import os

def task1():
    while True:
        sleep(1)
        print('这是任务1、、、、、', os.getpid(),'-----',os.getppid())
def task2():
    while True:
        sleep(2)
        print('这是任务2、、、、、', os.getpid(),'------',os.getppid())
if __name__ == '__main__':
    print(os.getpid())  #主进程号
    # task1()
    # task2()        只能执行任务1
    p = Process(target=task1, name='任务1')
    p.start()
    print(p.name)
    p1 = Process(target=task2, name='任务2')
    p1.start()
    print(p1.name)
    print('-------')    # 主进程运行完了，开始子进程


def task1(s):
    while True:
        sleep(s)
        print('这是任务1、、、、、', os.getpid(),'-----',os.getppid())
def task2(s):
    while True:
        sleep(s)
        print('这是任务2、、、、、', os.getpid(),'------',os.getppid())
if __name__ == '__main__':
    print(os.getpid())  #主进程号
    # task1()
    # task2()        只能执行任务1
    p = Process(target=task1, name='任务1', args=(1,))
    p.start()
    print(p.name)
    p1 = Process(target=task2, name='任务2',args=(2,))
    p1.start()
    print(p1.name)
    print('-------')    # 主进程运行完了，开始子进程
    #p.terminate()终止进程


m = 1   # 不可变类型
def task1(s):
    global m
    while True:
        sleep(s)
        m += 1
        print('这是任务1、、、、、', m, os.getpid(),'-----',os.getppid())
def task2(s):
    global m
    while True:
        m += 1
        sleep(s)
        print('这是任务2、、、、、', m, os.getpid(),'------',os.getppid())
if __name__ == '__main__':
    print(os.getpid())  #主进程号
    # task1()
    # task2()        只能执行任务1
    p = Process(target=task1, name='任务1', args=(1,))
    p.start()
    #print(p.name)
    p1 = Process(target=task2, name='任务2',args=(2,))
    p1.start()
   # print(p1.name)
    while True:
        m += 1
        sleep(0.2)
        if m == 100:
            p.terminate()
            p1.terminate()
            break

    print('-------')    # 主进程运行完了，开始子进程'''
#  自定义进程

class MyProcess(Process):
    def __init__(self, name):
        super(MyProcess, self).__init__()
        self.name = name

    #重写run方法
    def run(self):
        n = 1
        while True:
            #print('进程名：' + self.name)
            print('{}----->自定义进程，n:{}'.format(n, self.name))
            n += 1
if __name__ == '__main__':
    p = MyProcess('小明')
    p.start()
    p1 = MyProcess('小红')
    p1.start()

进程池
阻塞式：添加一个执行任务，如果一个任务不结束另一个任务就进不来
非阻塞式：全部添加到队列中，立刻返回没有等待其他的进程完成

from multiprocessing import Pool
import time
非阻塞式进程
def task1(task_name):
    print("开始做任务了", task_name)
    start = time.time()
    time.sleep(random() * 2)
    end = time.time()
    print('完成任务!用时：{}, 进程ID：{}'.format((end - start), os.getpid()))
if __name__ == '__main__':

    pool = Pool(5)
    tasks = ['打球', '吃饭', '打游戏', '散步', '看孩子', '做饭']
    for task in tasks:
        pool.apply_async(task1,args=(task, ))
    pool.close()  #添加任务结束
    pool.join()
    print('over!!!!')
#阻塞式
def task1(task_name):
    print("开始做任务了", task_name)
    start = time.time()
    time.sleep(random() * 2)
    end = time.time()
    print('完成任务!用时：{}, 进程ID：{}'.format((end - start), os.getpid()))
if __name__ == '__main__':

    pool = Pool(5)
    tasks = ['打球', '吃饭', '打游戏', '散步', '看孩子', '做饭']
    for task in tasks:
        pool.apply(task1,args=(task, ))
    pool.close()  #添加任务结束
    pool.join()
    print('over!!!!')