multitask_note

最新推荐文章于 2021-12-08 21:15:42 发布
最新推荐文章于 2021-12-08 21:15:42 发布
阅读量366 收藏
点赞数
文章标签： python 多线程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44402083/article/details/119853752
版权

what is multitask ?

1.原理

轮询机制（Polling）： cpu都在多个任务之间快速的切换执行，切换速度在微秒级别，其实cpu同时只执行一个任务，但是因为切换太快了，从应用层看好像所有任务同时在执行。

多核CPU：现在的计算机一般都是多核CPU，多个单核CPU的集合。这，也可以将多个任务分配给多个cpu核心，操作系统会自动根据任务的复杂程度选择最优的分配方案。

2.实现（顺序，并行，并发）

实现多任务编程的方法 ： 多进程编程（multiprocess)，多线程编程(multithread)

  • 在任务中***无阻塞***时只有***并行***状态才能***提高效率***

在任务中***有阻塞******时并行并发都***能提高效率
但并发能更加有效的利用cpu资源

Multi_Process in py

  • 进程：程序在计算机中的一次执行过程。
    是一种动态的过程描述，将占用计算机资源 ；

  • 程序：可执行文件； 静态占有磁盘

1.进程五态

新建：***创建***进程，获取建立进程所需的资源

就绪： 进程具备执行条件，***等待***系统调度分配cpu资源等

执行：进程占用cup资源等，正在***运行***

等待：进程***内部阻塞***，出让cup等资源

终止：进程结束，***释放占用***的所有资源

2.进程树

ps -aux
    • USER ： 进程的创建者
    • PID : 操作系统分配给进程的编号
    • %CPU,%MEM : 占有的CPU和内存
    • STAT ： 进程状态信息，S I 表示阻塞状态 （ 应用阻塞S，系统阻塞I） ，R 表示***就绪***状态或者***运行***状态
    • COMMAND : 通过什么程序启动的进程
pstree

父子进程：在Linux操作系统中，进程形成树形关系，任务上一级进程是下一级的***父进程***，下一级进程是上一级的***子进程***。

3.multiprocessing.py

3.1 Process

​ 1.通过模块的Process类创建进程对象，关联需要新进程执行的函数

​ 2.通过进程对象调用start启动进程
​ 在p.start()后，子进程***复制原有父进程所有存储空间***，但***只执行***绑定target的函数

from multiprocessing import Process
def a():
    print("我想成为子进程")
p= Process(target =a) #用类去 实例化进程对象。此处传参给a,可以填args=,kwargs=,（位置元组，关键字字典）
p.start()  #此时新进程才被真正创建


"""
  p.join（）　 父亲先结束，等待子
  daemon=1 父亲先结束，立刻结束子
"""

p.join（20）　 父亲先结束，等待子，（20秒
daemon=True 父亲先结束，立刻结束子

注意

  • 新进程是原有进程的子进程，一个进程可以创建多个子进程。
  • 子进程只执行指定的函数，拥有其他父进程资源。
  • 各个进程在执行上互不影响，也没有先后顺序关系。
    进程创建后，各个进程空间独立，相互没有影响。
    （从时间上来说，父进程先执行到p.start()后子进程开始执行，此时父子进程在占用系统资源的地位是平级的。）
  • multiprocessing 创建的子进程中无法使用标准输入（即无法使用input）
#cookie : 使用windows macOS,在main后执行子进程
if __name__ == '__main__'
process = mp.Process(target= fun)
process.start() 
process.join()

3.2 class process

from multiprocessing import Process
class My_process(Process)
      def __init__(self,a=1):
        self.a= a
        super().__init__()  #继承父类实例变量
       # 重写父类 方法，使用start()触发
      def run(self):
        print('子进程',self.a)
        
p = My_process(a)
p.start()

3.3 Queue

进程间空间独立，资源不共享，依赖第三个空间进行通信

通信方法：消息队列，***套接字***等。

from multiprocessing import Queue
q = Queue(maxsize=0)
参数：最多存放消息个数

q.put(data)
参数：data  要存入的内容（存满了会阻塞）
q.get()
返回值： 返回获取到的内容（读空了会阻塞）

q.full()   判断队列是否为满
q.empty()  判断队列是否为空
q.qsize()  获取队列中消息个数
q.close()  关闭队列

#消息队列在父进程中创建
#先进先出，排队

3.4 Pool

进程池
1.进程的创建和销毁过程消耗的资源较多

2.当任务量众多，每个任务在很短时间内完成时，需要频繁的创建和销毁进程。此时对计算机压力较大

原理 (进程复用)
创建一定数量的进程***来处理事件，事件处理完进程***不退出***而是继续处理其他事件，直到所有事件***全都处理完毕统一销毁。
增加***进程的重复利用***，降低资源消耗。

    from multiprocessing import Pool

     pool = Pool(processes)
    功能： 创建进程池对象
    参数： 指定进程数量，默认根据系统自动判定
      
     pool.apply_async(func,args,kwds)
    功能: 使用进程池执行 func事件
    参数： func 事件函数
          args 元组  给func按位置传参
          kwds 字典  给func按照键值传参
    
     pool.close()
    功能： 关闭进程池
     pool.join()
    功能： 回收进程池中进程

Multi_Thread

'''
线程被称为***轻量级的进程***，也是多任务编程方式,利用计算机的多cpu资源。
即在进程中再开辟的分支任务
'''

1.特征

  • 线程也是一个运行行为，消耗计算机资源

  • 共享这个进程的资源

  • 线程之间互不影响各自运行

  • 创建和销毁***消耗资源远小于***进程

    进程是一类系统资源占用的活动
    main算一个线程，进程＝main线程+线程ｘ
    　线程占用进程内存空间（非完全独立，只执行单一功能

2.threading

2.1 Thread

from threading import Thread 
t = Thread()
t.start()
t.join([timeout])
#参照process

2.2 class thread

from threading import Thread
class My_thread(Thread)
     def __init__(self) 
      ...
         super.()__init__()
     def run(self)
      ...
#参照process
  • 线程通信方法： ***线程间***使用***全局变量***进行通信

2.3 线程同步互斥

同步 ： 同步是一种协作关系，按照必要的步骤有序执行操作。
A -B -A -B -A-B

互斥 ： 互斥是一种制约关系，当一个进程或者线程占有资源时会进行***加锁处理***，抢相同资源

2.4 Event

from threading import Event

e = Event()  创建线程event对象   #（unset）

e.wait([timeout])  阻塞等待e被set  # unset则阻塞，(set)则放行

e.set()  设置e，使wait结束阻塞    #(set)

e.clear() 使e回到未被设置状态　　　#（unset）

e.is_set()  查看当前e是否被设置

2.5 Lock

from  threading import Lock
lock = Lock()  创建锁对象

lock.acquire() 上锁  #如果lock已经上锁再调用也会阻塞
lock.release() 解锁
2.5.1 Dead lock

  • 死锁产生条件

    • 互斥条件：指线程使用了互斥方法，使用一个资源时其他线程无法使用。
    • 请求***和***保持***条件：指线程已经***保持***至少***一个资源，但又提出了***新的资源请***求，在获取到新的资源前***不会释放自己保持的资源***。
    • 不剥夺条件：不会受到线程外部的干扰，如系统强制终止线程等。
    • 环路等待条件：指在发生死锁时，必然存在一个***线程——资源的环形链***，如 T0正在等待一个T1占用的资源；T1正在等待T2占用的资源，……，Tn正在等待已被T0占用的资源。

  • 如何避免死锁

    • 逻辑清晰，不要同时出现上述死锁产生的四个条件
    • 通过测试工程师进行死锁检测
2.5.2 GIL

（全局解释器锁）对线程的影响

python解释器设计中加入了解释器锁
导致python解释器***同一时刻只能解释执行一个线程***(轮询），大大降低了***线程***的执行效率。（只能是并发）

因为遇到阻塞时线程会主动让出解释器，去解释其他线程。
所以python***多线程***在***执行多阻塞任务***时可以提升程序效率，其他情况并不能对效率有所提升。

在***无阻塞状态下***，多线程 程序执行效率并不高，甚至还不如单线程效率。

***Python多线程只适用于执行有阻塞延迟***的任务情形。

#解决方案

* 尽量使用''进程''完成无阻塞的并发行为

* 不使用c作为解释器 （可以用Java  C#）

 Guido的声明：<http://www.artima.com/forums/flat.jsp?forum=106&thread=214235>

process & thread 小结

1.区别联系

  1. 两者都是多任务编程方式，都能使用计算机多核资源

  2. ***进程***的创建删除***消耗的计算机资源***比线程多

  3. 进程空间独立，数据互不干扰，有专门通信方法 (queue)
    线程使用全局变量通信 (global)

  4. 多个线程共享进程资源，操作时往往需要同步互斥处理(lock)

  5. 一个进程可以有多个分支线程，两者有包含关系

  6. Python线程存在***GIL问题***，但是***进程没有***。

2.使用场景

  1. 任务场景：一个大型服务，往往包含多个独立的任务模块，每个任务模块又有多个小独立任务构成，此时***整个项目***可能有***多个进程***，每个进程***又有***多个线程。

  2. 编程语言：Java,C#之类***的编程语言在执行多任务时一般都是***用线程完成，因为线程资源消耗少；

    而***Python***由于GIL问题***往往使用多进程***

3.进程相关函数

import sys,os
os.getpid()   #返回值： 返回当前进程的PID 
os.getppid()  #返回值： 返回父进程PID
sys.exit(info)#功能：退出进程 表示退出时打印内容

date 2021.1.16

多个进程*，每个进程***又有***多个线程。

  1. 编程语言：Java,C#之类***的编程语言在执行多任务时一般都是***用线程完成，因为线程资源消耗少；

    而***Python***由于GIL问题***往往使用多进程***

3.进程相关函数

import sys,os
os.getpid()   #返回值： 返回当前进程的PID 
os.getppid()  #返回值： 返回父进程PID
sys.exit(info)#功能：退出进程 表示退出时打印内容

fancy
date 2021.1.16
李默_jefferli
关注
【ChatGPT核心原理实战】手动求解 Transformer：分步数学示例 | Solving Transformer by Hand: A Step-by-Step Math Example
AI天才研究院
12-22 3026
手动求解 Transformer：分步数学示例Understanding Transformers: A Step-by-Step Math Example — Part 1了解 Transformer：分步数学示例 — 第 1 部分I understand that the transformer architecture may seem scary, and you might have encountered various explanations on…我知道变压器架构可能看起来很可怕，并且
自然语言处理NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 Text completion with GPT-2
段智华的博客
10-07 510
自然语言处理NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 Text completion with GPT-2 目录 Text completion with GPT-2 Text completion with GPT-2 #OpenAI GTP-2 Copyright 2020, Denis Rothman MIT License. Denis Rothman created the Colab notebook using the OpenAI repository, a
MultiTask.zip
12-25
C++解析其他设备发送过来的http协议数据，body的格体是json格式。C++解析其他设备发送过来的http协议数据，body的格体是json格式。C++解析其他设备发送过来的http协议数据，body的格体是json格式。C++解析其他设备发送过来的http协议数据，body的格体是json格式。C++解析其他设备发送过来的http协议数据，body的格体是json格式。C++解析其他设备发送过来的http协议数据，body的格体是json格式。
模型汇总-14 多任务学习-Multitask Learning概述
lqfarmer的博客
06-16 1万+
1、单任务学习VS多任务学习 单任务学习：一次只学习一个任务（task），大部分的机器学习任务都属于单任务学习。 多任务学习：把多个相关（related）的任务放在一起学习，同时学习多个任务。 多任务学习（multitask learning）产生的原因？ 获取最新消息链接：获取最新消息快速通道 - lqfarmer的博客 - 博客频道 - CSDN.NET
multitask leaning 资源整理
amilylwy的博客
12-11 1034
先放几个链接 http://forum.memect.com/blog/thread/multitask-learning-资源合集/http://www.cs.cornell.edu/~kilian/research/multitasklearning/multitasklearning.html Kilian Q. Weinberger教授关于MTL的所有论文和codehttp://jcse.
【多任务学习-Multitask Learning概述】
derder的博客
12-08 3890
多任务学习-Multitask Learning概述
python multitask-0.2.0.zip
03-25
multitask allows Python programs to use generators (a.k.a. coroutines) to perform cooperative multitasking and asynchronous I/O. Applications written using multitask consist of a set of cooperating tasks that yield to a shared task manager whenever they perform a (potentially) blocking operation, such as I/O on a socket or getting data from a queue. The task manager temporarily suspends the task (allowing other tasks to run in the meantime) and then restarts it when the blocking operation is complete. Such an approach is suitable for applications that would otherwise have to use select() and/or multiple threads to achieve concurrency.
树莓派ram更换_如何升级或更换PC的RAM
culunxun2863的博客
09-16 4965
树莓派ram更换Adding memory is one of the easier ways to boost your PC’s performance.There are a few things to check before spending your money, though, so let’s talk about them. 增加内存是提高PC性能的较简单方法之一。 不过，花...
训练自己的实例分割模型
Gavinmiaoc的博客
10-22 3297
注：2019年04月05日刚出炉的paper Abstract：我们提出了一个用于实时实例分割的简单全卷积模型，在单个Titan Xp上以33 fps在MS COCO上实现了29.8 mAP，这比以前的任何算法都要快得多。此外，我们只在一个GPU上训练后获得此结果。我们通过将实例分割分成两个并行子任务：（1）生成一组原型掩膜（prototype mask）；（2）预测每个实例的掩膜系数（mask...
《Instance-aware Semantic Segmentation via Multi-task Network Cascades》(MNC)，用自己的数据运行
小火车~
01-13 3953
这篇博文主要对《Instance-aware Semantic Segmentation via Multi-task Network Cascades》论文的代码用自己的数据运行，数据格式与原代码所需的格式一致。只是基础的利用代码，从这个过程里能了解代码的运行框架。 对这篇论文的理解参见：http://blog.csdn.net/u011070171/article/details/53071
multitask0.2.0
10-17
multitask0.2.0 文件包，ReportLab_2_1；reportlab-3.3.0
几篇CVPR关于multi-task的整理
11-02
几篇CVPR关于multi-task的论文笔记整理，包括 一、 多任务课程学习Curriculum Learning of Multiple Tasks 1 --------------^CVPR2015/CVPR2016v--------------- 5 二、 词典对分类器驱动卷积神经网络进行对象检测Dictionary Pair Classifier Driven Convolutional Neural Networks for Object Detection 5 三、 用于同时检测和分割的多尺度贴片聚合（MPA）* Multi-scale Patch Aggregation (MPA) for Simultaneous Detection and Segmentation ∗ 7 四、 通过多任务网络级联实现感知语义分割Instance-aware Semantic Segmentation via Multi-task Network Cascades 10 五、 十字绣网络多任务学习Cross-stitch Networks for Multi-task Learning 15 --------------^CVPR2016/CVPR2017v--------------- 23 六、 多任务相关粒子滤波器用于鲁棒物体跟踪Multi-Task Correlation Particle Filter for Robust Object Tracking 23 七、 多任务网络中的全自适应特征共享与人物属性分类中的应用Fully-Adaptive Feature Sharing in Multi-Task Networks With Applications in Person Attribute Classification 28 八、 超越triplet loss：一个深层次的四重网络，用于人员重新识别Beyond triplet loss: a deep quadruplet network for person re-identification 33 九、 弱监督级联卷积网络Weakly Supervised Cascaded Convolutional Networks 38 十、 从单一图像深度联合雨水检测和去除Deep Joint Rain Detection and Removal from a Single Image 43 十一、 什么可以帮助行人检测？What Can Help Pedestrian Detection? （将额外的特征聚合到基于CNN的行人检测框架） 46 十二、 人员搜索的联合检测和识别特征学习Joint Detection and Identification Feature Learning for Person Search 50 十三、 UberNet：使用多种数据集和有限内存训练用于低，中，高级视觉的通用卷积神经网络UberNet: Training a Universal Convolutional Neural Network for Low-, Mid-, and High-Level Vision using Diverse Datasets and Limited Memory 62 一共13篇，希望能够帮助到大家
Python多任务处理---相关概念术语
图灵追幕者博客录
09-23 582
现代操作系统（Windows,Mac OS,Linux,Unix等）都支持'多任务'。 什么叫多任务？ 操作系统同时可以运行多个任务。 单核CPU实现多任务原理（CPU是程序的调度者）： 操作系统让各个程序在CPU中交替执行，如QQ执行2us,切换到微信，执行2us，再切换到 陌陌，执行2us....本质上看每个程序交替反复执行下去，但是CPU处理速度太快了，导致 我们感觉所有的程序都在同时执...
协同程序例子（multitask)
weixin_33725270的博客
01-20 194
#!/usr/bin/python#coding:utf-8from __future__ import with_statementfrom contextlib import closingimport socketimport multitaskdef client_handler(sock): with closing(sock): while T...
Python 并发任务
weixin_34336292的博客
01-11 191
Python的并发处理能力臭名昭著。先撇开线程以及GIL方面的问题不说，我觉得多线程问题的根源不在技术上而在于理念。大部分关于Pyhon线程和多进程的资料虽然都很不错，但却过于细节。这些资料讲的都是虎头蛇尾，到了真正实际使用的部分却草草结束了。传统例子在DDG搜索“Python threadingtutorial”关键字，结果基本上却都是相同的类+队列的示例。标准线程多进程，...
python多任务的理解与实现。
wudajiang_的博客
12-24 613
1.多任务的理解 生活中与很多场景是同时进行的，比如开车的时候手和脚是同时来控制车。还有一些歌手边唱歌边跳舞。 我们可以理解为我们的大脑控制着我们的身体进行不同的动作。大脑就是cpu，身体的所有支配动作用到的部位为我们的资源。 试想下如果我们的大脑只能控制一个动作完成后才能控制下一个动作，也就是说我们只能先唱完歌在去跳舞，这是不是很尴尬呢？ 下面模拟一下唱歌跳舞 def sing(): ...
多任务深度学习（MultiTask Learning）
热门推荐
毛财胜的专栏
09-29 3万+
多任务学习给出多个监督信息（标签），利用任务之间的相关性互相促进。案例1-人脸识别香港中文大学汤晓鸥组发表在NIPS14的论文《Deep Learning Face Representation by Joint Identification-Verification》,提出了一种联合训练人脸确认损失和人脸分类损失的多任务人脸识别网络DeepID2（Deep IDentification-verif
【论文笔记】多任务学习（Multi-Task Learning）
weixin_34406086的博客
01-08 7219
1. 前言 　　多任务学习（Multi-task learning）是和单任务学习（single-task learning）相对的一种机器学习方法。在机器学习领域，标准的算法理论是一次学习一个任务，也就是系统的输出为实数的情况。复杂的学习问题先被分解成理论上独立的子问题，然后分别对每个子问题进行学习，最后通过对子问题学习结果的组合建立复杂问题的数学模型。多任务学习是一种联合学习，多个任务并行学...
Python的socket模块
热铁皮屋上的猫的博客
12-10 1732
前言 在网络编程中的一个基本组件就是套接字（socket）。套接字主要是两个程序之间的信息通道。程序可能分布在不同的计算机上通过套接字互相发送信息。在Python中的大多数的网络编程都隐藏了socket模块的基本细节，并且不直接和套接字交互。 套接字 套接字包括两个：服务器套接字和客户机套接字 创建一个服务器套接字后，让它等待连接。这样它就在某个网络地址处监听。 处理客户端套接字比处理服务器套...
multitask learning
最新发布
05-01
多任务学习 (Multitask Learning) 是一种机器学习方法，其中一个模型同时学习多个相关任务。这些任务可以共享底层特征，从而提高模型的泛化能力和效率。多任务学习可以通过减少参数数量，提高训练效率和降低过拟合风险来提高模型的性能。它适用于许多应用场景，如自然语言处理、计算机视觉、语音识别等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值