分布式计算——异步计算

一、基本概念

       异步计算是分布式计算的一种实现方式，开发人员不必花费太多的硬件成本，即可通过软件方式以更低的成本实现大规模运算需要的处理能力，Gearman和MemcacheQ就是实现异步计算的两种工具。

二、多线程

　　在一个程序中，这些独立运行的程序片断叫作“线程”（Thread），利用它编程的概念就叫作“多线程处理”。
　　多线程是为了同步完成多项任务，不是为了提高运行效率，而是为了提高资源使用效率来提高系统的效率。线程是在同一时间需要完成多项任务的时候实现的。
　　每个正在系统上运行的程序都是一个进程。每个进程包含一到多个线程。进程也可能是整个程序或者是部分程序的动态执行。线程是一组指令的集合，或者是程序的特殊段，它可以在程序里独立执行。也可以把它理解为代码运行的上下文。所以线程基本上是轻量级的进程，它负责在单个程序里执行多任务。通常由操作系统负责多个线程的调度和执行。
线程是程序中一个单一的顺序控制流程.在单个程序中同时运行多个线程完成不同的工作,称为多线程.
　　线程和进程的区别在于,子进程和父进程有不同的代码和数据空间,而多个线程则共享数据空间,每个线程有自己的执行堆栈和程序计数器为其执行上下文.多线程主要是为了节约CPU时间,发挥利用,根据具体情况而定. 线程的运行中需要使用计算机的内存资源和CPU。

　　多线程就是允许一个进程内存在多个控制权，以便让多个函数同时处于激活状态，从而让多个函数的操作同时运行。即使是单CPU的计算机，也可以通过不停地在不同线程的指令间切换，从而造成多线程同时运行的效果。

　　多线程相当于一个并发(concunrrency)系统。并发系统一般同时执行多个任务。如果多个任务可以共享资源，特别是同时写入某个变量的时候，就需要解决同步的问题，比如多线程火车售票系统：两个指令，一个指令检查票是否卖完，另一个指令，多个窗口同时卖票，可能出现卖出不存在的票。

　　在并发情况下，指令执行的先后顺序由内核决定。同一个线程内部，指令按照先后顺序执行，但不同线程之间的指令很难说清除哪一个会先执行。因此要考虑多线程同步的问题。同步(synchronization)是指在一定的时间内只允许某一个线程访问某个资源。
1、thread模块
2、threading模块
threading.Thread 创建一个线程。
给判断是否有余票和卖票，加上互斥锁，这样就不会造成一个线程刚判断没有余票，而另外一个线程就执行卖票操作。

三、多进程

3.1、子进程（subprocess包）

　　在python中，通过subprocess包，fork一个子进程，并运行外部程序。

3.2、多进程（multiprocessing包）

　　multiprocessing包是Python中的多进程管理包。与threading.Thread类似，它可以利用multiprocessing.Process对象来创建一个进程。进程池 (Process Pool)可以创建多个进程。

from multiprocessing import Queue,Pool
import multiprocessing,time,random

四、消息队列

消息队列：是在消息的传输过程中保存消息的容器。
消息队列最经典的用法就是消费者和生成者之间通过消息管道来传递消息，消费者和生成者是不同的进程。生产者往管道中写消息，消费者从管道中读消息。
操作系统提供了很多机制来实现进程间的通信 ，multiprocessing模块就提供了Queue和Pipe两种方法来实现。

其中P指producer，即生产者；C指consumer，即消费者。中间的红色表示消息队列，实例中表现为HELLO队列。

1.生产消费实例 Queue 单向进行，即生产者只进行发消息，消费者只进行收

2.通过Mutiprocess里面的Pipe来实现消息队列：

Pipe方法返回(conn1, conn2)代表一个管道的两个端。Pipe方法有duplex参数，如果duplex参数为True(默认值)，那么这个管道是全双工模式，也就是说conn1和conn2均可收发。duplex为False，conn1只负责接受消息，conn2只负责发送消息。

send和recv方法分别是发送和接受消息的方法。

close方法表示关闭管道，当消息接受结束以后，关闭管道。

3 Python提供了Queue模块来专门实现消息队列Queue对象

Queue对象实现一个fifo队列（其他的还有lifo、priority队列，这里不再介绍）。queue只有maxsize一个构造参数，用来指定队列容量，指定为0的时候代表容量无限。主要有以下成员函数：

q = Queue(maxsize=0) #指定队列大小，0表示无限
q.qsize() #返回当前队列的空间
q.empty() #判断当前队列是否为空
q.full() #判断当前队列是否满了
q.put() #发消息
q.get() #获取消息
q.task_done() #接受消息的线程条用该函数来说明消息对应的任务是否已经完成
q.join() #等待队列为空，再执行别的操作

5、TensorFlow的异步与队列

　　队列就是TensorFlow图中的节点。这是一种有状态的节点，就像变量一样：其他节点可以修改它的内容。具体来说，其他节点可以把新元素插入到队列后端(rear)，也可以把队列前端(front)的元素删除。