Python 分布式计算的相关工具（Parallel Python、MPI4PY）

Python分布式计算相关工具

Parallel Python

PP是一个python模块，提供在SMP（具有多个处理器或多核的系统）和集群（通过网络连接的计算机）上并行执行python代码的机制。它轻巧，易于安装和与其他python软件集成。PP是一个用纯Python编写的开源和跨平台模块。

一、概览
PP是一个python模块，提供在SMP（具有多个处理器或多核的系统）和集群（通过网络连接的计算机）上并行执行python代码的机制。它轻巧，易于安装和与其他python软件集成。它是一个用纯Python编写的开源和跨平台模块。

二、特性

• 在SMP和集群上并行执行python代码
• 易于理解和实现基于Job的并行化技术（易于并行转换串行应用程序）
• 自动检测最佳配置（默认情况下工作进程数设置为有效处理器数）
• 动态处理器分配（工作进程数可以在运行时更改）
• 具有相同功能的后续作业的低开销（实现透明高速缓存以减少开销）
• 动态负载平衡（作业在运行时在处理器之间分布）
• 容错（如果其中一个节点发生故障，任务在其他节点上重新调度）
• 计算资源的自动发现
• 计算资源的动态分配（自动发现和容错的结果）
• 网络连接的基于SHA的认证
• 跨平台可移植性和互操作性（Windows，Linux，Unix，Mac OS X）
• 跨架构可移植性和互操作性（x86，x86-64等）
• 开源

三、动机
现在，用python编写的软件应用在很多应用程序中，包括业务逻辑，数据分析和科学计算。这与市场上的SMP计算机（多处理器或多核）和集群（计算机通过网络连接）的广泛可用性一起提出了并行执行python代码的需求。
PP模块提供了一种写并行python应用程序的简单方法。内部ppsmp使用进程和IPC（进程间通信）来组织并行计算。后者的所有细节和复杂性完全被照顾，应用程序只提交作业并检索其结果（写并行应用程序的最简单的方法）。

原文链接：https://blog.csdn.net/wangshuang1631/article/details/53196137

使用

#!
# File: sum_primes.py
# Author: VItalii Vanovschi
# Desc: This program demonstrates parallel computations with pp module
# It calculates the sum of prime numbers below a given integer in parallel
# Parallel Python Software: http://www.parallelpython.com/
import math, sys, time
import pp
def isprime(n):
    """Returns True if n is prime and False otherwise"""
    if not isinstance(n, int):
        raise TypeError("argument passed to is_prime is not of