Python利用Spark并行处理框架批量判断素数

方法一：

from pyspark import SparkConf, SparkContext

conf = SparkConf().setAppName("isPrime")

sc = SparkContext(conf=conf)

def isPrime(n):

    if n<2:

        return False

    if n==2:

        return True

    if not n&1:

        return False

    for i in range(3, int(n**0.5)+2, 2):

        if n%i == 0:

            return False

    return True

#创建RDD

rdd = sc.parallelize(range(1000))

#过滤

result = rdd.filter(isPrime).collect()

print('='*30)

print(result)

方法二，空间占用大，不推荐：

from pyspark import SparkConf, SparkContext

conf = SparkConf().setAppName("isPrime")

sc = SparkContext(conf=conf)

n = 1000

m = int(n**0.5) + 1

rdd = sc.parallelize(range(2, n))

result = set()

while True:

    #获取第一个元素

    t = rdd.first()

    if t > m:

        break

    result.add(t)

    #对RDD上的所有元素进行过滤、筛选，能被整除的全部过滤掉

    rdd = sc.parallelize(rdd.filter(lambda x: x%t != 0).collect())

print(list(result)+rdd.collect())