from pyspark import SparkContext
sc = SparkContext('local', 'pyspark')
牛顿法求平方根
我们知道牛顿法求
n√
(达到eps准确度)的算法是这样的:**
* 给定一个初始值
x=1.0
.
* 求
x
和
* 根据
(x+n/x)/2
和
n√
的大小比较,确定下一步迭代的2个端点,同时不断迭代直至
x∗x
与
n
之间的差值小于
在Spark中完成上述算法
给定0-9 10个数的作为输入,计算它们的平方根,初始值都设为1.0
initial_sqrt=[(n,1.0) for n in range(10)]
initial_sqrt
[(0, 1.0),
(1, 1.0),
(2, 1.0),
(3, 1.0),
(4, 1.0),
(5, 1.0),
(6, 1.0),
(7, 1.0),
(8, 1.0),
(9, 1.0)]
设置误差eps
和最大迭代次数max_iter
并执行牛顿法求平方根
eps=0.0001
max_iter=10
ns=sc.parallelize(initial_sqrt)
while max_iter!=0:
ns=ns.map(lambda n:(n[0],(n[1]+n[0]/n[1])/2) if abs(n[1]**2-n[0])>eps else n)
ns.cache()
max_iter-=1
ns.collect()
[(0, 0.0078125),
(1, 1.0),
(2, 1.4142156862745097),
(3, 1.7320508100147274),
(4, 2.0000000929222947),
(5, 2.2360688956433634),
(6, 2.4494943716069653),
(7, 2.64576704419029),
(8, 2.8284271250498643),
(9, 3.000000001396984)]
在Spark里使用reduce()
计算10!
rdd = sc.parallelize(range(1,10+1))
rdd.reduce(lambda x, y: x * y)
3628800