![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
文章平均质量分 63
Fang罗一
这个作者很懒,什么都没留下…
展开
-
Spark+Python lab1
目标:Python review + Intro to PySparkPart 1: Math review略Part 2: Numpy求逆矩阵方法:# Invert AAt with np.linalg.inv()AAtInv = np.linalg.inv(AAt)可参见资料:NumpyPart 3: Additional NumPy and Spark linear algebra切片和重原创 2015-07-17 16:54:33 · 322 阅读 · 0 评论 -
Spark+Python lab2
目标:初探分布式计算平台Spark python API使用。Extral TutorialCreate RDD 开始实现创建一个样本RDDwordsList = ['cat', 'elephant', 'rat', 'rat', 'cat']wordsRDD = sc.parallelize(wordsList, 4)# Print out the type of wordsRDDpr原创 2015-07-18 14:34:29 · 818 阅读 · 0 评论 -
Spark 模型总结
注明:图片以及相关资料均来自Scalable Machine Learning from BerkelyX,只是个人总结使用,侵权即删整体框架1. Map-ReduceMR的价值体现在对大数据集的分布式处理上。 如下面的图例:(图片来自Scalable Machine Learning from BerkelyX) 将大规模的文档先分开成不同的partitions到不同的worker;再原创 2015-07-18 14:55:50 · 438 阅读 · 0 评论