spark
文章平均质量分 72
namelessml
这个作者很懒,什么都没留下…
展开
-
[完]Spark安装学习实践
介绍如何在Hadoop2.60伪分布式的基础上,安装Spark。在Spark Shell下编写代码,和编写Scala和Java独立程序,以及简单的RDD操作。原创 2016-09-14 20:36:39 · 1439 阅读 · 0 评论 -
[完]Spark 基础知识
为了使程序运行更快,Spark提供了内存计算,减少了迭代计算时的IO开销;为了使编程更容易,Spark使用简练、优雅的Scala语言编写,基于Scala提供了交互式编程体验。与Hadoop相比,Spark使用十分之一的计算资源,可获得比Hadoop快3倍的速度。一、Spark与HadoopSpark特点: 运行速度快:采用DAG(Directed Acyclic Graph,有向无环图)执行引擎,以原创 2016-09-19 10:49:12 · 3069 阅读 · 0 评论 -
[MLLib]一、Spark MLLib介绍
一、机器学习是一门人工智能的科学。利用数据或以往的经验,以此优化计算机程序的性能标准。英文定义: A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in原创 2017-01-04 10:36:13 · 5544 阅读 · 0 评论 -
[MLLib]二、MLLib基本数据类型
MLLib提供了一系列基本数据类型以支持底层的机器学习算法。主要类型包括:本地向量、标注点(Labeled Point)、本地矩阵、分布式矩阵等。单机模式存储的本地向量与矩阵,以及基于一个或多个RDD的分布式矩阵。其中本地向量与本地矩阵作为公共接口提供简单数据模型,底层的线性代数操作有Breeze库和jblas库提供。标注点类型用来表示监督学习(Supervised Leaning)中的一个训练样本原创 2017-01-04 16:10:50 · 698 阅读 · 0 评论