![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
文章平均质量分 50
你看起来很好吃
这个作者很懒,什么都没留下…
展开
-
Spark机器学习读书笔记
bala转载 2016-03-17 15:08:33 · 304 阅读 · 0 评论 -
Spark的搭建
本地单机模式集群单机模式基于Mesos基于YARN转载 2016-03-17 15:12:42 · 230 阅读 · 0 评论 -
Spark SQL, DataFrames and Datasets Guide
SQL:One use of Spark SQL is to execute SQL queries.Datasets and DataFrames:Datasets 是基于RDD的分布式数据容器。而DataFrames则是有命名列名的Dataset。DataFrame的数据集都是按指定列存储,即结构化数据。类似于传统数据库中的表。 DataFrame的设计是为了让大数据处原创 2017-02-16 21:49:27 · 264 阅读 · 0 评论 -
MLlib中的数据类型
http://spark.apache.org/docs/1.6.3/mllib-data-types.htmlLocal Vector有两种:dense、sparseFor example, a vector (1.0, 0.0, 3.0) can be represented in dense format as [1.0, 0.0, 3.0] or in sparse f原创 2017-02-17 09:42:18 · 641 阅读 · 0 评论 -
Spark的介绍
Spark 是快速的、hadoop数据的通用处理引擎;可以运行在hadoop的YARN集群上或者单机模式;可以处理任何格式的hadoop数据;为了批处理和新的流处理、机器学习而设计。一、优点:1、快速:在内存中,spark可以比hadoop的MR快100多倍;在磁盘上,快10多倍。2、易用性:Java, Scala, Python, R.3、普适性:incl原创 2017-02-13 21:42:59 · 215 阅读 · 0 评论 -
我的SPARK学习之旅
这是一个总体的规划:从这里http://spark.apache.org/ 开始。1、大致了解Spark2、学习MLlib基于DataFrame的ML包,和基于RDD的MLlib包的选择(选后者,公司调试方便,后期可以试试前者)每个算法,研究算法的理论知识、调包实现、参数调节、注意事项、优劣点、Scala源码(重中之重)3、疑问点、待学习的知识点的记录笔原创 2017-02-13 20:21:14 · 202 阅读 · 0 评论