浮世尘

MLlib 是spark 机器学习的库，它的目标是使机器学习算法能更容易上手。这个库包含通用学习算法和工具集，包括：分类，回归，聚类，协同过滤，降维，以及深层优化策略和上层管道API（pipeline）. 分为两个包：1 spark.mllib 包含基于RDD的原始API 2 spark.ml 包含上层操作DataFrame 的API， 可以构造机器学习管道， 推荐使用sp

译者续：      2016年过完年回来，把之前翻译spark mllib部分从新整理，继续未完成的工作。 MLlib 是spark 机器学习的库，它的目标是使机器学习算法能更容易上手。这个库包含通用学习算法和工具集，包括：分类，回归，聚类，协同过滤，降维，以及深层优化策略和上层管道API（pipeline）. 分为两个包：1 spark.mllib 包含基于RDD的原始A

·  Summary statistics·  Correlations·  Stratified sampling·  Hypothesis testing· Streaming Significance Testing·  Random data generation·  Kernel density estimation2.1 统计概览在Statistic

·  Linear models· classification (SVMs, logistic regression)· linear regression (least squares, Lasso, ridge)·  Decision trees·  Ensembles of decision trees· random forests· gradient-boost

概述spark streaming 是核心spark api的扩展，提供可伸缩、高吞吐和容错的流处理接口，用来处理实时在线流数据。流数据的输入源可以是kafka, flume , kinesis 或tcp sockets，流数据处理可以用map ,reduce , join 和window表达的复杂算法。甚至，可以对流数据使用spark 机器学习或图处理算法。最终处理结果可以直接写到文件系统、

OverviewSQLDatasets and DataFramesGetting StartedStarting Point: SparkSessionCreating DataFramesUntyped Dataset Operations (aka DataFrame Operations)Running SQL Queries ProgrammaticallyGloba

首先要引入概念 机器学习管道（ML pipelines），ML pipelines 提供基于DataFrames的高级API ， 此API可以帮忙开发者创建和实践ML 管道。Table of ContentsMain concepts in PipelinesDataFramePipeline componentsTransformersEstimato

Spark 2.0 之后，master 和worker 之间完全不使用akka 通信，改用netty实现。先不说别的，单就netty的热门度就可以承担起这个重任，言归正题。本文以master代码为例，讲解RpcEnv , RpcEndpoint ,RpcEndpointRef , 及NettyRpcEnv, NettyRpcEndpointRef 之间关系。先呈上org.a

本章节覆盖特征相关的算法部分，可粗分为以下几组： 1> 抽取： 从原始数据中抽取特征2> 变换：缩放，转化，或修改特征3> 选择： 从特征集合中选择子集4>  Locality Sensitive Hashing (LSH) ： 将特征变换和其它算法组合在一起的一类算法。目录： Feature ExtractorsTF-IDFWord2VecCo