2015年05月_sunbow0

原创 Spark MLlib Deep Learning Neural Net(深度学习-神经网络)1.3

Spark MLlib Deep Learning Neural Net(深度学习-神经网络)1.3http://blog.csdn.net/sunbow0/第一章Neural Net(神经网络)3实例3.1 测试数据3.1.1 测试函数采用智能优化算法的经典测试函数，如下：（1）Sphere Model函数表达式搜索范围

2015-05-28 18:20:44 4247 3

原创 Spark MLlib Deep Learning Neural Net(深度学习-神经网络)1.2

Spark MLlib Deep Learning Neural Net(深度学习-神经网络)1.2http://blog.csdn.net/sunbow0/第一章Neural Net(神经网络)2基础及源码解析2.1 Neural Net神经网络基础知识2.1.1 神经网络基础知识参照：http://deeplearning.stanford.edu/wiki

2015-05-28 18:09:55 7521 20

原创 Spark MLlib Deep Learning Neural Net(深度学习-神经网络)1.1

Spark MLlib Deep Learning Neural Net(深度学习-神经网络)1.1http://blog.csdn.net/sunbow0/Spark MLlib Deep Learning工具箱，是根据现有深度学习教程《UFLDL教程》中的算法，在SparkMLlib中的实现。具体Spark MLlib Deep Learning(深度学习)目录结构：第一章Ne

2015-05-28 18:01:09 10352 3

原创 Spark MLlib KMeans聚类算法

1.1 KMeans聚类算法1.1.1 基础理论KMeans算法的基本思想是初始随机给定K个簇中心，按照最邻近原则把待分类样本点分到各个簇。然后按平均法重新计算各个簇的质心，从而确定新的簇心。一直迭代，直到簇心的移动距离小于某个给定的值。K-Means聚类算法主要分为三个步骤：(1)第一步是为待聚类的点寻找聚类中心；(2)第二步是计算每个点到聚类中心的距离，将每个点聚类到离该点

2015-05-12 19:13:05 10813

原创 Spark MLlib Statistics统计

1、Spark MLlib Statistics统计Spark Mllib统计模块代码结构如下：1.1列统计汇总计算每列最大值、最小值、平均值、方差值、L1范数、L2范数。 //读取数据，转换成RDD[Vector]类型 valdata_path ="/home/jb-huangmeiling/sample_stat.txt"

2015-05-11 15:06:46 9219

原创 Spark MLlib FPGrowth算法

1.1 FPGrowth算法1.1.1 基本概念关联规则挖掘的一个典型例子是购物篮分析。关联规则研究有助于发现交易数据库中不同商品（项）之间的联系，找出顾客购买行为模式，如购买了某一商品对购买其他商品的影响，分析结果可以应用于商品货架布局、货存安排以及根据购买模式对用户进行分类。关联规则的相关术语如下：（1）项与项集这是一个集合的概念，在一篮子商品中的一件消费品即为一项（Ite

2015-05-09 16:35:21 14639 2

原创 Spark MLlib SVM算法

1.1 SVM支持向量机算法支持向量机理论知识参照以下文档：支持向量机SVM（一）http://www.cnblogs.com/jerrylead/archive/2011/03/13/1982639.html支持向量机SVM（二）http://www.cnblogs.com/jerrylead/archive/2011/03/13/1982684.html支持向量机（三）

2015-05-08 17:18:08 10860 1

原创 Spark MLlib Logistic Regression逻辑回归算法

1.1 逻辑回归算法1.1.1 基础理论logistic回归本质上是线性回归，只是在特征到结果的映射中加入了一层函数映射，即先把特征线性求和，然后使用函数g(z)将最为假设函数来预测。g(z)可以将连续值映射到0和1上。它与线性回归的不同点在于：为了将线性回归输出的很大范围的数，例如从负无穷到正无穷，压缩到0和1之间，这样的输出值表达为“可能性”才能说服广大民众。当然了，把大值压缩到这

2015-05-07 17:13:35 16868

原创 Spark MLlib Linear Regression线性回归算法

1、Spark MLlibLinear Regression线性回归算法1.1 线性回归算法1.1.1 基础理论在统计学中，线性回归(Linear Regression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条

2015-05-06 18:43:02 16149 1

原创 Spark Mlib BLAS线性代数运算库

1.4 BLAS （BLAS routines for MLlib's vectors and matrices.）BLAS（Basic Linear Algebra Subprograms，基础线性代数程序集）是一个应用程序接口（API）标准，用以规范发布基础线性代数操作的数值库（如矢量或矩阵乘法）。BLAS按照功能被分为三个级别： Level 1：矢量-矢量运算Leve

2015-05-05 17:25:06 10066 2

Spark MLlib 机器学习