![](https://img-blog.csdnimg.cn/e6561d45a3df439dbd1c3fd66a6e74d4.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
统计学习方法
文章平均质量分 74
李航老师《统计学习方法》一书的学习记录,包含算法原理以及代码实现。基于Spark分布式实现各类算法
k_wzzc
wzzc
展开
-
CH_8 Adaboost及其Spark实现
Adaboost算法原理及其Spark实现原创 2023-02-06 22:49:00 · 321 阅读 · 0 评论 -
CH10_隐马尔科夫模型及其实现(前向算法&后向算法)
隐马尔可夫模型原理及实现原创 2022-07-10 15:47:27 · 255 阅读 · 0 评论 -
CH9_高斯混合型(GMM)及其Spark实现
Spark自编程实现高斯混合型(GMM)1. EM算法简介EM算法是一种迭代算法,用于含有隐含变量的概率模型参数的极大似然估计,或极大后验概率估计,EM算法由两步组成:E步,求期望;M步,求极大。2. EM 算法步骤输入:观测变量数据Y,隐变量数据Z,联合分布P(Y,Z|θ),条件分布P(Z|Y,θ)输出:模型参数θ$1. 选择参数的初始值 \theta^{(0)},开始迭代$$2.E步:记\theta^{(i)} 为第i次迭代参数 \theta 的估计值,在第i+1次迭代E步,计算: $Q原创 2020-05-31 17:31:36 · 579 阅读 · 0 评论 -
CH6_逻辑回归(LR)及其Spark实现
1. 逻辑斯谛分布设X是连续随机变量,X服从逻辑斯谛分布是指X具有下列分布函数和密度函数:F(x)=P(X⩽x)=11+e(x−u)/γf(x)=F′(x)=e−(x−u)/γγ(1+e(x−u)/γ)2其中,u为位置参数,γ为形状参数F(x) = P(X \leqslant x) = \frac{1}{1+e^{(x-u)/\gamma}} \\f(x) = F^{'}(x) = \frac{e^{-(x-u)/\gamma}}{\gamma(1+e^{(x-u)/\gamma})^2} \\原创 2020-05-13 13:36:49 · 818 阅读 · 0 评论 -
CH5_决策树(ID3)及其spark实现
class DecisionTreeModel(data: DataFrame, labelColName: String, threshold: Double = 1e-2) { private val spark = data.sparkSession import spark.impli...原创 2019-12-07 22:40:11 · 525 阅读 · 0 评论 -
CH3_K近邻(KNN)算法及其Spark实现
Spark 实现KNN算法 – 基于RDD def runKnn(trainSet: DataFrame, testSet: DataFrame, k: Int, cl: String) = { val schema = testSet.schema.map(_.name) val testFetures: RDD[Seq[Double]] = testSet ...原创 2018-11-21 21:33:15 · 2340 阅读 · 19 评论 -
CH14_Kmeans聚类算法及其Spark实现
Spark实现 – Kmeans聚类算法Kmeans简介Kmeans是最常用的聚类算法,也是十大经典的数据挖掘算法之一。聚类的思想用一句话概括就是“物以类聚,人以群分”。kmeans算法作为最基础的算法之一,基本上每本数据挖掘的书都会讲到,这里就不在啰嗦了。本文主要结合实现原理利用Spark实现一下过程。算法实现步骤step1 首先随机选取k个样本点最为初始聚类中心step2 计算每个样...原创 2018-11-28 23:33:08 · 2961 阅读 · 3 评论 -
CH2_感知机算法原理及其spark 实现
spark 实现感知机算法感知机感知机是二分类的线性分类问题,由Rosenblatt在1957年提出,虽然年代久远,但是感知机简单实用易实现,并且是深度学习和神经网络的基础。感知机模型的输入是样本的特征向量,输出是样本的类别,分别为“+1”,“-1”,如果训练样本是线性可分的数据集,则感知机学习将会得到一个将训练数据集的两类样本点完全正确分开的超平面。非线性可分数据集则不能训练得到这个超平面,...原创 2019-03-07 23:11:05 · 469 阅读 · 0 评论 -
CH2_(扩展)线性感知机算法(Pocket PLA)及其Spark实现
Spark 实现优化的线性感知机算法:Pocket PLAimport breeze.linalg.{DenseVector => densevector}import org.apache.spark.ml.feature.VectorAssemblerimport org.apache.spark.ml.linalg.DenseVectorimport org.apache.sp...原创 2019-03-16 21:56:00 · 360 阅读 · 2 评论 -
CH4_朴素贝叶斯及其Spark实现
Spark实现朴素贝叶斯 // 读取数据 val mnistTrain = spark.read .option("header", true) .option("inferSchema", true) .csv("F:\\DataSource\\naivebayes_data.csv") .persist() val sche...原创 2019-04-01 23:57:44 · 1122 阅读 · 0 评论