机器学习基础知识
JpHu2014
昵称:JpHu2014
展开
-
BP神经网络后向传播原理
BP神经网络后向传播原理 在BP神经网络中,最难理解也是最为重要的部分就是BP后向传播中风险函数J对各神经线上的权的偏导数的求解。然而,吃透这部分内容对于真正理解BP神经网络是至关重要的。 下面主要从推导风险函数J对各神经线上的权的偏导数的公式这个方面来帮助自己理解BP后向传播原理。 首先,我设计了一个4层的神经网络——1个输入层(n个神经元)、2个隐藏层(分别为p、q个神原创 2014-09-01 00:09:10 · 4588 阅读 · 0 评论 -
EM算法(期望最大化)——理论部分
EM算法的目标EM算法是一种求解含有隐变量概率模型的最大似然解的方法。我们知道,当概率模型中含有隐变量时,其最大似然解是很难直接求解的。为什么很难直接求解呢? 考虑一个概率模型,我们将所有的观测变量统称为XX,参数统称为θ\theta。我们的目标是求解似然函数p(X|θ)p(X|\theta)。假设该概率模型存在隐变量,统称为ZZ。所以,p(X|θ)=∑Zp(X,Z|θ)p(X|\theta)=\原创 2017-04-22 20:30:17 · 5216 阅读 · 0 评论 -
EM算法(期望最大化)——应用:GMM
GMM模型简介GMM(Gaussian Mixture Model)也叫高斯混合模型。我们(1)可以把它看做是高斯分量的简单线性叠加,其目标是提供一种比单独的高斯分布(GSM,Gaussian Single Model)更为强大的概率模型;(2)也可以利用离散隐变量来描述GMM,并从EM算法层面给出GMM模型的一种优雅解法。 首先,给出高斯混合模型的概率公式(考虑单样本): p(x|π,μ,Σ)原创 2017-04-24 22:20:11 · 2851 阅读 · 0 评论 -
EM算法(期望最大化)——从EM算法角度理解K-Means与GMM的区别
K-Means算法简介K-Means算法是一种常用的聚类算法,它认为由一组数据点构成的一个聚类中,聚类内部点之间的距离应该小于数据点与聚类外部的点之间的距离。假设我们有一组数据集{x1,...,xN}\{x_1,...,x_N\},我们的目标是将数据集划分为KK个类别。为了解决这个问题,K-Means算法希望找到KK个聚类的中心{μk},k=1,...,K\{\mu_k\},k=1,...,K,同时原创 2017-04-25 16:34:38 · 13431 阅读 · 0 评论 -
GMM实验
聚类实验代码: testGmm.m ——测试主函数function testGmm() X = generateData(); K = 2; gamma = gmm(X, K); %根据最大后验概率确定类别 [value,gamma_K] = max(gamma,[],2); % show result figure(3) idx1原创 2017-04-25 22:15:03 · 1337 阅读 · 0 评论 -
K-Means实验
实验一:聚类实验代码: testKMeans.m ——测试主函数function testKMeans() X = GenerateGaussianMixtureDataset(); K = 2; [gamma, centroids] = K_Means(X, K); % show result figure(3) idx1 = find(gamma原创 2017-04-25 21:38:54 · 2001 阅读 · 0 评论 -
线性回归
在学习NG的机器学习视频一个月后,我想对之前学习的一些知识做一次梳理,做成一个学习笔记系列。我希望它能够让我对这些知识有更好的把握,也能够给看到这篇博文的朋友些许帮助。今天是我学习笔记的第一章,之后我想从视频中提到的监督学习(线性回归,逻辑回归,BP神经网络,支持向量机)和非监督学习(K均值,主成分分析,异常检测)这两个方面来讲讲我对这些算法的理解。由于本人学习时间不长,可能会有很多理解不原创 2014-11-30 17:20:51 · 5111 阅读 · 0 评论