duohuanxi的博客

玩了N天之后终于又准备开始学习了，hhh 从这篇开始写一下机器学习中matlab的部分，首先是matlab中的基本程序元素 1.变量与常量 变量是任何程序设计语言的基本元素之一，它是指其数值在数据处理的过程中可能会发生变化的一些数据量名称，而常量则是指在计算过程中数值不发生变化的量。 MARTLAB语言的变量具有如下特点： （1）不要求对所使用的变量进行事先声明，也不需要指定变量类型，MATLAB会自动根据所赋予变量的值或对变量所进行的操作来确定变量的类型 （2）在赋值过程中，如果变量已经存在，MATLAB

这篇文章写一下采样的东西 首先来复习一下上一篇文章的东西 复习：Beta分布 （1）Beta分布的概率密度： （2）其中系数B为： （3）Gamma函数可以看成阶乘的实数域推广： Beta分布的期望 根据定义： LDA的解释 （1）共有m篇文章，一共涉及了K个主题 （2）每篇文章（长度为NmN_mNm​）都有各自的主题分布，主题分布是多项分布，该多项分布的参数服从Dirichlet分布，该Dirichlet分布的参数为α （3）每个主题都有各自的词分布，词分布为多项分布，该多项分布的参数服从Di

今天写一下非常重要的内容：主题模型 先来回顾一下上一篇文章中的朴素贝叶斯部分 朴素贝叶斯的分析 （1）可以胜任许多文本分类问题 （2）无法理解语料中一词多义和多词一义的问题—它更像是词法分析，而非语义分析 （3）如果使用词向量作为文档的特征，一词多义和多词一义会造成计算文档间相似度的不确定性 （4）可以通过增加“主题”的方式，一定程度的解决上述问题： a.一个词可能被映射到多个主题中：一词多义 b.多个词可能被映射到某个主题的概率很高：多词一义 从而引入网络模型，首先是最基本的主题模型：pLSA模型 pLS

这篇文章写一下EM算法 主要内容 （1）通过实例直观求解高斯混合模型GMM 适合快速掌握GMM，及编程实现 （2）通过极大似然估计详细推导EM算法 a.适合理论层面的深入理解 b.用坐标上升理解EM的过程 （3）推导GMM的参数ϕ、μ、σ\phi、\mu、\sigmaϕ、μ、σ a.复习多元高斯模型 b.复习拉格朗日乘子法 先来做一些复习 复习：Jensen不等式：若f是凸函数 （1）基本Jensen不等式 （2）若θ1,...,θk≥0，θ1+...+θk=1\theta_1,...,\theta_k≥

这篇文章写一下有关贝叶斯网络的部分，这是机器学习后半部分的一个非常基础的内容。 主要内容 （1）复习本次将用到的知识：相对熵、互信息（信息增益） （2）朴素贝叶斯 （3）贝叶斯网络的表述 a.条件概率表参数个数分析 b.马尔科夫模型 （4）D-separation a.条件独立的三种类型 b.Markov Blanket （5）网络的构建流程 混合（离散+连续）网络：线性高斯模型 （6）Chow-Liu算法：最大权生成树MSWT 复习：相对熵 （1）相对熵，又称互熵，交叉熵，鉴别信息，Kullback熵，K

这篇文章写一下有关聚类的一些东西 本次目标 （1）掌握K-means聚类的思路和使用方法 （2）了解层次聚类的思路和方法 （3）理解密度聚类并能够应用于实践 a.DBSCAN b.密度最大值聚类 （4）掌握谱聚类的算法 考察谱聚类和PCA的关系 聚类的定义 聚类就是对大量未知标注的数据集，按数据集的内在相似性将数据集划分为多个类别，使类别内的数据相似度较大而类别间的数据相似度较小 属于无监督类型 那么我们如何定义相似度呢 相似度/距离计算方法总结 （1）闵可夫斯基距离Minkowski/欧氏距离 （2）杰

降维机器学习中比较重要的一部分，这篇文章来简单写一下。 首先来复习一下之前的部分内容 最大熵模型总结 （1）定义条件熵： （2）模型目的： （3）定义特征函数： （4）约束条件: 决策树学习的生成算法 建立决策树的关键，即在当前状态下选择哪个属性作为分类依据。根据不同的目标函数，建立决策树主要有以下三种算法： a.ID3 b.C4.5 c.CART 信息增益 （1）概念：当熵和条件熵中的概率由数据估计（特别是极大似然估计）得到时，所对应的熵和条件熵分别称为经验熵和经验条件熵 （2）信息增益表示得知特

SVM中最重要的内容 （1）寻找最大“间隔”的方法，寻找支持向量 （2）引入“核函数”，解决线性不可分 首先准备一点数学知识：定义一个平面 （1）在R3R^3R3空间里，一个平面可以由平面上一个点P0P_0P0​，以及一个垂直平面的方向w向量确定 （2）任意取平面上一个点P，从原点到P,P0P,P_0P,P0​，做两个向量x,x0x,x_0x,x0​，由w垂直平面的关系可以得到右边的定义 （3）因为P这个点是平面任意指定的点，因此平面可以用wx+bwx+bwx+b这种形式表达 两个平行平面的距离

这篇文章简单写一下两个比较经典的分类算法，决策树和随机森林 决策树 决策树的定义 （1）每个非叶结点表示一种对样本的分割，通常是选用样本的某一个特征，将样本分散到不同子节点中 （2）子节点继续对分散来的样本继续进行分割操作 （3）叶子节点表示输出，每个分散该叶结点中样本都属于同一类（或近似的回归值） 决策树架构 （1）决策树学习： a.一种根据样本为基础的归纳学习 b.采用的是自顶向下的递归方法：开始数据都在根节点，递归的进行数据分片 c.通过剪枝的方法，防止过拟合 （2）决策树的使用： a.对未知数据进行

本次目标 （1）理解并掌握熵Entropy的定义 理解“Huffman”编码是所有编码中总编码长度最短的“熵含义 （2）理解联合熵H（X，Y）、相对熵D（X||Y）、条件熵H（X|Y）、互信息I（X，Y）的定义和含义，并了解如下公式： a.H（X∣Y）=H（X，Y）−H（Y）=H（X）−I（X，Y）H（X|Y）=H（X，Y）-H（Y）=H（X）-I（X，Y）H（X∣Y）=H（X，Y）−H（Y）=H（X）−I（X，Y） b.H（Y∣X）=H（X，Y）−H（X）=H（Y）−I（X，Y）H（Y|X）=H（X，Y）

这篇文章来写一下梯度下降算法和拟牛顿算法 先来看一下上篇文章中的一些东西 Lagrange对偶函数的鞍点解释 （1）为表述方便，假设没有等式约束，只考虑不等式约束，结论可方便的扩展到等式约束 （2）假设x0x_0x0​不可行，即存在某些i，使得fi(x)>0f_i(x)>0fi​(x)>0，则选择λi→∞\lambda_i\to∞λi​→∞，对于其他乘子，λj=0,j≠i\lambda_j=0,j≠iλj​=0,j​=i （3）假设x0x_0x0​可行，则有fi(x)≤0，（i=1,2,

这篇文章写一下回归方面的知识，先把上篇文章留下的一些小问题写清楚 对偶问题 一般优化问题的Lagrange乘子法 minimize f0(x),x∈Rnf_0(x),x∈R^nf0​(x),x∈Rn subject to fi(x)≤0，i=1,...,mf_i(x)≤0，i=1,...,mfi​(x)≤0，i=1,...,m hj(x)=0,h=1,...,ph_j(x)=0,h=1,...,phj​(x)=0,h=1,...,p Lagrange函数： 对固定的x，Lagrange函数L(x,λ,v

这篇文章写一下凸优化的内容 # 凸优化主要内容 （1）凸集基本概念 a.凸集保凸运算 b.分割超平面 c.支撑超平面 （2）凸函数基本概念 a.上境图 b.Jensen不等式 c.凸函数保凸运算 （3）凸优化一般提法 a.对偶函数 b.鞍点解释 c.用对偶求解最小二乘问题 d.强对偶KKT条件 思考两个不等式 （1）两个正数的算数平均数大于等于几何平均数： （2）给定可逆矩阵Q，对于任意的向量x，y，有： xTQx+yTQ−

首先回顾一下上一篇文章没写完的东西 无偏性E(θ^)=θE(\hat{\theta})=\thetaE(θ^)=θ 利用已知样本X1,X2,...XnX_1,X_2,...X_nX1​,X2​,...Xn​能够得到参数的一个估计θ^\hat{\theta}θ^，因此，θ^\hat{\theta}θ^可以写成θ^(X1,X2,...Xn)\hat{\theta}(X_1,X_2,...X_n)θ^(X1​,X2​,...Xn​)，对于不同的样本，θ^\hat{\theta}θ^的值一般不同。因此，可以看成是关

这篇文章复习一下数理统计与参数估计的部分，其中最重要的要属最大似然估计部分了。 期望 （1）离散型：E(X)=∑i=1xipiE(X)=\sum_{i=1}x_ip_iE(X)=∑i=1​xi​pi​ （2）连续型：E(X)=∫−∞∞xf(x)dxE(X)=\int_{-\infty}^{\infty}xf(x)dxE(X)=∫−∞∞​xf(x)dx 即：概率加权下的“平均值” 期望的性质 （1）无条件成立：E（kx）=kE（x）E（kx）=kE（x）E（kx）=kE（x） E(X+Y)=E(X)+E(Y)