pLSA模型--基于概率统计的pLSA模型(probabilistic Latent Semantic Analysis，概率隐语义分析)，增加了主题模型，形成简单的贝叶斯网络，可以使用EM算法学习模型参数。概率潜在语义分析应用于信息检索，过滤，自然语言处理，文本的机器学习或者其他相关领域。D代表文档，Z代表主题(隐含类别)，W代表单词；　　P(di)表示文档di的出现概率，...

贝叶斯网络描述：　　1）贝叶斯网络(Bayesian network)，又称信念网络(Belief Network)，或有向无环图模型(directedacyclic graphical model)，是一种概率图模型是一种模拟人类推理过程中因果关系的不确定性处理模型，其网络拓朴结构是一个有向无环图(DAG)。考察一组随机变量{X1,X2...Xn}及其n组条件概率分布(Condit...

GMM即高斯混合模型，下面根据EM模型从理论公式推导GMM：　　　　随机变量X是有K个高斯分布混合而成，取各个高斯分布的概率为φ1，φ2，... ，φK，第i个高斯分布的均值为μi，方差为Σi。若观测到随机变量X的一系列样本x1,x2,...,xn，试估计参数φ，μ，Σ。　　　　E-step　　　　M-step　　　　将多项分布和高斯分布的参数带入EM模型：　　...

EM算法也称期望最大化（Expectation-Maximum,简称EM）算法，它是一个基础算法，是很多机器学习领域算法的基础，比如隐式马尔科夫算法（HMM）， LDA主题模型的变分推断，混合高斯模型GMM，基于概率统计的pLSA模型。EM算法概述(原文)　　　　我们经常会从样本观察数据中，找出样本的模型参数。 最常用的方法就是极大化模型分布的对数似然函数。　　　　但是在一些...

在学习谱聚类算法之前，首先复习一下：实对称阵的特征值是实数实对称阵不同特征值的特征向量正交令实对称矩阵为A，其两个不同的特征值λ1λ2对应的特征向量分别是μ1μ2；λ1λ2 μ1μ2都是实数或是实向量。正式介绍谱聚类　　谱和谱聚类　　方阵作为线性算子，它的所有特征值的全体统称方阵的谱。　　方阵的谱半径为最大的特征值　　矩阵A的谱半径：(ATA)的最大...

密度聚类方法：1.DBSCAN 2.密度最大值算法密度聚类方法的指导思想是，只要样本点的密度大于某阈值，则将该样本添加到最近的簇中。这类算法能克服基于距离的算法只能发现“类圆形”(凸)的聚类的缺点，可发现任意形状的聚类，且对噪声数据不敏感。但计算密度单元的计算复杂度大，需要建立空间索引来降低计算量。DBSCAN(Density-Based Spatial Clusteri...

层次聚类方法层次聚类方法对给定的数据集进行层次的分解，直到某种条件满足为止。具体又可分为：1）凝聚的层次聚类：AGNES算法一种自底向上的策略，首先将每个对象作为一个簇，然后合并这些原子簇为越来越大的簇，直到某个终结条件被满足。2）分裂的层次聚类：DIANA算法采用自顶向下的策略，它首先将所有对象臵于一个簇中，然后逐渐细分为越来越小的簇，直到达到了某个终结条件...

SVM简述：SVM是一个线性二类分类器，当然通过选取特定的核函数也可也建立一个非线性支持向量机。SVM也可以做一些回归任务，但是它预测的时效性不是太长，他通过训练只能预测比较近的数据变化，至于再往后的变化SVM可能就不起作用了。SVM的思想下面举个简单的例子。如下图所示，现在有一个二维平面，平面上有两种不同的数据，分别用圈和叉表示。由于这些数据是线性可分的，所以可以用一条直线...

首先xgboost有两种接口，xgboost自带API和Scikit-Learn的API，具体用法有细微的差别但不大。在运行 XGBoost 之前, 我们必须设置三种类型的参数: （常规参数）general parameters，（提升器参数）booster parameters和（任务参数）task parameters。常规参数与我们用于提升的提升器有关，通常是树模型或线性模...

聚类的定义：聚类就是对大量未知标注的数据集，按数据的内在相似性将数据集划分为多个类别，使类别内的数据相似度较大而类别间的数据相似度较小，它是无监督学习。聚类的基本思想：给定一个有N个对象的数据集，构造数据的k个簇，k≤n。满足下列条件：　　1. 每一个簇至少包含一个对象　　2. 每一个对象属于且仅属于一个簇　　3. 将满足上述条件的k个簇称作一个合理划分基本思想：对于给定的类...

集成学习通过将多个学习器进行结合，常可获得比单一学习器显著优越的泛化性能。这对“弱学习器”尤为明显，因此集成学习的很多理论研究都是针对弱学习器进行的，而基学习器有时也被直接称为弱学习器。虽然从理论上来说使用弱学习器集成足以获得好的性能，但在实践中出于种种考虑，例如希望使用较少的个体学习器，或是重用关于常见学习器的一些经验等，人们往往会使用比较强的学习器。当然，还得看实践的结果，有时也不一...

提升的概念　　提升是一个机器学习技术，可以用于回归和分类问题，它每一步产生一个弱预测模型（如决策树），并加权累加到总模型中；如果每一步的弱预测模型生成都是依据损失函数的梯度方向，则称之为梯度提升（Gradient boosting） 梯度提升算法首先给定一个目标损失函数，它的定义域是所有可行的若函数集合（基函数）；提升算法通过迭代的选择一个负梯度方向上的基函数来逐渐逼...

决策树1.决策树是一种树型结构，其中每个内部结点表示在一个属性上的测试，每个分支代表一个测试输出，每个叶子结点代表一种类别。2.决策树学习是以实例为基础的归纳学习3.决策树学习采用的是自顶向下的递归方法，其基本思想是以信息熵为度量构造一棵熵值下降最快的树，到叶子节点处的熵值为零，此时每个叶子节点中的实例都属于同一类。决策树学习算法的特点1.决策树学习算法的最大优...

本次笔记绝大部分转自https://www.cnblogs.com/Luv-GEM/p/10674719.htmlsoftmax回归Logistic回归是用来解决二类分类问题的，如果要解决的问题是多分类问题呢？那就要用到softmax回归了，它是Logistic回归在多分类问题上的推广。此处神经网络模型开始乱入，softmax回归一般用于神经网络的输出层，此时输出层叫做softm...

在说逻辑回归之前，可以先说一说逻辑回归与线性回归的区别：逻辑回归与线性回归在学习规则形式上是完全一致的，它们的区别在于hθ(x(i))为什么样的函数当hθ(x(i))=θTx(i)时，表示的是线性回归，它的任务是做回归用的。当时，表示的是逻辑回归，假定模型服从二项分布，使用最大似然函数推导的，它的任务是做分类用的，逻辑回归是一个广义的线性模型，是对数线性模型。下面就...

最小二乘法是简单线性回归法，下面我将学习到的最小二乘法的推导过程列出来转载于:https://www.cnblogs.com/yang901112/p/11544675.html

1. 相关背景在许多领域的研究与应用中，通常需要对含有多个变量的数据进行观测，收集大量数据后进行分析寻找规律。多变量大数据集无疑会为研究和应用提供丰富的信息，但是也在一定程度上增加了数据采集的工作量。更重要的是在很多情形下，许多变量之间可能存在相关性，从而增加了问题分析的复杂性。如果分别对每个指标进行分析，分析往往是孤立的，不能完全利用数据中的信息，因此盲目减少指标会损失很多有...

对于m个样本某模型的估计值为计算样本的总平方和TSS(Total Sum of Squares):计算残差平方和RSS(Residual Sum of Squares):　　RSS即误差平方和SSE(Sum of Squares for Error)定义 R2=1-RSS/TSS　　R2越大，拟合效果越好　　R2的最优值为1　　若预测值恒为...

机器学习中SVD总结矩阵分解的方法特征值分解。PCA(Principal Component Analysis)分解，作用：降维、压缩。SVD(Singular Value Decomposition)分解，也叫奇异值分解。LSI(Latent Semantic Indexing)或者叫LSA(Latent Semantic Analysis)，隐语义分析分解。...

线性回归若只考虑两个特征变量我们可以建立线性方程：对于多个特征变量我们可以建立：是预测值，它与真实值存在一定的误差：为预测值，y(i)为真实值。误差ε(i)是独立同分布的，服从均值为0，方差为某定值σ2的高斯分布为什么每个样本误差ε是独立同分布的？答：误差可能是正的也可能是负的，它们之间是独立的互不影响，每个样本都是独立的。误差分布情况是独立...