学习笔记
qq_38829768
这个作者很懒,什么都没留下…
展开
-
统计学习方法-PageRank算法-读书笔记
统计学习方法-PageRank算法-读书笔记1、前言2、PageRank定义3、PageRank迭代算法3.1幂法3.2代数算法1、前言PageRank算法是图链接分析的代表算法,属于图数据上的无监督学习方法。算法的基本思想是在有向图上定义一个随机游走模型,即一阶马尔可夫链,描述随机游走者沿着有向图随机访问各个结点的行为。PageRank算法表示这个马尔可夫链的平稳分布。2、PageRa...原创 2019-11-19 11:25:29 · 574 阅读 · 0 评论 -
统计学习方法-潜在狄利克雷分配(LDA)-读书笔记
统计学习方法-潜在狄利克雷分配(LDA)-读书笔记1、前言2、狄利克雷分布3、潜在迪利克雷分配模型3.1LDA和PLSA3.2生成过程1、前言LDA是文本集合的生成概率模型。假设每个文本由话题的一个多项分布表示,每个话题由单词的一个多项分布表示,特别假设文本的话题分布的先验分布是狄利克雷分布,话题的单词分布的先验分布也是狄利克雷分布。LDA能更好解决过拟合现象。LDA模型是含有隐变量的概率图...原创 2019-11-19 09:47:03 · 1726 阅读 · 0 评论 -
统计学习方法-马尔可夫链蒙特卡罗法-读书笔记
统计学习方法-马尔可夫链蒙特卡罗法-读书笔记1、前言2、蒙特卡罗法2.1随机抽样2.2树学期望估计2.3积分计算3、马尔可夫链3.1基本定义3.2连续状态马尔可夫链3.3马尔可夫链的性质4、马尔可夫链蒙特卡罗法4.2吉布斯抽样(Gibbs Sampling)1、前言蒙特卡罗法(也称为统计模拟方法),是通过从概率模型的随机抽样进行近似数据的计算方法。MCMC则是以马尔可夫链为概率模型的蒙特卡罗法...原创 2019-11-18 19:38:46 · 945 阅读 · 0 评论 -
统计学习方法-概率潜在语义分析(PLSA)-读书笔记
统计学习方法-PLSA-读书笔记1、前言2、概率潜在语义分析模型2.1生成模型2.2共现模型3、概率潜在语义分析算法1、前言概率潜在语义分析,是一种利用概率生成模型对文本集合进行话题分析的无监督学习方法。模型的最大特点是用隐变量表示话题,整个模型表示文本生成话题,话题生成单词,从而得到单词-文本共现数据的过程。2、概率潜在语义分析模型2.1生成模型P(d)表示生成文本d的概率,P(z|d...原创 2019-11-18 15:25:07 · 702 阅读 · 0 评论 -
统计学习方法-潜在语义分析(LSA)-读书笔记
统计学习方法-LSA-读书笔记1、前言2、LSA2.1矩阵奇异值分解算法2.2非负矩阵分解算法1、前言文本数据挖掘中最简单的方法是利用向量空间模型(vector space model,VSM),也就是但词向量空间模型,创造一个单词-文本矩阵,矩阵中的值通常采用单词在文本中出现的频数或权值表示。它是一个稀疏矩阵。权值通常采用单词频率-逆文本频率(TF-IDF)表示,定义为TFIDFij=t...原创 2019-11-18 14:12:08 · 534 阅读 · 0 评论 -
统计学习方法-PCA-读书笔记
![在这里插入图片描述](https://img-blog.csdnimg.cn/20191115151另外一种方法原创 2019-11-18 11:00:19 · 922 阅读 · 1 评论 -
统计学习方法-聚类方法-读书笔记
统计学习方法-聚类方法-读书笔记1、前言2、聚类的基本概念2.1相似度或距离2.2类或簇2.3类与类之间的距离3、层次聚类4、K均值聚类1、前言聚类事针对给定的样本,依据他们的特征和相似度或距离,将其归并到若干个类或簇的数据分析问题。聚类属于无监督学习。2、聚类的基本概念2.1相似度或距离聚类的核心概念是相似度或距离。①闵可夫斯基距离距离越大,相似度越小,距离越小,相似度越大。di...原创 2019-11-15 11:17:46 · 426 阅读 · 0 评论 -
统计学习方法-条件随机场-读书笔记
转自条件随机场转载 2019-11-14 16:12:59 · 209 阅读 · 0 评论 -
统计学习方法-隐马尔可夫模型(HMM)-读书笔记
统计学习方法-隐马尔可夫模型(HMM)-读书笔记1、前言2、隐马尔可夫模型2.1隐马尔科夫模型的定义2.2 HMM的两个假设3、HMM的三个基本问题3.1概率计算问题3.11直接计算法3.12前向算法3.13后向算法3.2学习算法3.21监督学习方法3.22无监督学习方法-Baum-Welch算法3.3预测算法3.31近似算法3.32维比特算法1、前言隐马尔科夫模型(hidden Markov...原创 2019-11-14 15:27:31 · 730 阅读 · 0 评论 -
统计学习方法-EM算法-读书笔记
统计学习方法-EM算法-读书笔记1、前言2、EM算法3、高斯混合模型(GMM)1、前言EM算法是一种迭代算法,用于含有隐变量的概率模型参数的极大似然估计,或极大后验概率估计。每次迭代由两部分组成:E步,求期望;M步,求极大值,直至收敛。隐变量:不能被直接观察到,但是对系统的状态和能观察到的输出存在影响的一种变量。2、EM算法(1)选择参数的初始值θ(0)\theta(0)θ(0),开始迭...原创 2019-11-13 15:54:42 · 378 阅读 · 0 评论 -
统计学习方法-提升方法-读书笔记
统计学习方法-提升方法-读书笔记1、前言2、提升方法AdaBoost算法2.1AdaBoost算法2.2 前向分步算法3、提升树3.1二分类问题3.2回归问题3.3梯度提升(GBDT)1、前言提升(boosting)是一种常用的统计学习方法,是集成学习的一种。它通过改变训练样本的权重(概率分布),学习多个弱分类器(基本分类器),并将这些分类器线性组合来构成一个强分类器提高分类性能。2、提升方...原创 2019-11-13 11:58:28 · 410 阅读 · 1 评论 -
统计学习方法-支持向量机-读书笔记
统计学习方法-支持向量机-读书笔记1、前言2、线性可分支持向量机2.1线性可分支持向量机2.2 函数间隔2.3 几何间隔2.4 硬间隔最大化2.5 对偶算法2.6支持向量和间隔边界3、线性支持向量机3.1对偶函数3.2合页损失函数4、非线性支持向量机4.1 算法4.2常用核函数4.3 序列最小最优化(SMO)算法1、前言支持向量机(support vector machines,SVM)是一种...原创 2019-11-12 20:16:03 · 321 阅读 · 0 评论 -
统计学习方法-逻辑斯蒂回归与最大熵模型-读书笔记
统计学习方法-逻辑斯蒂回归与最大熵模型1、前言2、逻辑斯蒂回归模型2.1 逻辑斯蒂分布2.2 二项逻辑斯蒂回归模型2.3 模型参数估计2.4 多项逻辑斯蒂回归3、最大熵模型3.1 最大熵原理3.2 最大熵模型4、算法4.1 改进的迭代尺度法IIS4.2 拟牛顿法4.3 梯度下降法1、前言逻辑斯蒂回归(logistic regression)是统计学习中经典的分类方法。最大熵是概率模型学习的准则...原创 2019-11-12 11:41:19 · 497 阅读 · 0 评论 -
统计学习方法-决策树-读书笔记
统计学习方法-决策树-读书笔记1、前言2、模型3、策略4、算法4.1特征选择4.11信息增益4.12 信息增益比4.2决策树生成4.21 ID3算法4.22 C4.5算法4.3 决策树的剪枝4.31剪枝算法4.4 CART算法4.41介绍4.42 回归树生成4.43 基尼指数4.44 分类树的生成4.45 CART剪枝5、问题1、前言决策树是一种基本的分类与回归方法。它可以认为是if-then...原创 2019-11-11 17:49:49 · 509 阅读 · 0 评论 -
统计学习方法-朴素贝叶斯法-读书笔记
1、前言朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集,首先基于特征条件独立假设学习输入输出的联合概率分布;然后基于此模型,对给定的输入x,利用贝叶斯定理求出后验概率最大的输出y。朴素贝叶斯法实际上学习到生成数据的机制,所以属于生成模型。2、模型朴素贝叶斯法通过训练数据集学习联合概率分布p(x,y),具体做法是学习先验概率分布p(y)与条件概率分布p(x,...原创 2019-11-11 11:03:09 · 388 阅读 · 0 评论 -
统计学习方法-K近邻法-读书笔记
1、前言K近邻法是一种基本分类与回归方法。K近邻法是根据其K个最近邻的训练实例的类别,通过多数表决等方式进行预测,k值得选择,距离度量,分类决策规则是K近邻法得三个基本要素,K=1时,称为最近邻算法。2、模型当训练集,距离度量,k值以及分类决策规则确定后,特征空间已经根据这些要素被划分为一些子空间,且子空间里每个点所属得类也被确定。3、策略3.1 距离特征空间中两个实例点的距离是相似程...原创 2019-11-08 12:17:48 · 247 阅读 · 0 评论 -
统计学习方法-第二章感知机-读书笔记
统计学习方法-感知机-读书笔记1、前言2、感知机模型2.1感知机几何解释3、感知机学习策略3.1数据集的线性可分3.2点到线的距离3.3样本到超平面的距离3.4损失函数4、感知机学习算法4.1原始形式算法4.2对偶形式算法4.3原始形式和对偶形式的选择5遗留问题1、前言感知机为线性分类模型,属于判别模型。是神经网络和支持向量机的基础。感知机学习旨在求出将训练数据进行线性化分的分离超平面。2...原创 2019-11-07 15:56:39 · 604 阅读 · 0 评论