关注
分享
常见机器学习方法的总结，同时与《数学之美》通俗的引入结合，试图将知识整合起来。
李滚滚
机器学习，深度学习算法
展开
-
数学之美到统计学习方法第十一章条件随机场 ——从应用到公式推导
文章目录一 从应用问题引入1.1 从HMM到CR——自然语言处理1.2 [如何轻松愉快地理解条件随机场（CRF）？](https://www.jianshu.com/p/55755fc649b1)二 概率无向图模型2.1 概率图模型定义2.2 概率无向图的因子分解三 条件随机场（CRF）基本问题四 CRF概率计算问题五 CRF训练算法六 CRF预测算法 摘要：数学之美致力于普通人群也能看懂，所...原创 2019-02-27 17:05:58 · 1168 阅读 · 4 评论 -
从《数学之美》到李航《统计学习方法》的隐马尔科夫模型及python实现课后习题
文章目录一 自然语言处理与隐马尔科夫模型（HMM）二 隐马尔科夫模型（HMM）基本概念三 HMM概率计算方法（前向算法与后向算法简化）四 HMM的学习算法（模型训练求解模型参数）五 HMM预测算法（维特比算法） 主要对《数学之美》隐马尔科夫模型，维特比和他的维特比算法、《统计学习方法》第十章、徐亦达HMM概率模型的内容进行总结消化。 隐马尔科夫模型(HMM)最初应用于通信领域，继而推广到语...原创 2019-02-25 18:20:34 · 2244 阅读 · 0 评论 -
李航/徐亦达 统计学习方法第九章EM算法及其推广总结和习题答案
强烈推荐徐亦达老师关于EM算法的讲解视频，本文根据徐老师和李航老师统计学习方法整理，由于公式推导太多，笔记为手写。其中包含混合高斯模型的理解，形象化解释，以及习题链接。习题习题9.1和9.3习题9.4...原创 2019-02-23 16:46:40 · 4965 阅读 · 3 评论 -
李航-《统计学习方法》第七章支持向量机
文章目录一 模型1.1 线性可分支持向量机与硬间隔最大化1.2 线性支持向量机与软间隔最大化1.3 非线性支持向量机与核函数二 策略三 算法[序列最小最优化算法SMO]支持向量机 二分类模型 基本模型：定义在特征空间上的间隔最大的线性分类器，间隔最大使之区别于感知机 扩展 模型：核技巧，实质上成为非线性分类器 学习策略：间隔最大化，形式化为求解凸二次规...原创 2019-02-21 17:08:42 · 1639 阅读 · 0 评论 -
深入理解拉格朗日乘子法（Lagrange Multiplier) 和KKT条件
本文摘自深入理解拉格朗日乘子法（Lagrange Multiplier) 和KKT条件，由于原文公式看着实在头疼，重新整理了一遍，有需要可以交流。 在求取有约束条件的优化问题时，拉格朗日乘子法（Lagrange Multiplier) 和KKT条件是非常重要的两个求取方法，对于等式约束的优化问题，可以应用拉格朗日乘子法去求取最优值；如果含有不等式约束，可以应用KKT条件去求取。当然，这两个...原创 2019-02-21 11:20:43 · 486 阅读 · 0 评论 -
李航 《统计学习方法》第七章支持向量机习题答案
1.比较感知机的对偶形式和线性可分支持向量机的对偶性形式。感知机原始形式： minw,bL(w,b)=−∑xiϵM(yi(w⋅xi+b))\min_{w,b} L(w,b) = - \sum_{x_i\epsilon M}(y_i(w\cdot x_i+b))w,bminL(w,b)=−xiϵM∑(yi(w⋅xi+b))MMM为误分点的集合。等价于minw,bL(w,b)=∑i=1...原创 2019-02-15 22:17:30 · 17524 阅读 · 15 评论 -
李航《统计学习方法》——第六章逻辑回归和最大熵模型笔记及理解+习题
习题6.1确认逻辑斯蒂分布属于指数族分布指数族分布,满足一下形式P(y;η)=b(y)exp(ηTT(y)−a(η))P(y;\eta) = b(y)exp(\eta^TT(y)-a(\eta))P(y;η)=b(y)exp(ηTT(y)−a(η))η被称为分布的自然参数（也称为规范参数）T(y)是充分统计量（通常情况下有T(y)=y）a(η)被称为对数划分函数。这一项本质上是起到了正则化...原创 2019-01-04 14:17:42 · 4750 阅读 · 5 评论 -
李航《统计学习方法》——第五章决策树及Python实现（附习题答案）
发布文章先感叹一下，C++水平真的差啊~~~~人生苦短，我用Python决策树是一种基本的分类与回归模型，呈树形结构。可以看作if-then的处理结构，也可以看作条件概率分布，对特征空间进行划分，在子特征空间进行类别判断，大于阈值则属于子空间的类别。优点： 可读性强，分类速度快（学习模型构建树的时候比较慢，但是一般模型都是离线的，所以问题不大）1 模型由结点和有向边组成，结点有两种类型，...原创 2018-12-27 19:54:05 · 6620 阅读 · 0 评论 -
《统计学习方法》——第四章朴素贝叶斯及C++实现
发布文章 博文管理我的博客退出 Trash Temp 《统计学习方法》——第二章感知机 《统计学习方法》——第二章感知机及C++实现 《统计学习方法》——第二章感知机及C++实现 《统计学习方法》——第三章KNN及C++实现 《统计学习方法》——第三章及C++实现 《统计学习方法》...原创 2018-12-10 16:38:47 · 465 阅读 · 0 评论 -
《统计学习方法》——第三章KNN及C++实现
Input : 特征向量Output : 实例类别基本分类回归问题，不具显示学习过程，整个过程有三个学习要素K值选择 [一般使用交叉验证的方法选择K值，使经验误差最小][K小，模型复杂，容易过拟合，受噪声影响较大；K大，模型简单（K=N）]距离度量 [包括各种距离度量公式，p范数，以及各种改进的相似性度量方法][不同的距离测量公式得到的K邻近点是不一样的]分类决策准则 （如多数表决...原创 2018-12-10 15:01:02 · 331 阅读 · 0 评论 -
《统计学习方法》——第二章感知机及C++实现
发布文章 博文管理我的博客退出 Trash Temp 《统计学习方法》——第二章感知机 《统计学习方法》——第一章 卷积神经网络(CNN) Input : 特征向量Output : 类别（+1/-1） 【二分类】直接学习f 或者P(Y|X) ——> 判别模型模型：f(x)=sign(wTx+b)f(x)=s...原创 2018-12-10 14:13:23 · 250 阅读 · 0 评论 -
《统计学习方法》——第一章思维导图
原创 2018-12-10 12:17:42 · 1626 阅读 · 0 评论