![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
爱吃草莓的西瓜酱
这个作者很懒,什么都没留下…
展开
-
《统计学习方法》 第二章 感知机 笔记
第二章 感知机 2.1 感知机模型 模型:从假设空间中找到的一个最优的 决策函数: 属于判别模型 分离超平面:下图 左下为正例,右上为负例 2.2 感知机学习策略 定义经验损失函数极小化 损失函数的两种选择: 误分类点的总数:但该函数不是参数w,b的连续可导函数 误分类点到超平面S的总距离: 感知机采样该策略,因为该函数不是参数w,b的连续可导函数 上式的系数可去,因为w,b分别乘了...原创 2019-02-27 19:32:54 · 184 阅读 · 0 评论 -
机器学习 第十一章 特征选择与稀疏学习
第十一章 特征选择与稀疏学习 特征选择:子集选择、子集评价 过滤式选择 包裹式选择 嵌入式选择:用L1Z正则化 稀疏表示: 字典学习 压缩感知 11.1 子集搜索与评价 特征的分类 相关特征: 对当前学习任务有用的属性 无关特征: 与当前学习任务无关的属性(会增加构建学习器的难度) 冗余特征*: 其所包含信息能由其他特征推演出来(有用的不需要去掉,使得学习算法更有利求解)...原创 2019-06-21 16:39:16 · 270 阅读 · 0 评论 -
机器学习 第十章 降维与度量学习
第十章 降维与度量学习 k近邻学习 多维缩放 主成分分析 流形学习 度量学习 10.1 k近邻学习 k近邻(k-Nearest Neighbor, kNN)学习是一种常用的监督学习方法 懒惰学习:此类学习技术在训练阶段仅仅是把样本保存起来,训练时间开销为零,待收到测试样本后再进行处理。 急切学习: 在训练阶段就对样本进行学习处理的方法。 最近邻分类虽简单,但它的泛化错误率不超过贝叶斯最优分类...原创 2019-06-24 23:53:58 · 441 阅读 · 0 评论 -
统计学习方法 第九章 EM算法及其推广
第九章 EM算法及其推广 EM算法是一种迭代算法,用于含有隐变量的概率模型参数的极大似然估计,或极大后验概率估计。EM算法的每次迭代由两步组成:E步,求期望;M步,求极大。 概率模型(生成模型) 9.1 EM算法的引入 EM算法对初值敏感,是局部最优的 Q函数定义: 完全数据的对数似然函数logP(Y,Z|Θ)关于在给定观测数 据Y和当前函数Θ(i)下对未观测数据Z的条件概率分布P(Z|...原创 2019-06-20 20:50:57 · 227 阅读 · 0 评论 -
统计学习方法 第八章 提升方法
第八章 提升方法 在分类问题中,它通过改变训练样本的权重,学习多个分类器,并将这些分类器线性组合,提高分类的性能, 8.1 提升方法AdaBoost 强可学习 & 弱科学习: 在概率近似正确(probably approximately correct, PAC)学习的框 架中,一个概念(类),如果存在一个多项式的学习算法能够学习 它,并且正确率很高,称这个概念是强可学习的; 一个...原创 2020-01-08 09:42:26 · 398 阅读 · 0 评论 -
统计学习方法 第六章 逻辑斯蒂回归与最大熵模型
第六章 逻辑斯蒂回归与最大熵模型 logistic分类器是由一组权值系数组成的,最关键的问题就 是如何获取这组权值,通过极大似然函数估计获得,并且 Y~f(x;w) 似然函数是统计模型中参数的函数。给定输出x时,关于参 数θ的似然函数L(θ|x)(在数值上)等于给定参数θ后变量X 的概率:L(θ|x)=P(X=x|θ) ...原创 2019-06-20 16:08:37 · 124 阅读 · 0 评论 -
统计学习方法 第四章 朴素贝叶斯法
第四章 朴素贝叶斯法 生成模型 是基于贝叶斯定理与特征条件独立假设的分类方法 训练方法: 首先基于特征条件独立假设学习输入/输出的联合概率分布; 然后基于此模型,对给定的输入x,利用贝叶斯定理求出后验概率最大的输出y。 4.1 朴素贝叶斯法的学习与分类 条件独立性假设:用于分类的特征在类确定的条件下都是条件独立的 后验概率最小化等价于期望风险最大化 4.2 朴素贝叶斯法的参数估计 ...原创 2019-06-20 15:24:51 · 154 阅读 · 0 评论 -
统计学习方法 第七章 支持向量机
第七章 7.2 线性支持向量机与软间隔最大化 训练数据中有一些特异点,将特异点除去后,剩下大部分的样本点组成的集合是线性可分的。 可证明w的解是唯一的,b不是,而是存在于一个区间。【对于线性可分支持向量机的w,b是唯一的】 由于现实中训练数据集往往是线性不可分的,线性支持向量机具有更广的适用性 7.3 非线性支持向量机与核函数 采取的方法是进行一个非线性变换,将非线性问题变换...原创 2020-01-08 09:42:11 · 271 阅读 · 0 评论 -
统计学习方法 第十章 隐马尔可夫模型
第10章 隐马尔可夫模型 10.1 定义 1. 隐马尔可夫模型 隐马尔可夫模型是关于时序的概率模型,描述由一个隐藏的马尔可夫链随机生成不可观测的状态随机序列,再由各个状态生成一个观测而产生观测随机序列的过程。 隐马尔可夫模型由初始概率分布、状态转移概率分布以及观测概率分布确定。 A: 状态转移概率矩阵 B:观测概率矩阵 π: 初始状态概率向量(在时刻t=1处于状态qi的...原创 2020-01-08 09:42:38 · 132 阅读 · 0 评论 -
《统计学习方法》 第一章 统计学习方法概论
第一章 统计学习方法概论 1. 统计学习 数据:计算机及互联网上的各种数字、文字、图像、视 频、音频数据以及它们的组合。 数据的基本假设是同类数据具有一定的统计规律性。 统计学习的目的:用于对数据(特别是未知数据)进行预测和分析。 统计学习的方法: 监督学习 多用于分类、标注与回归问题中 非监督学习 半监督学习 强化学习: 非监督学习的一种,随机采取一个动作,根据得到的反馈,来决定策...原创 2019-02-20 13:58:10 · 196 阅读 · 0 评论 -
《统计学习方法》 第三章 k近邻法
第三章 k 近邻法 三个基本要素 k值的选择 距离度量 分类决策规则 3.1 k近邻算法特点 优点:精度高、对异常值不敏感、无数据输入假定 缺点:计算复杂度高、空间复杂度高 适用数据范围:数值型和标称型 3.2 k值的选择 选择较小的k值,“学习”的近似误差会减小,但“学习”的估计误差会增大,整体模型变得复杂,容易发生过 拟 合. k值一般取一个比较小的数值,通常采用交叉验证法来选取最优...原创 2019-02-27 20:03:35 · 285 阅读 · 0 评论 -
机器学习 第十二章 计算学习理论
第十二章 计算学习理论 概述 关注的问题 一些概念及记号 可学习性 什么是“学习” 什么是“可学习的” 假设空间复杂性对可学习性的影响 有限假设空间 无限假设空间:基于VC维的分析 无限假设空间:基于Rademacher复杂度的分析 稳定性 12.2 PAC学习 假设空间:学习算法所考虑的所有可能概念的集合 H 目标概念:正确的x -> y的映射 c 可分...原创 2019-06-21 20:33:40 · 236 阅读 · 0 评论