- 博客(9)
- 收藏
- 关注
RSS订阅
1原创 【机器学习-西瓜书】第7章 贝叶斯分类器
7.1 贝叶斯决策论 (Bayesian Decision Theory)在所有相关概率都已知的情况下，贝叶斯决策论考虑的是：如何基于这些概率和误判损失来选择最优的类别标记。以多分类任务为例解释BDT的基本原理表示 将真实标记 cj 的样本误分类为 ci 所产生的损失。基于后验概率可得到 将样本 x 分类为 ci 所产生的期望损失：我们的目标是：寻找一个判定准则以最小化总体风险：贝叶斯判定准则：为最小化总体风险，只需 在每个样本上选择那个能使条件风险 R( c|x...
2022-04-01 21:59:39
3194
原创 【机器学习-西瓜书】第6章 支持向量机
一种二分类模型，是定义在特征空间上的 间隔最大的线性分类器；SVM 的学习策略是 间隔最大化，学习算法是求解凸二次规划的最优化算法，可等价于 正则化的 合页损失函数最小化问题。由简至繁的模型有： 线性可分支持向量机( (数据线性可分，硬间隔最大化)、线性支持向量机 (数据近似线性可分，软间隔最大化)、非线性支持向量机 (数据线性不可分，核技巧)。当输入空间为 欧氏空间或离散集合、特征空间为希尔伯特空间时，通过核函数将 输入从输入空间映射到特征空间得到 特征向量之间的内积。该方法称为核技巧，是一.
2022-03-31 13:58:27
3865
原创 【机器学习-西瓜书】第5章 神经网络
5.1 神经元模型定义：神经网络是由具有适应性的简单单元组成的、广泛并行互连的网络，其组织能够模拟神武神经系统对真实世界物体所做出的交互反应。这里的简单单元指 神经元neuron。在神经网络中，每个神经元与其他神经元相连，当超过一个”阈值 (threshold)“，该神经元将被激活，产生神经元输出。沿用至今的M-P神经元模型5.2 感知机与多层网络感知机 (perceptron)由两层神经元组成，输入层接收外界输入信号后传递给输出层，输出层是M-P神经元。如下图：
2022-03-25 18:35:07
2868
原创 【统计机器学习-李航】第5章 决策树
概述：决策树是一种基本的分类与回归方法，表示基于特征对实例进行分类的过程。可看作 if-then规则的集合，也可认为是 定义在特征空间与类空间上的条件概率分布。主要优点：模型可读性高，分类速度快；决策树学习包括3个步骤：1. 特征选择；2. 决策树生成3. 决策树修剪经典算法： ID3算法、C4.5算法、CART算法5.1 决策树模型与学习5.1.1 决策树模型定义5.1 （决策树）分类决策树模型是一种 描述对实例进行分类的树形结构，由结点node和有向边dir.
2022-03-25 14:36:02
2873
原创 【机器学习-西瓜书】第4章-决策树
4.1 导入一棵决策树包含一个根节点、若干个内部节点（对应于属性测试）和叶节点（对应于决策结果）；从根节点 到 每个叶节点的路径对应了一个 判定测试序列。决策树学习的目的是 产生一颗泛化能力强的决策树，基本流程遵循 简单且直观的“分而治之 (divide-and-conquer)” 策略。输入：训练集 属性集过程：定义 函数TreeGenerate (D, A)： 生成节点node； if D中样本全部属于同一个类别C th...
2022-03-25 00:25:34
1779
原创 【机器学习-西瓜书】第3章-线性模型
3.1 基本形式示例x由 d个属性描述，线性模型 试图学得一个通过属性的线性组合来进行预测的函数，即3.2 线性回归3.2.1 一元线性回归：for regression给定数据集先考虑最简单的情形：输入只有一个属性，此时线性回归试图学得:使得.如何确定w和b？=> 让均方误差最小化，即基于均方误差最小化进行模型求解的方法，称为“最小二乘法 (Least Square Method)”。即找到一条直线，是所有样本导致线上的欧式距离之和最小。最小二...
2022-03-21 23:41:45
2005
原创 【机器学习-西瓜书】第2章-模型评估
2.1 经验误差与过拟合精度(accuracy): 1-错误率 （假设m个样本中有a个样本分类错误）误差 (error): 学习器的预测输出与真是输出之间的差异 经验误差 (empirical error)：在训练集上的误差 泛化误差 (generalization error):在新样本上的误差 欠拟合和过拟合underfitting：对训练样本的一般性质尚未学好 欠拟合通常是由于学习能力低下造成的； 比较容易解决：在决策树中扩展分支；在神经网络中增加训练轮数 o.
2022-03-20 17:21:18
1639
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人