![](https://img-blog.csdnimg.cn/64178a14b2df483d982432dc96318947.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
西瓜书-机器学习(学习笔记)
文章平均质量分 79
主要是机器学习过程的笔记和知识点总结。
旋转的油纸伞
中山大学,博客专家认证,人工智能领域优质创作者。
理想是造福全人类。
展开
-
机器学习+西瓜书笔记第2章【贝叶斯分类器】
贝叶斯公式:实际上,分母为全概率公式,分子为联合概率。在机器学习中,更常见的形式为贝叶斯公式的作用在于将P(B|A)的估计转化为估计P(A|B)和P(B)原创 2023-02-16 11:32:25 · 707 阅读 · 0 评论 -
机器学习之【最大熵模型】
• 最大熵模型的学习可以形式化为约束最优化问题。• 对于给定的数据集以及特征函数:f i (x,y)• 最大熵模型的学习等价于约束最优化问题:• 这里,将约束最优化的原始问题转换为无约束最优化的对偶问题,通过求解对偶问题求解原始间题:• 引进拉格朗日乘子,定义拉格朗日函数:• 最优化原始问题到对偶问题:求得P(y|x)原创 2022-10-13 10:59:01 · 868 阅读 · 1 评论 -
机器学习之【蒙特卡罗法】
蒙特卡罗法要解决的问题是,假设概率分布的定义己知,通过抽样获得概率分布的随机样本,并通过得到的随机样本对概率分布的特征进行分析。• 就是说,任何一个函数的积分都可以表示为某个函数的数学期望的形式,而函数的数学期望又可以通过函数的样本均值估计。• 假设q(x)是建议分布的概率密度函数,并且q(x)的c倍一定大于等于p(x),其中 c > 0,如图中所示。• 如果p(x)的涵盖体积占cq(x)的涵盖体积的比例很低,就会导致拒绝的比例很高,抽样效率很低。找一个可以直接抽样的分布,称为。• 接受-拒绝法的优点是。原创 2022-10-11 11:03:19 · 1752 阅读 · 0 评论 -
机器学习之【提升方法】
• 1995年,Freund和Schapire提出了Adaboost (Adaptive Boosting)算法,效率和原来Boosting算法一样,但是不需要任何关于弱学习器性能的先验知识,可以非常容易地应用到实际问题中。例如:学习算法A在a情况下失效,学习算法B在b情况下失效,那么在a情况下可以用B算法,在b情况下可以用A算法解决。• 在概率近似正确(probably approximately correct, PAC)学习的框架中,一个概念(类),如果存在一个多项式的学习算法能够学习它,并且。原创 2022-10-10 21:08:54 · 681 阅读 · 0 评论 -
机器学习笔记第1章【机器学习导论】
写此文章主要是对机器学习知识的积累以及补充,仅做学习之用。经验风险越小,学习的就越多。原创 2022-09-25 11:03:44 · 571 阅读 · 0 评论 -
西瓜书学习笔记第6章【支持向量机】
直观上看,应该去找位于两类训练样本“正中间”的划分超平面,即图6.1中红色的那个,因为该划分超平面对训练样本局部扰动的“容忍”性最好.例如,由于训练集的局限性或噪声的因素,训练集外的样本可能比图6.1中的训练样本更接近两个类的分隔界,这将使许多划分超平面出现错误,而红色的超平面受影响最小,换言之,这个划分超平面所产生的分类结果是。缓解该问题的一个办法是允许支持向量机在一些样本上出错.为此,要引入“软间隔”(soft margin)的概念,如图6.4所示.其中每个样本点对应一个特征向量。原创 2022-09-20 21:17:32 · 320 阅读 · 0 评论 -
西瓜书学习笔记第5章【神经网络】
西瓜书学习笔记第5章【神经网络】5.1神经元模型5.2 感知机与多层网络一、感知机二、多层功能神经元(多层网络)5.3误差逆传播算法(反向传播(BP)算法)对各个参数更新公式的推导“早停(early stopping)”“正则化(regularization)”5.4 全局最小与局部极小“跳出”局部极小5.5其他神经网络(简介)5.5.1径向基函数(RBF)网络5.5.2自适应谐振理论(ART)网络5.5.3自组织映射(SOM)网络5.5.4级联相关网络5.5.5Elman网原创 2022-04-13 22:57:47 · 2150 阅读 · 0 评论 -
西瓜书学习笔记第4章(决策树)
西瓜书学习笔记第4章(决策树)4.1基本流程4.2划分选择4.2.1信息增益4.2.2增益率4.2.3 基尼指数4.3剪枝处理4.3.1预剪枝(Prepruning)4.3.2 后剪枝(postpruning)4.4 连续与缺失值4.4.1 连续值处理4.4.2 缺失值处理4.5 多变量决策树原创 2022-04-11 16:54:58 · 1688 阅读 · 0 评论 -
西瓜书学习笔记第3章(线性模型)
西瓜书学习笔记第3章(线性模型)3.1基本形式3.2线性回归3.3对数几率回归3.4线性判别分析(Linear Discriminant Analysis ,简称LDA)3.5多分类学习3.6类别不平衡问题原创 2022-04-10 14:23:49 · 1102 阅读 · 0 评论 -
西瓜书学习笔记第2章(模型评估与选择)
西瓜书学习笔记第二章(模型评估与选择)2.1经验误差与过拟合2.2评估方法2.2.1留出法(hold-out)2.2.2交叉验证法(cross validation)2.2.3自助法(bootstrapping)2.2.4调参与最终模型2.3性能度量(performance measure)2.3.1错误率与精度2.3.2查准率、查全率与F12.3.3ROC 与 AUC2.3.4代价敏感错误率与代价曲线2.4比较检验2.4.1假设检验2.4.2交叉验证t检验2.4.3McNem原创 2022-04-09 20:03:19 · 1202 阅读 · 0 评论 -
西瓜书学习笔记第1章(绪论)机器学习
西瓜书学习笔记第1章(绪论)机器学习1.1引言1.2基本术语1.3假设空间1.4归纳偏好1.5发展历程1.6应用现状原创 2022-04-08 22:21:12 · 508 阅读 · 0 评论