u014675538的博客

1.前言在机器学习中经常遇到，model的“过拟合”以及“欠拟合”问题，怎样判断呢，这里可能就需要根据偏差-方差-错误曲线来判别。因此这里我们需要对方差、偏差有一个直观感性的认识。2.方差-偏差2.1偏差当模型做出与实际情况不符的假设时就会引起错误，这种错误称为偏差。如果选择的模型与预测变量和因变量之间的关系差别太大时（通常是模型太简单），就会发生偏差。2.2方差描述的是预测值的变化范围，离散程度，

引言在本文中主要分析了决策树的相关知识，主要包含了决策树的原理分析、数学公式。首先了解到决策树是用来分类。分类问题不仅是一个普遍存在的问题，而且是其他更加复杂的决策问题的基础，更是机器学习和数据挖掘技术中最庞大的一类算法家族。决策树概念这里借用周志华西瓜书的一个例子，例如当我们拿到一个西瓜时，有颜色、根底好坏、敲打发出的声响等特征（这里的每一个特征就是一个西瓜的属性），通过一定的规则判断首先使用哪个

原理相对于感知机,Adaline算法有趣的多,因为在学习Adaline的过程中涉及到机器学习中一个重要的概念:定义、最小化损失函数。学习Adaline为以后学习更复杂高端的算法(比如逻辑斯蒂回归、SVM等)起到抛砖引玉的作用。 Adaline和感知机的一个重要区别是Adaline算法中权重参数更新按照线性激活函数而不是单位阶跃函数。算法对比感知机import numpy as npclass P

引言博主希望通过最通俗的语言理解感知机，里面大白话可能比较多，适合刚刚接触感知机的学习者。大牛请绕路感知机感知机是由两层神经元组成，其中一层为输入层，另外一层为输出层。输入层用来接收外界的输入信号，而输出层用来将结果输出。感知机一般用来进行二元数据的分类。感知机的思想主要是通过找到一个超平面，使用这个超平面将数据进行分开。感知机详解 例如有一个数据集T={(x1,y1),(x2,y2),(x3,y

1.引言本篇博客主要总结了拉格朗日乘子和KTT条件在机器学习中求解最优值的原理，博主尽量举点小例子帮助大家一起共同学习。2.拉格朗日和KTT作用我们在求解问题时，经常会遇到一些在约束条件下求解函数的。 在有等式约束条件下，我们选用拉格朗日乘子； 在有不等式约束条件下，选用KTT方法求解最优解。 因此我们可以将KTT条件看成是拉格朗日乘子的泛化。3.求解最优问题的集中形式通常我们需要求解的最优化

前言撰写本文的主要用于复习统计学习与方法这本书，用于最近科研压力大，白天无法更新博客，只能晚上不间断学习了。 由于最近忙于准备找工作，白天又只能搞科研，所以算法的推导过程略，只为了记住一些关键点。感知机算法感知机算法是一定收敛的，证明过程详见统计学习方法32页。但是这个前提是数据集一定是可以线性可分的。同时感知机算法是输入一个点，更新一次W,bW,bW,b，所以W,bW,bW,b...

引言支持向量机中讲解了函数间隔与几何间隔，我们在这篇博文中主要讲解函数间隔与几何间隔的区别。本篇博文主要讲解简单的复习知识，大佬勿喷。函数间隔与几何间隔在一个二维平面上，一个点距离超平面的距离的远近可以表示为分类预测的确信程度，距离越远表示越有把握分类正确。|w∗x+b||w∗x+b||w*x+b|表示点xxx距离超平面距离的远近，而(w∗x+b)∗y(w∗x+b)∗y(w*x+b)*...