笔记
惊石
这个作者很懒,什么都没留下…
展开
-
第六章西瓜书随记
第六章算法原理:从几何角度,对于线性可分数据集,支持向量机就是找距离正负样本都最远的超平面,相比于感知机,其解是惟一的,泛化性能更好 几何间隔 正确分类样本时,几何间隔大于0,等价于点到超平面的距离 定义数据集X关于超平面的几何间隔为数据集X中所有样本点的几何间隔最小值。模型:数据集X关于超平面的几何间隔达到最大的那个超平面,然后套上一个SIGN函数实现分类功能。当超平面划分正确时,几何间隔大于等于0,且越靠近中央几何间隔越大。策略:给定线性可分数据原创 2022-01-27 17:06:03 · 1017 阅读 · 0 评论 -
西瓜书南瓜书第五章随记
M—P神经元(模拟生物行为的数学行为):接受N个输入,权重计算加权和,然后和自身阈值进行比较,最后经过激活函数(单个:感知机,对数几率回归多个:神经网络)感知机:激活函数为阶跃函数的神经元。【只能解决线性可分的模型】感知机的损失函数是非负的,没有误分则为0。具体采用随机梯度下降法,每次随机选取一个误分类点,所以权重W一般不确定。神经网络可以分类线性不可分的数据集(通用近似定理),且不需要复杂的特征工程。(以任意精度逼近任意复杂度的连续函数)将神经网络看做一个特征加工函数:1.单输出回归:后接一个一原创 2022-01-23 23:36:25 · 739 阅读 · 0 评论 -
西瓜书第四章随记
第四章1.算法原理 2.ID3决策树 3.C4.5决策树 4.CART决策树逻辑角度,IF ELSE 语句的组合几何角度,根据某种准测划分特征空间最终,越来越纯【将样本划分】自信息 ;信息熵就是自信息的期望值:度量随机变量X的不确定性信息熵所代表的不确定性可以理解为集合内样本的纯度。条件熵:已知X后Y的不确定性信息增益:在已知属性的取值后y的不确定性减少的量,也即纯度的提升ID3决策树:以信息增益为准则【对可能取值数目较多的属性有所偏好】C4.5决策树:以增益率为准则【对可能取值较小的属原创 2022-01-20 22:53:08 · 1129 阅读 · 0 评论 -
西瓜书第三章
第三章3.1算法原理(用发际线高度预测计算机水平)线性回归【Y】均方误差平行于Y 轴距离,正交回归【S】二值离散,有序多值离散,无序的多值离散最小二乘法,均方误差最小化。极大似然分布,估计概率分布的参数值。【对于X中n个独立同分布的样本】考研数学一概率论问题。此处设置误差服从均值为0的正态分布多元函数的最值问题——凸函数的最值问题{与高等数学相反}一元【梯度】,多元【海塞】若函数的海塞矩阵在D上是半正定的,则函数为D上的凸函数。若实对称矩阵的所有顺序主子式均为非负。凸充分性定理机器学习原创 2022-01-17 23:37:18 · 511 阅读 · 0 评论