- 博客(5)
- 收藏
- 关注
RSS订阅原创 第六章西瓜书随记
第六章算法原理:从几何角度，对于线性可分数据集，支持向量机就是找距离正负样本都最远的超平面，相比于感知机，其解是惟一的，泛化性能更好 几何间隔 正确分类样本时，几何间隔大于0，等价于点到超平面的距离 定义数据集X关于超平面的几何间隔为数据集X中所有样本点的几何间隔最小值。模型:数据集X关于超平面的几何间隔达到最大的那个超平面，然后套上一个SIGN函数实现分类功能。当超平面划分正确时，几何间隔大于等于0，且越靠近中央几何间隔越大。策略：给定线性可分数据
2022-01-27 17:06:03
1034
原创 西瓜书南瓜书第五章随记
M—P神经元（模拟生物行为的数学行为）：接受N个输入，权重计算加权和，然后和自身阈值进行比较，最后经过激活函数（单个：感知机，对数几率回归多个：神经网络）感知机：激活函数为阶跃函数的神经元。【只能解决线性可分的模型】感知机的损失函数是非负的，没有误分则为0。具体采用随机梯度下降法，每次随机选取一个误分类点，所以权重W一般不确定。神经网络可以分类线性不可分的数据集（通用近似定理），且不需要复杂的特征工程。（以任意精度逼近任意复杂度的连续函数）将神经网络看做一个特征加工函数：1.单输出回归：后接一个一
2022-01-23 23:36:25
746
原创 西瓜书第四章随记
第四章1.算法原理 2.ID3决策树 3.C4.5决策树 4.CART决策树逻辑角度，IF ELSE 语句的组合几何角度，根据某种准测划分特征空间最终，越来越纯【将样本划分】自信息 ；信息熵就是自信息的期望值：度量随机变量X的不确定性信息熵所代表的不确定性可以理解为集合内样本的纯度。条件熵：已知X后Y的不确定性信息增益：在已知属性的取值后y的不确定性减少的量，也即纯度的提升ID3决策树：以信息增益为准则【对可能取值数目较多的属性有所偏好】C4.5决策树：以增益率为准则【对可能取值较小的属
2022-01-20 22:53:08
1139
原创 西瓜书第三章
第三章3.1算法原理（用发际线高度预测计算机水平）线性回归【Y】均方误差平行于Y 轴距离,正交回归【S】二值离散，有序多值离散，无序的多值离散最小二乘法，均方误差最小化。极大似然分布，估计概率分布的参数值。【对于X中n个独立同分布的样本】考研数学一概率论问题。此处设置误差服从均值为0的正态分布多元函数的最值问题——凸函数的最值问题{与高等数学相反}一元【梯度】，多元【海塞】若函数的海塞矩阵在D上是半正定的，则函数为D上的凸函数。若实对称矩阵的所有顺序主子式均为非负。凸充分性定理机器学习
2022-01-17 23:37:18
523
原创 西瓜书第一二章随记
西瓜书笔记第一章计算机系统中，“经验”以“数据”形式存在，所以机器学习的主要内容就是关于在计算机上从数据中产生“模型”的算法。根据训练数据是否具有标记信息，分为监督学习和无监督学习，分别包含分类，回归和聚类。学习过程可以看作一个在所有假设组成的空间中进行搜索的过程。在学习过程中对某中类型假设的偏好，称为“归纳偏好”。归纳偏好——选择时的价值观。其中，奥卡姆剃刀：若有多个假设与观察一致，则选最简单的那个。？？？？什么是简单的定义………对于任意的两个学习算法，误差的期望值相同《没有免费的午餐》，所以要具
2022-01-11 23:43:12
479
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人