- 博客(5)
- 收藏
- 关注
RSS订阅原创 吃瓜学习笔记 - 支持向量机
落在带子上的样本不计算损失(类比线性回归在线上的点预测误差为 0)，不在带子上的则以偏离带 子的距离作为损失(类比线性回归的均方误差)，然后以最小化损失的方式迫使间隔带从样本最密集的地 方穿过，进而达到拟合训练样本的目的。由于约束条件 μ ⪰ 0 是凸集，且根据对偶函数的性质(a)可知 Γ(μ, λ) 恒为凹函数，其加个负号即为凸函数，所以无论主问题是否为凸优化问题， 对偶问题恒为凸优化问题。由此可以看出，当主问题较难求解时，如 果强对偶性成立，则可以通过求解对偶问题来间接求解主问题。
2023-12-27 00:27:39
555
原创 吃瓜学习笔记 - 神经网络
神经元接收到来自n个其他神经元传递过来的输入信号，这些输入信号通过带权重的连接进行传递，神经元接收到的总输入值将于神经元的阈值(下图的θ)进行比较，然后通过“激活函数”（下图的f(·)，模拟“抑制"或者“激活”）处理以产生神经元的输出。由于感知机这种单个神经元的分类能力有限，只能分类线性可分的数据集，对于线性不可分的数据集则无能为力，比如“异或”问题。如果没有误分类，损失函数为0，而且误分类点越少，误分类点离超平面越近，损失函数值就越小。因此，神经网络既能做回归，也能做分类，而且不需要复杂的特征工程。
2023-12-25 00:17:11
944
原创 吃瓜学习笔记 - 决策树
若样本x在划分属性a上的取值已知，则将x划入与其取值对应的子结点，且样本权值在子结点中保持为w(x)。若样本x在划分属性a上的取值未知，则将x同时划入所有子结点，且样本权重在于属性值a(v)对应的子结点中调整为。从训练集生成一棵完整的决策树，然后自底向上对非叶结点进行考察，若将该结点对应的子树替换为叶节点能带来决策树泛化性能的提升，则将该子树替换为叶节点。是在决策树生成过程中，对每个节点在划分前先进行评估，若当前节点的划分不能顾戴路决策树泛化性能的提升，则停止划分并将当前节点标记为叶节点。
2023-12-21 23:27:37
1761
原创 吃瓜学习笔记 - 线性模型
梯度：一元函数的一阶导叫导数，多元函数的一阶导叫梯度。（求出各个分量Xi的偏导数，然后组成向量）(中心极限定理：若一个随机变量是很多个独立的随机变量之和，那这个随机变量就符合正态分布)，本质上是一个多元函数求最值的问题，更具体点是凸函数求最值的问题。b. 用凸函数求最值的思路求w和b。的海塞矩阵在D上是半正定的，则。西瓜书：周志华老师的《机器学习》note: 这里的x是已知量。海塞矩阵：多元函数的二阶导数。给定由d个属性描述的示例。是全局解的充分必要条件是。是关于w和b的凸函数。的海塞矩阵是半正定的。
2023-12-17 20:03:29
899
原创 吃瓜学习笔记 - 绪论 & 模型评估与选择
数据量越大，模型效果越好；对特征数值化越合理，特征收集越全越细致，模型效果越好。范围:人工智能 >机器学习>深度学习（指神经网络的那一类学习算法）5. 数据决定模型效果的上限，而算法是让模型无限逼近上线。研究从数据中学习出其潜在规律的算法的一门学科。1.2. 为什么要学习机器学习？1.3. 怎么学习机器学习。不同的ML算法有不同的偏好。1.1 什么是机器学习？数据质量的重要性>算法。
2023-12-11 23:08:28
1197
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人