- 博客(5)
- 收藏
- 关注
RSS订阅原创 西瓜书&南瓜书学习笔记5
1、无论主问题为何种优化问题，对偶问题恒为凸优化问题，因此更容易求解（尽管支持向量机主问题为凸优化问题），且原始问题的时间复杂度和特征维数呈正比（未知量为。支持向量机：支持向量机与感知机一样都是找到一个超平面划分线性可分的数据集，但支持向量机所找到的超平面距离正负样例都最远，其解是唯一的，泛化性能更好。（3）算法：上述问题为含不等式约束的优化问题且为凸优化问题，可采用求凸优化问题的方法求解，此次采用拉格朗日对偶求解。，，为了使损失函数最小，会迫使所有样本的损失为0，进而退化为严格执行的约束条件（硬间隔）。
2023-09-27 16:05:16
68
1
原创 西瓜书&南瓜书学习笔记4
给出一个有d个输入神经元、l个输出神经元，q个隐层神经元的多层前馈神经网络，其中输出层第j个神经元的阈值为θi，隐层第h个神经元的阈值为γh，输入层第i个神经元与隐层第h个神经元之间的连接权为vih（第i个输入特征在隐层第h个神经元中的权重为vih），隐层第h个神经元与输出层第j个神经元的连接权为whj（隐层第h个神经元的输出值在输出层第j个神经元的权重为whj），隐层第h个神经元接受到的输入为。此损失函数非负，若无误分类点，损失函数为0.且误分类点越少，误分类点离平面越近，损失函数越小。
2023-09-24 21:16:57
68
1
原创 西瓜书&南瓜书学习笔记3
（2）当前节点的属性集为∅或所有样本在所有属性上取值相同（没有可以根据其进行划分的属性或者有可以划分的属性，当该属性上各样本的取值均相同），无法划分。（第8行选择最优划分属性a*后，根据a*的每个取值将D划分为多个子集Dv，若Dv为空则为（3）不为空则除去属性a*后再用Dv执行程序TreeGenerate（），即在剩下的属性中选出另一最优属性再进行划分。（2）选择基尼指数最小的属性及其对应的取值作为最优划分属性和最优划分点（设最优属性为a*，最优划分点为v，则将样本集D分为a*=v的子集D1和a*！
2023-09-20 18:39:14
60
1
原创 西瓜书&南瓜书学习笔记2
原理：对于一个二分类问题，选取一个直线（用向量w表示），将样例投影到该直线上，使得标记相同的样例投影在直线上的位置尽可能接近，标记不同的样例投影在直线上的位置尽可能远离（使不同类样本的中心（均值）尽可能远，同类样本的方差尽可能小）。θ）（概率密度函数为p（x；其中ε为不受控制的随机误差，通常假设其服从均值为0的正态分布，则ε的概率密度为。相对熵（KL散度）：度量两个分布的差异，常用于度量理想分布p（x）和模拟分布q（x）之间的差异。计算信息熵时，若p（x）=0，则p（x）logbp（x）=0。
2023-09-18 20:42:16
89
原创 西瓜书&南瓜书学习笔记1
（2）交叉验证法（k折交叉验证）：将数据集划分成k个大小相似且数据分布尽可能一致（采用分层采样）的互斥子集（即D=D1∪D2∪...∪Dk，Di∩Dj=∅（i≠j）），用k-1个子集作为训练集，剩下一个作为测试集，可进行k次训练和测试，最终得到k个测试结果的均值。1、收集若干个样本，然后将其分为训练集样本和测试样本（一般训练样本为80%，测试样本为20%），训练样本的集合称为“训练集（S）”，测试样本的集合称为“测试集（T）”。在S上训练得出模型，在T上评估模型的误差，作为对泛化误差的估计。
2023-09-12 21:38:04
99
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人