- 博客(4)
- 收藏
- 关注
RSS订阅原创 Softmax回归及损失函数（李沐深度学习课程、自用）
回归预测连续值，分类预测离散值分类多个输出，第i个输出代表第i类的置信度。在分类中，希望能尽可能地使正确类别的置信度远大于其它类别。同时我们可以将输出置信度转换到一个区间内（置信度的相对大小有意义，绝对大小无意义）。因此考虑将置信度转换为概率，满足两条件，非负以及小于等于1。转换的方法使用交叉熵求导时，平方项和1/2抵消。离最优解越远，梯度越大，可能会导致不稳定。在离最优解较远时，梯度并不会很大，优化过程较稳定。但是在优化末期可能不稳定。结合了前两者损失各自的优点。在优化早期梯度值不变，优化末期梯度逐渐减小
2022-06-08 10:59:46
509
原创 主成分方法建模流程及注意事项
主成分分析是一种对高维数据进行降维的方法，它通过正交变化的方法保证提取出的主成分之间信息不重叠且每一个主成分都包含了原始数据中尽可能多的信息（从第一主成分开始，信息量逐渐减少）。主成分是一种十分常用的统计分析方法，应用在回归中就是主成分回归，应用在评价中就是主成分综合评价。 做主成分分析之前一定需要先对数据进行标准化，保证所有原始数据量纲同一（如果不进行标准化，某些软件最后做出的主成分结果中，数值最大的一列指标对主成分的贡献率会非常高，结果不可靠）。数据标准化的方法一般选取Z-score方法，
2022-06-06 19:07:45
3518
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人