本文介绍了神经网络的基础知识，包括线性分类与逻辑回归的区别，损失函数及其正则化，重点讲解了softmax分类器的损失函数。此外，还详细阐述了梯度下降法，如批梯度下降、随机梯度下降和小批量梯度下降，以及反向传播的原理和在更新权重参数中的应用。
目录
由线性分类”看基础概念
1.这里的线性分类&逻辑回归的区别
”逻辑回归&线性回归“ 只有一套参数，”预测行为“是一套参数对某样本的预测值进行分类，
”线性分类“ 是由n套参数（结果有n个种类），”预测行为“是分别对某样本给出不同类别下的得分（使用softmax分类器后是概率），
2.损失函数
基础损失函数
从某样本在各类的的得分情况看损失：
当正确的种类的得分比其他所有种类得分都高是才是ok的
剩下的比分全比”score for correct class“小1时损失为0
正则化
基础损失函数的缺陷：（多个种类得分相同或相近）
引入正则惩罚项：惩罚有些参数不考虑整体性，防止过拟合
终极版损失函数：
最低0.47元/天 解锁文章
扫一扫
7万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
