逻辑回归会倾向于学习到 ω \omega ω最大的值，怎么解决这个问题
在损失函数中引入正则项：
L
(
θ
)
=
∑
i
=
1
N
y
i
l
o
g
(
1
1
+
exp
(
−
ω
T
x
)
)
+
(
1
−
y
i
)
l
o
g
(
exp
(
−
ω
T
x
)
1
+
exp
(
−
ω
T
x
)
+
1
2
λ
ω
2
L(\theta) = \sum_{i=1}^N y_{i}log(\frac{1}{1+\exp(-\omega^Tx)})+(1-y_{i})log(\frac{\exp(-\omega^Tx)}{1+\exp(-\omega^Tx})+ \frac{1}{2}\lambda \omega^2
L(θ)=i=1∑Nyilog(1+exp(−ωTx)1)+(1−yi)log(1+exp(−ωTxexp(−ωTx))+21λω2
通过正则项系数
λ
\lambda
λ来限制模型参数
ω
\omega
ω的值
模型复杂度
欠拟合：模型复杂度较低，在训练集和测试集上表现的准确率均较低，表现均不佳；
过拟合：模型复杂度较高，在训练集上高准确率，由于拟合了噪声，在测试集上低准确率，表现不佳；
泛化能力：模型在测试集上的表现能力，通常指预测未来数据的能力。
影响模型复杂度的原因
·模型本身的选择
solution:选择更简单的模型(LR,SVM)
·模型的参数个数
solution:减少参数个数(神经网络中减少单元个数)
·模型的参数空间选择
solution:正则化，使得
∣
θ
∣
\vert \theta \vert
∣θ∣较小
·模型拟合过少的样本
solution:获取更多的样本，图像识别中旋转，镜像等操作
正则项的作用
关于正则化的数学解释(基于线性回归)
就是对于数据不够重要的权重 λ i \lambda_{i} λi抑制的大一些，对数据分布越起作用的权重 λ i \lambda_{i} λi抑制越小，这就实现了正则化，就能够防止过拟合了！
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
