多维函数无法绘制，无法通过图像判断其是否具有适用性
分割训练集和测试集，计算测试集的成本函数
正则化
J(w, b) =
1
m
[
∑
i
=
1
m
L
(
f
(
x
i
)
,
y
i
)
]
+
λ
2
m
[
∑
i
=
1
m
(
w
j
)
2
]
\frac{1}{m}[ \sum_{i=1}^{m} L(f(x^i),y^i)]+\frac{λ}{2m}[ \sum_{i=1}^{m} (w_{j})^2]
m1[∑i=1mL(f(xi),yi)]+2mλ[∑i=1m(wj)2]
λ过大：w失去含义和价值
λ过小：过拟合
使用不同的正则化参数，进行交叉验证，尝试找到最佳λ
偏差与方差
高方差：训练集结果良好，但测试集误差过大
·扩大样本
·减少特征数量
·增加学习率
高偏差：训练集和测试集结果相近，但总体误差过大
·添加额外的特征
·添加额外的多项式特征
·减少学习率
学习曲线
训练集误差随着样本增加而上升：样本越少，越容易满足
神经网络的构建处理
误差分析
手动查看有问题的样本（全部或者抽样）
找出净影响最大的因素，针对性解决
添加数据
eg：
图像识别，将扭曲旋转的字符图像添加进样本
音频识别：将原本音频和噪音结合后添加进样本
合成数据：在文本识别时，导入新的字体
迁移学习
使用更大数据集的神经网络的隐藏层以及参数，作为当前训练的隐藏层及初始参数
然后逐步优化
误差指标
精确率：precision
T
P
T
P
+
F
P
\frac{TP}{TP+FP}
TP+FPTP
召回率：recall
T
P
T
P
+
F
N
\frac{TP}{TP+FN}
TP+FNTP
提高阈值：精确率更高，召回率更低
降低阈值：精确率更低，召回率更高
F1 score：自动权衡阈值
F1 score =
1
1
2
(
1
P
+
1
R
)
\frac{1}{\frac{1}{2}(\frac{1}{P}+\frac{1}{R}) }
21(P1+R1)1=
2
P
R
P
+
R
2\frac{PR}{P+R }
2P+RPR
机器学习—模型评估及优化
最新推荐文章于 2024-07-25 18:25:30 发布
2839
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
