机器学习
sunyao_123
这个作者很懒,什么都没留下…
展开
-
训练集、验证集、测试集分别有什么作用
首先将模型参数分为可训练参数和超参数。拿神经网络来说,需要反向传播更新的参数为可训练参数,而学习率、层数、节点数、droupout等都可看作超参数。 我们通过设计不同的超参数,通过训练集训练多个模型,然后拿验证集进行验证,选出效果最好的模型,最后拿测试集进行测试。 其实有时候我觉得不一定非要区分验证集和测试集。如果打比赛,我们不知道测试集,所以将数据分为训练集和验证集,但对我们自己来说,验证集就是测试集。 需要用到验证集的还有交叉验证。 ...原创 2021-12-04 15:25:45 · 1343 阅读 · 0 评论 -
最大似然估计、最大后验概率估计、贝叶斯估计
一、基础知识 1、条件概率 2、全概率公式 3、贝叶斯公式 综上可得 4、似然和概率 在统计中,似然与概率是不同的东西。概率是已知参数,对结果可能性的预测。似然是已知结果,对参数是某个值的可能性预测。 二、参数估计 1、频率学派与贝叶斯学派 关于参数估计,统计学界的两个学派分别提供了两种不同的解决方案。频率学派认为参数虽然未知,但是客观存在的固定值,通过优化似然函数等准则来确定其值。贝叶斯学派认为参数是未观察到的随机变量,其本身也可有分布,因此,可假定参数服从一个先验分布,然后基于观测到的数据来计原创 2021-12-03 09:10:24 · 904 阅读 · 0 评论 -
各种交叉验证评价模型
1.The validation set approach(设置验证集) 就是说,在训练时,留出来一部分作为验证集(不参与训练),随时检测网络训练情况。我的做法是,每个epoch训练完后,都是用验证集进行验证,通过观察验证集来验证网络训练情况。 from sklearn.model_selection import train_test_split 2. Leave one out ...原创 2018-05-03 21:03:33 · 3566 阅读 · 0 评论 -
熵,交叉熵,KL散度,最大似然估计
熵,交叉熵,KL散度 最大似然估计原创 2018-08-27 00:27:50 · 593 阅读 · 0 评论