为什么训练集和测试集合都是来自同一分布【转载】

什么是分布

我们说训练集和测试集服从同分布的意思是训练集和测试集都是由服从同一个分布的随机样本组成的,也就是

(Xtrain,Ytrain),(Xtest,Ytest) i.i.d. ∼F(X,Y)

测试集合训练集分布的影响

训练模型的过程实际上是拟合了训练数据的分布,如果测试数据的分布跟训练数据不一致,那么就会影响模型的效果。
参考吴恩达老师的例子

 

通俗的解释【网友给出的白话解释】---(我会在之后的学习中再返回来解释清楚)
1.就是别用从动画片数据集里做出来的动物识别程序去识别纪录片里的动物。

2.同一分布什么的还是比较抽象,以我的理解同一分布也就是训练集和测试集是一类图像就可以了。

怎么查看数据分布

具体可以查看官方文档更详细

1.直方图

利用matplotlib 中 hist 函数

plt.hist(TData, bins=50, color='steelblue', normed=True )

 

2.利用seaborn

seaborn可以更快更精细的画出密度分布

 

import seaborn as sns 
sns.distplot(TData, rug=True

 



原作者:泛酸的桂花酒
转载链接:https://www.jianshu.com/p/e5b29abb3e83

著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值