2018年12月_coolboygym

12月 11月 10月 09月 08月 06月 05月 04月 03月 01月

翻译在XGBoost中通过Early Stop避免过拟合

本文翻译自Avoid Overfitting By Early Stopping With XGBoost In Python，讲述如何在使用XGBoost建模时通过Early Stop手段来避免过拟合。全文系作者原创，仅供学习参考使用，转载授权请私信联系，否则将视为侵权行为。码字不易，感谢支持。以下为全文内容：过拟合问题是在使用复杂的非线性学习算法时会经常碰到的，比如gradient bo...

2018-12-15 22:10:58 8224

原创使用Python计算bootstrap置信区间

bootstrap置信区间假设总体的分布F未知，但有一个容量为n的来自分布F的数据样本，自这一样本按有放回抽样的方法抽取一个容量为n的样本，这种样本称为bootstrap样本。相继地、独立地自原始样本中抽取很多个bootstrap样本，利用这些样本对总体F进行统计推断，这种方法成为非参数bootstrap方法，又称自助法。使用bootstrap方法可以求得变量(参数)的置信区间，称作boot...

2018-12-02 17:53:07 10036

原创使用SQL计算AUC值

背景在开发一些机器学习应用时，经常需要展示模型的ROC曲线以及AUC值。我们固然可以在代码中编写函数或者直接调用已有的软件包来计算，但在某些场景下当面临的数据量很大时，网络的传输可能会影响系统的性能。这种情况下可以考虑直接在SQL语句中计算，而不需要将数据传回到客户端，从而提升效率和稳定性。实现计算AUC值需要两个参数：模型的输出值和样本真实的标签。我们可以假设数据库中有一个表用来保存这两个...

2018-12-02 17:07:00 3697 1