SofaSofa
SofaSofa数据科学社区
http://SofaSofa.io
数据科学社区
展开
-
【数据实战】足球运动员身价估计
本次数据项目的主题是足球运动员身价估计。每个足球运动员在转会市场都有各自的价码。本次数据练习的目的是根据球员的各项信息和能力值来预测该球员的市场价值。 标杆模型提供了两个思路:第一个是找到很少数的几个关键特征然后训练模型,比如四个变量的决策树模型(Python),这个模型的MAE为39.03。第二个思路是门将/非门将随机森林(Python),也就是说根据球员位置分别训练随机森林。这个方法的MAE为...原创 2018-05-12 22:43:18 · 2926 阅读 · 3 评论 -
关于numpy的种种
python numpy里array和matrix的区别?二维numpy.array转为一维的numpy.array或者list怎么对2维的numpy array取整?numpy里矩阵乘法matmul,@和dot的区别?sklearn算法里输入的数据集是要求pandas.DataFrame还是numpy.array呢numpy.array转换为图片并显示出来如何在numpy array尾部增加一行...原创 2018-05-21 12:15:52 · 239 阅读 · 0 评论 -
【形状识别:是方还是圆】CNN还是逻辑回归?
SofaSofa的练习项目【形状识别:是方还是圆】,主要针对于数据新人、尤其图像处理、识别方面的新手进行自我练习、自我提高,与大家切磋。在同学们的催促下,我们终于上传了标杆模型。标杆模型1:逻辑回归模型模型2:基于keras的CNN完整代码点击这里。由于这次项目非常简单,大家得到100%的准确率的机会是很高的。甚至不用神经网络模型,都是有机会得到100%的哦。...原创 2018-06-01 13:45:39 · 1038 阅读 · 0 评论 -
机器学习中关于“调参”的种种问题
参数与超参的区别是什么?调参中的GridSearch是什么意思?xgboost怎么调参?利用交叉验证调参后还需要用完整的数据集重新训练吗?随机森林如何调参?glmnet中的参数lambda.min.ratio什么意思...原创 2018-07-16 09:38:07 · 791 阅读 · 0 评论 -
谷歌内部机器学习术语表
本术语表中列出了一般的机器学习术语和 TensorFlow 专用术语的定义。完整版请点击这里机器学习术语词典。AA/B 测试 (A/B testing) 一种统计方法,用于将两种或多种技术进行比较,通常是将当前采用的技术与新技术进行比较。A/B 测试不仅旨在确定哪种技术的效果更好,而且还有助于了解相应差异是否具有显著的统计意义。A/B 测试通常是采用一种衡量方式对两种技术进...原创 2018-09-14 12:34:07 · 317 阅读 · 0 评论 -
K-Means算法、非负矩阵分解(NMF)与图像压缩(Python)
K-Means算法是最基础的聚类算法、也是最常用的机器学习算法之一。 本教程中,我们利用K-Means对图像中的像素点进行聚类,然后用每个像素所在的簇的中心点来代替每个像素的真实值,从而达到图像压缩的目的。非负矩阵分解(Non-negative Matrix Factorization, NMF)是一种对非负矩阵进行低维近似逼近的常见方法,同样也能达到图像压缩的目的。 0. 前言K...原创 2018-10-03 12:16:31 · 2568 阅读 · 0 评论 -
GMM与EM算法的Python实现
GMM与EM算法的Python实现高斯混合模型(GMM)是一种常用的聚类模型,通常我们利用最大期望算法(EM)对高斯混合模型中的参数进行估计。本教程中,我们自己动手一步步实现高斯混合模型。完整代码在第4节。预计学习用时:30分钟。本教程基于Python 3.6。原创者:u_u | 修改校对:SofaSofa TeamM |1. 高斯混合模型(Gaussian Mixture mode...原创 2019-04-30 14:23:10 · 8360 阅读 · 11 评论 -
【教程】SHAP值解释xgboost模型的特征重要性-SofaSofa
利用SHAP解释Xgboost模型Xgboost相对于线性模型在进行预测时往往有更好的精度,但是同时也失去了线性模型的可解释性。所以Xgboost通常被认为是黑箱模型。2017年,Lundberg和Lee的论文提出了SHAP值这一广泛适用的方法用来解释各种模型(分类以及回归),其中最大的受益者莫过于之前难以被理解的黑箱模型,如xgboost和神经网络模型。本教程中,我们在真实数据集上进行实操...原创 2019-05-11 09:33:35 · 9718 阅读 · 2 评论