UCAS_Leon的博客

https://blog.csdn.net/lipengcn/article/details/80724088浅谈机器学习中的非线性关于机器学习中的线性和非线性，有两个聚焦点，一个是问题，一个是模型。问题的线性非线性，指的是样本点的分布，是否能在输入空间上用线性超平面区分。模型的线性非线性，是这次讨论的重点。模型的非线性基础数学说，线性指变量之间的数值关系，即满足成比例。因此，变量之间的多项式、指数等关系都算是非线性。网上有一批文章认为，ML 模型的线性非线性，指模型参...

示例：https://zhuanlan.zhihu.com/p/40356430https://www.pythonf.cn/read/5079随机选择训练+测试样本参数解释：https://www.cnblogs.com/Yanjy-OnlyOne/p/11288098.html调参GridSearchCV解释：https://zhuanlan.zhihu.com/p/37310443plot_partial_dependence()官方文档：https:...

机器学习模型相比于统计模型，显著的劣势是其可解释性。做回归时，统计模型有系数有P-value，机器学习却只能谈精度——但若论精度，统计模型折腾来折腾去，还是玩不过机器学习的。但人们对机器学习模型的可解析性并没有放弃，并一直在努力进行改进。树模型便是其中的佼佼者。集成树中，最出名的当属Random Forest（RF）和Gradient boosting trees（GBM），后者也是近年来大火的XGB的根基。而解释集成树模型的两大利器：Feature importance和Partial depende

笔者把自己这篇原本发布在github page上的文章迁移到了这里，原github page网址：https://iceflameworm.github.io/2019/08/28/partial-plots/部分依赖图可以用来展示一个特征是怎样影响模型预测的。可以用部分依赖图回答一些与下面这些类似的问题：1. 假如保持其它所有的特征不变，经纬度对房价有什么影响？换句话说，相同大小的房子，在不同的地方价格会有什么差别？2. 在两组不同的人群上，模型预测出的健康水平差异是由他们的负债水平引起的，还是另有原

基本流程决策树是一种常见的机器学习方法，以二分任务为例，我们希望从给定训练数据集学得一个模型用以对新示例进行分类，顾名思义，这个分类的任务是基于树的结构来决策的，这恰是人类在面临决策问题时一种很自然的处理机制。例如下图为对西瓜分类好坏瓜的决策树。一般一棵决策树包含一个根结点，若干内部结点和若干个叶结点，如下是决策树基本学习算法。决策树的生成是一个递归的过程，在决策树算法中，有三种情况会导致递归返回：（1）当前结点包含的样本全属于同一类别，无需划分。例如当前结点所有数据都是好瓜，.

sklearn.tree.DicisionTreeClassifier类中的feature_importances_属性返回的是特征的重要性，feature_importances_越高代表特征越重要，scikit-learn官方文档1中的解释如下：The importance of a feature is computed as the (normalized) total reduction of the criterion brought by that feature. It is also

本文以银行贷款数据为案例，对是否批准顾客贷款申请的决策过程进行了算法构建，并对比了决策树与随机森林两种机器学习算法之间的异同及各自的优劣。让我们从一个思维实验来阐述决策树和随机森林之间的差异。假设一个银行要给一位顾客批准一笔小额贷款，银行需要迅速做出决策。银行检查了这位顾客的信用记录和他的财政状况，并发现他还没有还上之前的贷款。因此，银行拒绝了他的申请。但是，这笔贷款跟银行所拥有的巨额资金相比实在是小的可怜，银行本可以轻易地批准这笔贷款并且也不会承担很多风险。于是，银行失去了一次赚钱的机会。现在