Matarin的博客

原创 决策树算法

原创 2021-09-22

'''标签编码（LabelEncoder）'''from sklearn.preprocessing import LabelEncoderle = LabelEncoder()le.fit([1,5,67,100])print(le.classes_)le.transform([1,1,100,67,5])''' 独热编码（OneHotEncoder）'''from sklearn import preprocessing #引入数据预处理模块ohe = preprocessing.O

原创 风控建模算法

逻辑回归1.原理2.损失函数损失函数可根据最大似然函数得到3.迭代方式随着每次用于更新梯度样本的增加，梯度更准确、迭代次数变少，内存消耗更严重，收敛更慢批量梯度下降：全样本更新梯度小样本梯度下降：部分样本更新梯度随机梯度下降：每次一个样本更新梯度4. 特点①统计解释性好②线性模型，准确率较低，欠拟合③模型简单，计算成本低④适用于小样本量、低特征维度XGBOOST1.原理基于每个基分类器（如CART回归分类树）的集成模型，每个分类器采用前面所有结果的残差作为目标值，

原创 2021-09-17

2021/09/17学习记录贝叶斯调参1.原理2.与随机搜索或网格搜索的不同3.优化梯度提升模型（gbm）python实现k折交叉验证1.原理2.步骤3.K-fold cross-validation 如何用于参数调优以及选择模型和特征贝叶斯调参1.原理基于目标函数的过去评估结果建立替代函数（概率模型），找到最小化目标函数的值2.与随机搜索或网格搜索的不同在尝试下一组超参数时，会参考已有评估结果，省时3.优化①目标函数：机器学习模型使用该组超参数在验证集上的损失②域空间：要搜索的超参数的取值