![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
学习日记
DatCat
金融工程硕士毕业,专业方向为数据科学与量化投资,不定期分享自己的学习笔记与心得,希望能与各位一起进步
展开
-
2020-1-6 学习笔记
样本不平衡问题怎么解决项目中出现了二分类数据不平衡问题,研究总结下对于类别不平衡问题的处理经验:为什么类别不平衡会影响模型的输出?许多模型的输出类别是基于阈值的,例如逻辑回归中小于0.5的为反例,大于则为正例。在数据不平衡时,默认的阈值会导致模型输出倾向与类别数据多的类别。因此可以在实际应用中,解决办法包括:调整分类阈值,使得更倾向与类别少的数据。选择合适的评估标准,比如ROC或...原创 2020-01-06 10:05:35 · 216 阅读 · 0 评论 -
2020-1-3学习笔记
特征工程有这么一句话在业界广泛流传:数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已。那特征工程到底是什么呢?顾名思义,其本质是一项工程活动,目的是最大限度地从原始数据中提取特征以供算法和模型使用。通过总结和归纳,人们认为特征工程包括以下方面:金融领域的几大模型:客户流失模型银行客户流失是指银行的客户终止在该行的所有业务,并销号。但在实际运营中,对于具体业务部门,银...原创 2020-01-03 15:49:58 · 365 阅读 · 0 评论 -
2019-12-19学习日记
集成学习boosting 每个弱分类器的生成是串行的AdaBoostGBDTXGBoost(特征粒度上是并行的)bagging 每个弱分类器的生成是并行的random forestAdaBoostAdaptive Boost 自适应提升GBDTGradient Boosting Decision Tree 梯度提升树新的提升树对残差进行训练...原创 2019-12-19 10:45:07 · 90 阅读 · 0 评论 -
2019-12-18学习日记
WOEweight of evidence 证据权重WOE是对原始自变量的一种编码形式pyi是这个组中响应客户(风险模型中,对应的是违约客户,总之,指的是模型中预测变量取值为“是”或者说1的个体)占所有样本中所有响应客户的比例,pni是这个组中未响应客户占样本中所有未响应客户的比例,#yi是这个组中响应客户的数量,#ni是这个组中未响应客户的数量,#yT是样本中所有响应客户的数量,#nT...原创 2019-12-18 17:20:21 · 98 阅读 · 0 评论 -
2019-12-16学习
auc指标和roc曲线aucarea under curve roc 曲线下的面积roc曲线receiver operating characteristic curve 接受者操作特征曲线横轴为FP rate,纵轴为TP rateTP rate和FP rate真正类率 FPR=FP/(FP+TN) 错误预测为正样本的负样本占负样本的比例负正类率 TPR=TP/(TP+...原创 2019-12-16 17:17:46 · 312 阅读 · 0 评论