分享
一个处女座的程序猿
人工智能硕博学历，拥有十多项发明专利(6项)和软著(9项)，包括国际期刊SCI内多篇论文，多个国家级证书(2个国三级、3个国四级)，曾获国内外“人工智能算法”竞赛(包括国家级省市级等，一等奖5项、二等奖4项、三等奖2项)证书十多项，以上均以第一作者身份，并拥有省市校级个人荣誉证书十多项。目前也是国内知名博主，连续3年获CSDN十大博客之星，荣获达摩院评测官、阿里社区/CSDN社区/51CTO/华为社区等十多个开发者社区专家博主荣誉，曾受邀阿里/华为/谷歌等社区采访-评审-论坛几十次。截止2022年，AI领域粉丝超100万，文章阅读量超5000万。正在撰写《AI算法最新实战》一书，目前已30万字
展开
-
IRC/ML：金融智能风控的建模流程详解—问题分析与定义(定义目标变量【迁徙率表/Vintage分析/手肘法】)、数据预处理(特征构建【业务意义/RFM指标/WOE变换】)、模型的稳定性分析(CSI/
IRC/ML：金融智能风控的建模流程详解—问题分析与定义(定义目标变量【迁徙率表/Vintage分析/手肘法】)、数据预处理(特征构建【业务意义/RFM指标/WOE变换】)、模型的稳定性分析(CSI/PSI)之详细攻略目录金融智能风控的建模流程详解金融智能风控的建模流程详解1、问题分析与定义1.1、定义目标变量(good/bad)—全局考虑性价比 在风控项目中，目标变量虽然只有good和bad，即0和1两种，但定义目标变量的整个过程其实是原创 2022-04-17 23:33:44 · 2324 阅读 · 0 评论 -
DS/ML：数据科学技术之常用的数据脱敏算法的简介(替换算法、脱敏算法、混淆算法、数据一致性算法)、应用案例之详细攻略
DS/ML：数据科学技术之常用的数据脱敏算法的简介(替换算法、脱敏算法、混淆算法、数据一致性算法)、应用案例之详细攻略目录常用的数据脱敏算法的简介数据脱敏算法的概述常用的数据脱敏算法的简介数据脱敏算法的概述替换算法替换算法（Substitution）：最简单的方式，将敏感信息如手机号、姓名等换成其他值。>> 随机替换（Randomization）：将原始数据按照一定规则进行随机替换，如随机生成一个与原始值有相同类型和长度的值进行替换。>> 伪造替换原创 2023-07-08 17:33:10 · 1461 阅读 · 0 评论 -
成功解决TypeError: ‘(slice(None, None, None), 0)‘ is an invalid key和pandas.errors.InvalidIndexError: (sl
成功解决TypeError: '(slice(None, None, None), 0)' is an invalid key和pandas.errors.InvalidIndexError: (slice(None, None, None), 0)目录解决问题解决思路解决方法解决问题TypeError: '(slice(None, None, None), 0)' is an invalid keypandas.errors.InvalidIndexError: (slic原创 2023-05-24 21:43:54 · 2538 阅读 · 0 评论 -
DataScience：数据不均衡-数据采样之重采样方法的简介(升采样【SRO/SMOTE/AdaSyn】、降采样【TomekLink】、组合采样【SMOTE+TomekLink】)之详细攻略
DataScience：数据不均衡-数据采样之重采样方法的简介(升采样【SRO/SMOTE/AdaSyn】、降采样【TomekLink】、组合采样【SMOTE+TomekLink】)之详细攻略目录重采样方法的简介重采样方法的简介0、各自对比：过采样(增加噪声/过拟合)、欠采样(损失信息)、组合抽样(优秀)过采样（oversampling）和欠采样（undersampling）是处理不平衡数据集问题的两种基本方法。上采样/过采样下采样/欠采样组合抽样简介原创 2023-03-21 22:13:47 · 1507 阅读 · 0 评论 -
DataScience：数据不均衡-数据采样的简介及其解决方法(重采样/改权重/集成学习EasyEnsemble)、常用工具包、案例应用之详细攻略
DataScience：数据不均衡-数据采样的简介及其解决方法(重采样/改权重/集成学习EasyEnsemble)、常用工具包、案例应用之详细攻略目录数据不均衡-数据采样的简介及其解决方法数据不均衡-数据采样的常用工具包数据不均衡-数据采样的案例应用数据不均衡-数据采样的简介及其解决方法1、数据层面—重采样DataScience：数据不均衡-数据采样之重采样方法的简介(图文讲解，SMOTE概述-AdaSyn概述/Tomek Link概述/SMOTE+T原创 2020-07-21 22:29:53 · 6662 阅读 · 0 评论 -
ML之p-value：p-value/P值的简介、使用方法、案例应用之详细攻略
ML之p-value：p-value/P值的简介、使用方法、案例应用之详细攻略目录p-value/P值的简介p-value/P值的案例应用p-value/P值的简介1、p-value/P值的概述简介p-value，即P值，P值只是一种统计推断方法，在假设检验中，根据样本统计量计算出来的概率值，用于衡量样本统计量与总体参数之间的偏差程度。P值小表示观察到的数据在假设下发生的概率很小，因此可以拒绝该假设。P值大表示观察到的数据在假设下发生的概率很大，因此不能拒绝该假原创 2020-11-12 23:21:13 · 3532 阅读 · 0 评论 -
ML之FS之RFE：RFE递归特征消除算法的简介、代码实现、案例应用之详细攻略
ML之FS之RFE：RFE递归特征消除算法的简介、代码实现、案例应用之详细攻略目录RFE递归特征消除算法的简介RFE递归特征消除算法的代码实现RFE递归特征消除算法的案例应用RFE递归特征消除算法的简介RFE递归特征消除算法的概述简介使用一个基模型来进行多轮训练，每轮训练后，消除若干权值系数的特征，再基于新的特征集进行下一轮训练。目的递归特征消除(RFE)的目标是递归地考虑越来越小的特征集来选择特征。RFE 通常用于消除噪声或冗余特征，以提高模型的预测性能和可原创 2023-04-24 23:48:09 · 1175 阅读 · 1 评论 -
ML之FE：特征工程/数据预处理中的数据数字化/特征编码化之统计编码(基于统计量的编码，频率编码、概率编码、联合频率编码、权重编码、目标编码、CatBoost 编码、平均数编码等)的简介、案例应用之详
ML之FE：特征工程/数据预处理中的数据数字化/特征编码化之统计编码(基于统计量的编码，频率编码、概率编码、联合频率编码、权重编码、目标编码、CatBoost 编码、平均数编码等)的简介、案例应用之详细攻略目录统计编码的简介统计编码的案例应用统计编码的简介统计编码的概述简介统计编码是特征编码的一种方法，它利用统计信息对类别特征进行数值化编码。(1)、编码原则：编码值越大表示类别越重要，或与目标变量相关性越强。核心思想统计编码的主要思想是使用各种统计量数值化表示类别特原创 2023-04-23 21:27:48 · 771 阅读 · 0 评论 -
XAI/ML：机器学习模型可解释性之explainability和interpretability区别的简介、区别解读、案例理解之详细攻略
XAI/ML：机器学习模型可解释性之explainability和interpretability区别的简介、区别解读、案例理解之详细攻略目录机器学习模型可解释性之explainability和interpretability区别的简介、区别解读、案例理解机器学习模型可解释性之explainability和interpretability区别的简介、区别解读、案例理解1、《explainabilityVS interpretability》翻译参考文章：Paper：《Explai原创 2022-09-06 22:41:24 · 2508 阅读 · 1 评论 -
ML之CatBoost：金融风控之通过数据预处理(中位数填充/校验同分布/文本型日期拆解/平均数编码-标签编码)利用CatBoost算法+模型可解释性(Shap/LIME)预测用户的车险是否为欺诈行为
ML之CatBoost：金融风控之通过数据预处理(中位数填充/校验同分布/文本型日期拆解/平均数编码-标签编码)利用CatBoost算法+模型可解释性(Shap/LIME)预测用户的车险是否为欺诈行为目录车险是否为欺诈行为案例简介通过数据预处理(中位数填充/校验同分布/文本型日期拆解/平均数编码-标签编码)利用CatBoost算法+模型可解释性(Shap/LIME)预测用户的车险是否为欺诈行为实现代码车险是否为欺诈行为案例简原创 2022-07-04 00:00:42 · 1586 阅读 · 0 评论 -
ML之RFM：金融风控-保险理赔案件客户细分之利用RFM模型筛选非优质客户(基于已赔案件/出险的客户)为承保部门提供参考及其代码实现
ML之RFM：金融风控-保险理赔案件客户细分之利用RFM模型筛选非优质客户(基于已赔案件/出险的客户)为承保部门提供参考及其代码实现目录利用RFM模型筛选非优质客户(基于已赔案件/出险的客户)为承保部门提供参考全部代码实现利用RFM模型筛选非优质客户(基于已赔案件/出险的客户)为承保部门提供参考# 1、定义数据集车牌号 R F M10001 10 1 80010002 30 2 140010003 50 3 200010004 70 4 260010005 90 5原创 2022-06-27 00:00:19 · 3737 阅读 · 0 评论 -
ML之FE：金融风控—基于预处理(PSI+标签编码+文本型抽数字+缺失值RF模型拟合填充)+多种筛选指标(PCA/IV值/Gini/熵/丰富度)利用CatBoost实现贷款违约二分类预测案例之详细攻略
ML之FE：金融风控—基于预处理(PSI+标签编码+文本型抽数字+缺失值RF模型拟合填充)+多种筛选指标(PCA/IV值/Gini/熵/丰富度)利用CatBoost实现贷款违约二分类预测案例之详细攻略目录基于预处理(PSI+标签编码+文本型抽数字+缺失值RF模型拟合填充)+多种筛选指标(PCA/IV值/Gini/熵/丰富度)利用CatBoost实现贷款违约二分类预测案例一、数据集简介二、预处理数据集三、基于预处理/特征工程后的数据利用各种筛选指原创 2020-11-08 14:36:35 · 2104 阅读 · 0 评论 -
DataScience：数据生成之在原始数据上添加小量噪声(可自定义噪声)进而实现构造新数据(dataframe格式数据存储案例)
DataScience：数据生成之在原始数据上添加小量噪声进而实现构造新数据目录数据生成之在原始数据上添加小量噪声进而实现构造新数据代码实现相关文章DataScience：数据生成之在原始数据上添加小量噪声进而实现构造新数据DataScience：数据生成之在原始数据上添加小量噪声进而实现构造新数据实现数据生成之在原始数据上添加小量噪声进而实现构造新数据代码实现# DataScience：数据生成之在原始数据上添加小量噪声进而实现构造新数据imp..原创 2022-10-15 09:40:22 · 1648 阅读 · 0 评论 -
ML之shap：分析基于shap库生成的力图、鸟瞰图、散点图等可视化图的坐标与内容详解之详细攻略
(2)、该图显示，在该数据集中，一个称为 LSTAT（根据教育程度和职业，人口地位较低的百分比）的特征对预测的影响最大，而较高的 LSTAT 会降低预测的房价。(2)、对某个样本，模型预测患病的概率，就是model2exp.expected_value[1]与该样本各个特征shap值之和。(1)、对某个样本，模型预测为患病的概率，为测试集患病的平均概率和该样本各特征对患病预测结果的shap值之和；1)、这个向上倾斜的事实表明，你持球越多，模型对赢得比赛最佳球员奖的预测就越高。......原创 2022-08-28 23:57:22 · 3119 阅读 · 1 评论 -
ML之PDP：机器学习可解释性之部分依赖图(Partial Dependence Plots)之每个特征如何影响您的预测？
ML之PDP：机器学习可解释性之部分依赖图(Partial Dependence Plots)之每个特征如何影响您的预测？原创 2022-07-11 23:17:13 · 2754 阅读 · 0 评论 -
DataScience&ML：基于heart disease心脏病分类预测数据集利用决策数算法基于graphviz/eli5/pdpbox/shap库实现模型可解释性(全局/部分/局部解释)之详细攻略
DataScience&ML：基于heart disease心脏病分类预测数据集利用决策数算法基于graphviz/eli5/pdpbox/shap库实现模型可解释性(全局特征重要性解释/部分特征重要性/局部特征重要性解释/局部决策图可解释/误分类样本可视化)之详细攻略目录基于心脏病分类预测数据集利用等算法实现模型可解释性# 1、定义数据集# 2、数据预处理# 2.0、数据分析—整体报告 # 2.1、特征编码—变量数字化# 2.2、数据分析及其可视化# 2.2.1、特征之间相关性热图可视化 # 2.2.2、原创 2022-08-18 00:09:24 · 3081 阅读 · 1 评论 -
Python编程语言学习：python中浅复制/深复制(或浅拷贝/深拷贝)的简介、案例应用注意事项之详细攻略
Python编程语言学习：python中浅复制/深复制(或浅拷贝/深拷贝)的简介、案例应用注意事项之详细攻略目录python中浅复制/深复制(或浅拷贝/深拷贝)的简介 1、可变不可变的数据类型2、赋值、浅拷贝、深拷贝区别(1)、赋值—对象赋值实际上是简单的对象引用(2)、浅拷贝(只拷贝父对象)和深拷贝区别(完全拷贝父对象及其子对象)python中浅复制/深复制(或浅拷贝/深拷贝)的案例代码理解1、浅拷贝copy.copy——原始对象list1(赋值操作)结果肯定会变，但本代码研究对象是浅复制的东西list2原创 2022-08-12 23:34:02 · 2119 阅读 · 1 评论 -
成功解决IPython.core.display.HTML object
成功解决IPython.core.display.HTML object。原创 2022-08-12 23:17:10 · 4673 阅读 · 0 评论 -
IPython：利用python语言将后缀为ipynb文件中的输出的图片在py文件中编程进行可视化—即如何将IPython.core.display.HTML类型的数据进行图表可视化
IPython利用python语言将后缀为ipynb文件中的输出的图片在py文件中进行可视化—即如何将IPython.core.display.HTML类型的数据进行图表可视化。原创 2022-08-01 00:50:54 · 1887 阅读 · 0 评论 -
ML之FE：数据预处理中基于pandas实现类别型字段数据编码(包括自定义编码映射字典)、目标变量布尔类型化且同时输出raw_df和df数据之代码实现攻略
ML之FE：数据预处理中基于pandas实现类别型字段数据编码(包括自定义编码映射字典)、目标变量布尔类型化且同时输出raw_df和df数据之代码实现攻略目录一、类别型字段数据编码二、数据预处理中基于pandas实现类别型数据数值化(包括自定义编码映射字典)、目标变量布尔类型化且同时输出raw_df和df数据一、类别型字段数据编码1、利用cat函数实现类别型字段编码处理：先新增gender1列，再对该列进行类别赋值#Categorical按某一列重新编码分类：如性别、时间等原创 2022-07-26 21:06:20 · 1591 阅读 · 0 评论 -
XAI/ML之LIME：可解释性之SP-LIME的简介、原理、使用方法、经典案例之详细攻略
XAI/ML之LIME：可解释性之SP-LIME的简介、原理、使用方法、经典案例之详细攻略目录SP-LIME简介—Submodular PickLIME子模挑选Submodular Pick(SP)的原理相关文章Py之lime：lime库的简介、安装、使用方法之详细攻略ML之LIME：LIME/SP-LIME的简介、原理、使用方法、经典案例之详细攻略ML之LIME：SP-LIME的简介、原理、使用方法、经典案例之详细攻略SP-LIME简介—Submodular Pi原创 2022-07-17 22:07:52 · 1882 阅读 · 0 评论 -
Paper：可解释性之SHAP《Fast TreeSHAP: Accelerating SHAP Value Computation for Trees》翻译与解读
Paper：可解释性之SHAP《Fast TreeSHAP: Accelerating SHAP Value Computation for Trees》翻译与解读目录《Fast TreeSHAP: Accelerating SHAP Value Computation for Trees》翻译与解读Abstract1.Introduction2.Related Work3.Background4 Fast TreeSHAP5.Evaluation原创 2022-07-09 19:38:19 · 1422 阅读 · 0 评论 -
DataScience&ML：风控场景之模型监控的意义、具体内容【线上线下一致性监控、前端监控(客群稳定性/风控决策全流程)、后端监控(模型性能评估/资产质量分析)、模型表现监控和模型影响】之详细攻略
DataScience&ML：金融科技领域之风控场景之模型监控的意义、具体内容—16大指标【线上线下一致性监控、前端监控(客群稳定性/风控决策全流程)、后端监控(模型性能评估/资产质量分析)、模型表现监控和模型影响分析】之详细攻略目录风控场景之模型监控的意义模型监控的意义1、中英文对照—风控模型监控指标相关模型监控的具体内容—相关指标(以评分卡模型监控为例)0、模型监控的具体内容主要来源的三个阶段1、线上线下一致性监控报告1.1、风控模型上线部署4阶段1.2、动态监控模型的必要性及其内容—前提：统一数据源和原创 2022-06-23 23:58:27 · 2194 阅读 · 0 评论 -
ML之CSI：特征稳定性指标(Characteristic Stability Index)的简介(特征筛选/特征监控、对比CSI和PSI指标)、使用方法、案例应用之详细攻略
ML之CSI：特征稳定性指标(Characteristic Stability Index)的简介(特征筛选/特征监控、CSI和PSI指标对比)、使用方法、案例应用之详细攻略目录CSI(特征稳定性指标)的简介1、CSI特征稳定性指标的概述(特征筛选/特征监控)2、CSI和PSI指标对比CSI(特征稳定性指标)的使用方法CSI(特征稳定性指标)的案例应用CSI(特征稳定性指标)的简介1、CSI特征稳定性指标的概述(特征筛选/特征监控)简介特征原创 2022-06-20 23:58:20 · 2581 阅读 · 0 评论 -
DataScience&ML：金融科技之风控领域的CreditRisk+模型(信用风险度量模型)的简介、案例应用(代码实现)之详细攻略
DataScience&ML：金融科技之风控领域的CreditRisk+模型(信用风险度量模型)的简介、案例应用(代码实现)之详细攻略目录CreditRisk+模型的简介1、CreditRisk+模型的背景2、模型框架2.0、CreditRisk+模型简介2.1、违约事件的描述2.2、风险暴露的频段分级2.3、各个频段级的贷款违约数量和违约损失概率分布2.4、贷款组合的违约损失分布2.5、模型评价—模型的优缺点CreditRisk+模型的应用1、根据贷款基本信息进行频段切分2、计算各个频段的违约概率和期望损原创 2022-06-13 19:45:00 · 2567 阅读 · 0 评论 -
ML之Scorecard：风控场景之金融评分卡模型构建—将逻辑回归LoR模型结果转为评分卡之详细攻略风控场景之金融评分卡模型之利用LoR模型权重变量系数正负符号结合p-value/P值大小实现变量筛选
ML之FE：风控场景之金融评分卡模型之利用LoR模型权重变量系数正负符号结合p-value/P值大小实现变量筛选目录利用LoR模型权重变量系数正负符号结合p-value/P值大小实现变量筛选1、先根据LoR模型中各变量系数符号(而非大小)实现变量筛选1.1、在评分卡模型中，如何根据LoR模型中各特征的权重系数进行特征筛选1.2、变量系数的正负问题分析2、再根据p-value/P值进行变量筛选 如果所有变量的系数，均为正数，则模型有效； 如果有一些变量的系数，出现了负数，则说明有一些原创 2022-06-19 00:05:17 · 1940 阅读 · 0 评论