机器学习
文章平均质量分 60
法相
只有一种英雄主义,就是在认清生活真相之后依然热爱生活
展开
-
以API方式--模型部署发布
综合网上一些经验,对模型部署发布知识进行整理;详见github:https://github.com/Stonesusu/model_service其中接口测试,一共采用两种方式:1、Postman;2、python代码开发;...原创 2020-05-06 15:25:43 · 1532 阅读 · 0 评论 -
机器学习模型实战
以蚂蚁金服支付风险异常识别为例,梳理建模过程中的步骤及思路,其中缺失部分(持续优化)会在效果验证后补充。ATEC学习赛:数据挖掘之支付风险异常识别:https://dc.cloud.alipay.com/index#/topic/intro?id=9 之所以选择此赛题,是因为此赛题长期开放,可以持续测试新的想法。废话不多说,直接开始正题。import numpy as n...原创 2019-12-23 20:53:49 · 573 阅读 · 1 评论 -
自定义损失函数(二)
自定义损失函数上述文章,介绍了用于回归的自定义损失函数;由于项目需要,尝试了用于分类的自定义损失函数;在网上查找了很多分类相关的自定义损失函数介绍,但是很多细节,现总结如下,希望能够给大家提供帮助。如有不足,请大家帮忙指正!import warningswarnings.filterwarnings("ignore")import numpy as npimport pandas a...原创 2019-11-29 15:33:04 · 4344 阅读 · 0 评论 -
贝叶斯优化 Bayesian Optimization(转载)
mark一下,感谢作者分享!https://blog.csdn.net/Snail_Ren/article/details/79005069 贝叶斯优化算法(BOA)贝叶斯优化算法(BOA)背景介绍贝叶斯优化流程形式化算法流程核心算法Prior FunctionAcquisitio...转载 2018-06-15 17:33:28 · 5807 阅读 · 0 评论 -
LightGBM源码阅读+理论分析(处理特征类别,缺省值的实现细节)(转)
mark一下,感谢作者分享!转载 2019-11-20 17:16:45 · 740 阅读 · 0 评论 -
2019年11月-12月todo
记录todo事项,帮助自己成长;1、温故知新–机器学习相关理论;2、特征衍生代码整理,及新增衍生变量;3、lightgbm模型解释,风险模型中应用模型解释;4、尝试多任务学习(自定义损失)在风险模型中的应用;5、模型组合(常规模型组合,深度学习模型组合);6、图神经网络进阶;...原创 2019-11-15 00:15:07 · 232 阅读 · 0 评论 -
自定义损失函数
lightgbm自定义示例:https://www.cnblogs.com/fujian-code/p/9804129.htmlhttps://github.com/manifoldai/mf-eng-public/blob/master/notebooks/custom_loss_lightgbm.ipynb担心链接失效:重新编辑。%load_ext autoreload%autore...原创 2019-11-09 17:18:31 · 3249 阅读 · 0 评论 -
多任务学习
自定义损失函数:https://www.cnblogs.com/fujian-code/p/9804129.html原创 2019-11-08 16:57:15 · 299 阅读 · 0 评论 -
机器学习可解释性实践
kaggle教程:https://www.kaggle.com/learn/machine-learning-explainability原创 2019-10-30 19:52:58 · 1262 阅读 · 0 评论 -
可解释的机器学习
mark一下,感谢作者分享!原文链接:https://towardsdatascience.com/interpretable-machine-learning-1dec0f2f3e6bkaggle:https://www.kaggle.com/learn/machine-learning-explainability转载 2019-10-24 11:24:09 · 728 阅读 · 0 评论 -
机器学习-重要知识点梳理
href=“https://blog.csdn.net/lrs1353281004/article/details/79529818”>https://blog.csdn.net/lrs1353281004/article/details/79529818原文地址:http://blog.csdn.net/lrs1353281004/article/details/795...转载 2019-09-21 15:29:04 · 881 阅读 · 0 评论 -
决策树的进化(ID3、C4.5、CART、GBDT、RF、DART、lambdaMART、XGBoost、lightGBM)
mark一下,感谢作者分享!决策树的进化(ID3、C4.5、CART、GBDT、RF、DART、lambdaMART、XGBoost、lightGBM)https://blog.csdn.net/qq_22194315/article/details/83752321转载 2019-08-21 22:55:27 · 617 阅读 · 0 评论 -
GNN之GraphSAGE学习
mark一下,感谢作者分享!斯坦福工程:http://snap.stanford.edu/graphsage/文末有paper和code:https://blog.csdn.net/imark11/article/details/78698844代码解析:https://www.cnblogs.com/shiyublog/p/9819086.html...转载 2019-05-28 14:31:42 · 2660 阅读 · 0 评论 -
图神经网络(GNN)的必读文章
mark一下,感谢作者分享!https://ruby.ctolib.com/article/wiki/104898Must-read papers on GNNGNN: graph neural network Contributed by Jie Zhou, Ganqu Cui and Zhengyan Zhang. Survey papers Graph...转载 2019-05-17 17:57:55 · 3749 阅读 · 1 评论 -
蚂蚁金服ATEC人工智能大赛
https://dc.antfin.com/原创 2019-04-03 14:54:36 · 869 阅读 · 0 评论 -
python自动分箱,计算woe,iv
mark一下,感谢作者分享!https://blog.csdn.net/KIDxu/article/details/88647080 笔者之前用R开发评分卡时,需要进行分箱计算woe及iv值,采用的R包是smbinning,它可以自动进行分箱。近期换用python开发, 也想实现...转载 2019-04-02 11:26:15 · 9144 阅读 · 0 评论 -
kaggle 欺诈信用卡预测(由浅入深(一)之数据探索及过采样)
项目背景数据集包含由欧洲持卡人于2013年9月使用信用卡进行交的数据。此数据集显示两天内发生的交易,其中284,807笔交易中有492笔被盗刷。数据集非常不平衡,正类(被盗刷)占所有交易的0.172%。它只包含作为PCA转换结果的数字输入变量。不幸的是,由于保密问题,我们无法提供有关数据的原始功能和更多背景信息。特征V1,V2,… V28是使用PCA获得的主要组件,没有用PCA转换的唯一特征是...原创 2019-03-18 17:51:34 · 5941 阅读 · 3 评论 -
支持向量机SVM推导及求解过程(转载)
mark一下,感谢作者分享 https://blog.csdn.net/american199062/article/details/51322852转载 2018-05-11 17:23:44 · 231 阅读 · 0 评论 -
数据比赛大杀器----模型融合(stacking&blending)(转载)
mark一下,深度好文转载,感谢作者分享 https://blog.csdn.net/u014356002/article/details/54376138英文版本 http://mlwave.com/kaggle-ensembling-guide/ 这里写链接内容这个是上面英文翻译过来的汉语翻译版本 kaggle比赛集成指南 http://m.blog.csdn.net/art...转载 2018-05-31 11:32:43 · 575 阅读 · 0 评论 -
集成学习总结&Stacking利器(mlxtend库)
mark一下,感谢作者分享! 集成学习主要分为 bagging, boosting 和 stacking方法。本文主要是介绍stacking方法及其应用。但是在总结之前还是先回顾一下继承学习。这部分主要转自知乎。1. Bagging方法:给定一个大小为n的训练集 D,Bagging算法从中均匀、有放回地选出 m个大小...转载 2018-06-01 10:50:37 · 21703 阅读 · 2 评论 -
工作中用到的模型诊断指数(转载)
mark一下,感谢作者分享! 1. 一般统计量均值、方差、最小值、最大值、1%分位数、5%分位数、 10%分位数、25%分位数、 50%分位数、75%分位数、90%分位数、 95%分位数、 99%分位数。一般要将数据排序后才能求得分位数。1.1 对每个Model(SEG_A、SE...转载 2018-07-25 13:34:58 · 657 阅读 · 0 评论 -
Kesci“魔镜杯”风控算法大赛复赛解决方案(转载)
mark一下,感谢作者分享! 来自决赛答辩第4,获得铜奖代码地址:https://github.com/wepe/PPD_RiskControlCompetition </div>...转载 2018-07-31 10:09:22 · 821 阅读 · 0 评论 -
光大证券“中文云”项目开源地址
光大“中文云”项目开源地址 为带动国内金融文本研究,光大中文云系统现已开源。7人专业团队, 6年专注研究,2万行代码,爬虫、索引、检索、统计、热度、选股一气呵成。共享地址: https://github.com/dmquant/chinesecloudhttp://image.dajiangzhang.com/djz/attachement/20141124/4bc0a929-5daa-4...原创 2018-08-07 09:31:51 · 972 阅读 · 0 评论 -
CatBoost:一个自动处理分类数据的机器学习库(转)
mark一下,感谢作者分享!http://www.atyun.com/4650.html &amp;amp;lt;div id=&amp;quot;primary&amp;quot; class=&amp;quot;content-area&amp;quot;&amp;amp;gt; &amp;amp;lt;main id=&amp;quot;main&转载 2019-01-25 18:02:25 · 1657 阅读 · 1 评论 -
Xgboost原理(转)
偶尔看到的一篇博文,写的很用心。https://blog.csdn.net/sunyaowu315/article/details/86477734转载 2019-01-29 19:14:27 · 192 阅读 · 0 评论 -
PMML 预测模型教程
mark一下,感谢作者分享!https://blog.csdn.net/wxk_1127/article/details/79797299 什么是PMMLPMML 是一种基于XML的标准语言,用于表达数据挖掘模型,可以用来在不同的应用程序中交换模型。一种非常有用的应用场景是在生产环境中部署用各种建模工具训练...转载 2019-02-22 14:51:55 · 3292 阅读 · 0 评论 -
自定义函数用于PMMLPipeline中
PMML预测模型标记语言(Predictive Model Markup Language,PMML)是一种可以呈现预测分析模型的事实标准语言。标准东西的好处就是,各种开发语言都可以使用相应的包,把模型文件转成这种中间格式,而另外一种开发语言,可以使用相应的包导入该文件做线上预测。不过,当训练和预测使用同一种开发语言的时候,PMML 就没有必要使用了,因为任何中间格式都会牺牲掉独有的优化。公司...原创 2019-02-20 17:51:59 · 4339 阅读 · 0 评论 -
图模型在反欺诈中的应用
最近在研究图模型在反欺诈中的应用,综合整理相关资料。在目前的工作中,线上用的是fast unfoloding社区发现算法。1、阿里团队公开了用无监督模型,防范信用卡欺诈(autoencoder)(非图);https://mp.weixin.qq.com/s?__biz=MzU5ODUxNzEyNA==&amp;mid=2247484173&amp;idx=1&amp;sn=3d768cef544...原创 2019-03-04 17:44:22 · 3807 阅读 · 3 评论 -
kaggle 欺诈信用卡预测(由浅入深(三)之AutoEncoder+异常检测)
mark一下原创 2019-03-26 10:53:07 · 3334 阅读 · 0 评论 -
GBDT,XGboost,Lightgbm,Catboost总结
mark一下,感谢作者分享!一、DBDT分裂GBDT使用的决策树就是CART回归树,无论是处理回归问题还是二分类以及多分类,GBDT使用的决策树自始至终都是CART回归树。 对于回归树算法来说最主要的是寻找最佳的划分点,那么回归树中的可划分点包含了所有特征的所有可取的值。在分类树中最佳划分点的判别标准是熵或者基尼系数,都是用纯度来衡量的,但是在回归树中的样本标签也是连续数值,所以再使用熵...转载 2019-03-20 20:37:51 · 4785 阅读 · 3 评论 -
kaggle 欺诈信用卡预测
mark一下,感谢作者分享!https://www.cnblogs.com/bonelee/p/9087882.html转载 2019-03-12 15:22:34 · 1609 阅读 · 0 评论 -
介绍Logistic回归比较好的博文
mark一下 感谢作者分享! https://blog.csdn.net/ligang_csdn/article/details/53838743转载 2018-05-11 17:08:10 · 166 阅读 · 0 评论