- 博客(50)
- 收藏
- 关注
RSS订阅原创 风控建模十二：数据淘金——如何从APP数据中挖掘出有效变量
根据常识知识、案例分析、分布排查三种手段，挖掘出APP数据中的有用信息，衍生出有效变量
2022-11-12 11:00:43
1945
原创 风控建模十一：利用外部数据联合建模时，如何选择样本
在能看到外部数据的情况下，应该如何选择建模的样本，关注哪些问题，才能让我们尽可能全面地了解外部数据并避免建模中的各种问题。
2022-06-12 22:42:11
1683
原创 因果模型五：用因果的思想优化风控模型——因果正则化评分卡模型
因果模型五：因果模型在金融风控评分卡中的应用——因果正则化的稳定评分卡模型一、主要内容二、基本思想我们调研因果模型的出发点在于要以一种新颖的因果视角去解决金融领域模型存在的问题，所以我们的落脚点也应该在如何应用因果的思想或方法，去提高评分卡模型的精度或者稳定度。这个领域的相关文献较少，近期调研到一篇由光大科技发表的因果正则化稳定评分卡模型的文章，和大家简单分享。一、主要内容本篇文章提出了一种新颖的评分卡模型——稳定评分卡模型SSCM（Stable Scoring Card Model），该模型和传统评
2022-05-01 13:01:03
3015
6
原创 【python】玩转数据分析、建模、人工智能常用的package整理
【python】数据分析、建模领域常用package整理一、python读取各种格式的文件1、pdf文件——pdfplumber2、word文件——docx3、excel文件——xlrd一、python读取各种格式的文件1、pdf文件——pdfplumber2、word文件——docxfrom docx import Document#读取word文档document = Document('sample.docx')#获取所有段落all_paragraphs = document.para
2022-04-28 08:20:55
2063
原创 信贷风控三：如何搭建知识图谱，赋能信贷业务
信贷风控三：如何搭建知识图谱，赋能信贷业务一、如何构建知识图谱1、搭建知识图谱需要哪些数据2、如何设计知识图谱结构2.1 隐性申请节点结构2.2 显性申请节点结构2.3 两种知识图谱结构的特点对比二、知识图谱的优势1、提高聚集变量计算效率2、实现异常团簇的敏捷识别3、为关联关系的深度挖掘提供平台三、知识图谱如何应用及常见问题1、图谱应用方式2、知识图谱回溯问题3、知识图谱防范团伙欺诈的及时性问题脱胎于搜索引擎优化的知识图谱技术，本质上是一种揭示实体关系的信息网络，如今已广泛应用于各个领域。在信贷领域，知识
2022-03-16 18:20:20
4303
1
原创 【python】python multiprocessing多进程处理dataframe，快得飞起~
【python】python multiprocessing多线程处理dataframe，快得飞起~建模过程中的特征工程工作往往是最耗时的大工程，很多场景下要使用pandas对数据进行加工处理，但pandas对数据的处理不能像Lightgbm训练数据一样自动设置了满线程运算（通过num_threads参数调控），导致其对数据的处理效率非常低下，尤其是在一个多核服务器上处理数据时，如果不做特殊处理，pandas对数据的运算只能使用一个核，是对时间和资源的极大浪费，本篇博客就来分享一下如何使用multipro
2022-01-07 18:21:34
7281
10
原创 【深度学习】Linux完全离线搭建tensorflow_gpu环境详尽流程：RHLS7.8+cuda11.0+cudnn11.3+tensorflow_gpu2.6-cp38
【深度学习】Linux完全离线搭建tensorflow_gpu环境详尽流程：RHLS7.8+cuda11.0+cudnn11.3+tensorflow_gpu2.6-cp38一、查看操作系统二、安装gcc三、安装epel四、安装相应版本的kernel五、禁用nouveau六、安装cuda6.1 安装cuda6.2 环境变量配置6.3 测试是否安装成功七、安装NVIDIA驱动八、安装cudnn九、安装anaconda十、安装tensorflow_gpu十一、远程访问jupyter设置一、查看操作系统ca
2021-09-10 11:39:10
1435
1
原创 【市场营销学四】市场营销环境
【市场营销学四】市场营销环境一、市场营销环境含义及特点二、微观营销环境三、宏观环境四、环境分析与营销对策4.1、威胁与机会评估4.2、企业营销对策企业市场营销活动既受自身制约，也受外部条件制约，关注营销环境变化，识别环境造就的机会和威胁，是营销人员主要职责之一。一、市场营销环境含义及特点定义：市场营销环境是存在于企业营销系统外部的不可控制或难以控制的因素和力量，这些因素和力量是营销企业营销活动及其目标实现的外部条件。分类：按照相关性的远近，可分为微观营销环境和宏观营销环境；按照对企业营销活动的营销
2021-08-26 11:11:54
852
原创 【市场营销学三】企业战略与营销管理
【市场营销学三】企业战略与营销管理一、企业战略与规划1.1、企业战略特征1.2、企业战略层次结构1.3、企业战略规划过程二、总体战略2.1、认识和界定企业使命2.2、区分战略业务单位2.3、明确投资组合2.4、选择业务成长战略三、经营战略3.1、分析竞争环境3.2、选择竞争战略四、营销过程与管理4.1、决定目标市场和定位4.2、发展营销组合4.3、制订计划和实施、控制营销活动企业战略是企业面对可能发生的重要变化和趋势，为了主动适应市场和环境要求，以求得更好的生存和发展而进行的系统思考、长期谋划和总体布局。
2021-08-24 17:09:32
833
原创 【市场营销学二】市场营销管理哲学及其贯彻
【市场营销学二】市场营销管理哲学及其贯彻一、市场营销哲管理哲学及其演进1、 什么是市场营销管理2、什么是市场营销管理哲学3、以企业为中心的观念4、以消费者为中心的观念5、以利益相关者和社会整体利益为中心的观念二、以全方位营销促进顾客满意及客户忠诚企业必须首先创造卓越的顾客感知价值，建立持久的顾客关系，通过全面质量管理和价值链管理，形成系统的“顾客满意”良性机制，努力使自己成为真正面向市场的企业。一、市场营销哲管理哲学及其演进1、 什么是市场营销管理概念：市场营销管理是指企业选择目标市场，通过创造、
2021-08-20 17:30:33
926
原创 【市场营销学一】市场营销与市场营销学
【市场营销学一】市场营销与市场营销学一、 什么是市场二、什么是市场营销三、市场营销的核心概念四、市场营销与企业职能五、市场营销学的产生和发展六、市场营销学的理论基础和逻辑结构七、市场营销学的意义市场营销不等于销售。很多企业着眼于“我们的产品”，寻求“我们的市场”，而非立足顾客需求、欲望和价值的满足，如此即使拼命推销，顾客也不会积极购买。市场营销的核心是清楚地了解客户，并使企业所提供的产品或服务适合顾客的需要。一、 什么是市场经济学定义：市场是商品内在矛盾的表现，是供求关系，是商品交换关系的总和。管
2021-08-19 17:30:33
580
原创 风控建模八：搭建模型监控体系
风控建模八：模型监控1、模型监控的目的及框架结构2、前端监控模型分分布稳定性监控1、模型监控的目的及框架结构实际业务中，对于一个正在线上使用的模型，能够实时把控模型的稳定及效用是至关重要的，所以，我们需要一套完善且及时的模型监控系统来帮助我们全面掌握模型的动态，及时定位模型问题。为达到这个目的，我们的模型监控系统大致可以分为两大部分：前端和后端。简单来说，前端监控系统实时监控模型分布的整体稳定性，后端监控系统实时了解模型效果的稳定性。下面我们来看一下前后端监控系统具体都需要把握哪些维度的信息。2、前端
2021-06-20 23:21:41
5229
4
原创 【python】用python实现wordcloud大数据词云图分析
【python】用python实现wordcloud大数据词云图分析一、应用目的二、工具包安装及代码三、中文不能正常显示四、关键词重复五、最终结论一、应用目的大数据词云（wordcloud）分析常用于在冗长的文本数据中提取最高频、最关键的信息。二、工具包安装及代码首先我们需要对文本进行切词处理pip install jieba#读入数据，把所有企业名称用空格连接，整合成一个大文本变量tres = pd.read_csv('data.csv')t = res.loc[(res['所属行业']=
2021-03-16 22:06:58
3314
原创 【营销获客一】消费金融大数据营销获客
消费金融大数据营销获客一、消费金融的前世今生1、强监管下的民间借贷蓝海2、金融危机下的经济增长转型3、学术导向的推波助澜4、消费金融的必然诞生5、实践后的真知二、以营销认识消金的客户最近几年，消费金融基本吃尽了早期流量的红利，已经从野蛮生长的模式中退化出来，直接步入到了深水区。各家消金机构的战略方向也从大跨步地客户增长转变为精细化客户运营。整个消金行业的发力点也随之聚焦于两个方向：一是如何盘活存量客户，比如提高每个客户的客单价和复借率；二是如何在获客端做到精准营销，提高整体的ROI。随着消金发展模式的转变
2021-03-12 17:04:59
3791
1
原创 因果模型四：实现因果模型的python工具——pycasual
因果模型四：实现因果模型的python工具——pycasual关于因果模型，我们在前三篇文章中简单介绍了因果模型的研究发展历程、一个因果模型的数学化求解过程和因果模型在医学和商业领域的两个应用实例。今天我们就来简单介绍一个实现因果模型的python工具：pycasual。pycasual的开发者来自于因果研究中心（Center for Casual Discovery），是一个集合了目前因果研究领域中多种主流算法的因果模型工具包。工具不仅仅局限于python语言，同样支持R语言，java命令行模式以及可
2021-01-16 22:56:01
9664
6
原创 因果模型三：因果模型在解决哪些实际问题
因果模型三：因果模型在解决哪些实际问题一、因果模型研究架构图二、因果模型的应用实例1、医学领域通过前两篇因果模型文章，我们对因果模型的发展历程和这个研究领域的常用工具都有了一个初步认识，也通过LiNGAM这样一个具体的算法模型对如何把探究因果问题抽象化为数学问题并求解的过程有了一个较为深入的了解。调研至此，在继续深入下去之前，我认为有必要先回答这样两个问题：第一，因果模型研究这个领域的一个宏观架构是怎样的？明晰这个问题，就像给我们自己一张地图一样，能让自己清楚这个领域中都有哪些方向，我们现在处在哪个位置，
2021-01-12 22:24:58
4969
9
原创 因果模型二：线性非高斯无环模型
因果模型：线性非高斯无环模型一、前提条件二、方程形式本篇主要介绍一种基于贝叶斯网络的、具体化的求解因果关系的模型：线性非高斯无环模型。主要是让我们对如何把因果关系研究抽象化为一个数学模型，以及如何求解它先有一个初步的认识。一、前提条件线性非高斯无环模型要求三个基本的前提条件：观测变量之间是存在因果顺序的，后续变量不会导致前序变量；这些变量可以用一个DAG（有向无环图）表示。变量间的因果关系是线性的，可以用如下公式描述：xi=∑k(j)<k(i)bi,jxj+ei+cix_{i}=\su
2020-11-29 22:20:33
3837
原创 因果模型一：因果模型入门综述
因果模型一：因果模型的发展概述一. 为什么要研究因果模型？二. 因果研究的发展历程1. C.G. Hempel 1984——因果研究的分水岭一. 为什么要研究因果模型？在现如今的互联网金融领域，我们会发现机器学习的应用套路都大同小异。不论是逻辑回归，梯度提升模型还是深度学习，本质上都是一种对观测数字的拟合手段，说到底都是在寻找事物之间的相关性信息。即便我们能拟合出一个效果逆天的模型出来，我们依然很难通过模型去解释清楚好人之所以好，坏人之所以坏的背后原因是什么。换句话说，这样的模型好用，但无法真正帮助我们
2020-11-24 17:11:59
18066
2
原创 信贷风控二：一款线上信贷产品该有哪些数据
信贷风控二：线上信贷风控产品该有哪些数据一、基本信息如今各行各业都在提倡大数据和数字化管理，在信贷领域更是如此，包括传统金融机构，也都在积极推进数字化管理、数字化营销获客和数字化风控。本篇就简单讲一下一款基本成熟的线上风控产品，想要搭建一个相对完善的线上风控体系，都需要在哪些环节，落库哪些数据，并如何应用在风控策略中。一、基本信息主键：主键...
2020-11-23 18:59:42
1133
原创 风控建模七：拒绝推断
风控建模七：拒绝推断1、为什么要做拒绝推断1、为什么要做拒绝推断在开发准入模型的时候，我们做模型用的是通过的有表现的样本，而我们用模型是用在进件样本上，这就导致了模型开发和使用上的样本偏差。这种样本偏差有什么影响呢，我们可以从两方面去看。一从样本维度上，...
2020-06-28 17:39:20
4930
原创 风控建模六：变量相关性分析及筛选方法
风控建模六：变量相关性分析及筛选方法不论是开发逻辑回归评分卡，还是GBM机器学习模型import pandas as pdimport numpy as npfrom sklearn.cluster import KMeansfrom sklearn.preprocessing import StandardScalerfrom pyecharts.charts import HeatMapimport pyecharts.options as optsfrom copy import co
2020-05-27 15:16:47
13315
25
原创 【机器学习与算法】python手写算法：softmax回归
【机器学习与算法】python手写算法：softmax回归算法原理python实现算法结果展示sklearn实现softmax回归算法原理softmax回归用于解决多分类问题。它的基本思想是计算样本属于每一个类别的概率，属于哪个类别的概率最大，则预测输出为哪一类。softmax计算概率的方式为：P(y(i)=j∣xi;θ)=eθjT⋅x(i)∑l=1KeθlT⋅x(i)P(y^{(i)}=j|x^{i};\theta) = \frac{e^{\theta_j^T\cdot x^{(i)}}}{\su
2020-05-12 17:36:36
1657
原创 【深度学习】TensorFlow学习之路五：DNN防止过拟合的几种方法及TensorFlow实现
【深度学习】TensorFlow学习之路五一、Early Stopping二、L1和L2正则化三、随机失活四、max-norm正则化五、数据扩增本系列文章主要是对OReilly的Hands-On Machine Learning with Scikit-learn and TensorFlow一书深度学习部分的阅读摘录和笔记。DNN通常会拥有成百上千个参数，这就让DNN拥有了极大的自由度，所以对于复杂问题的拟合往往效果较好。但自由度太大也会让DNN极易过拟合。本篇介绍几种常用防止DNN过拟合的方法及Te
2020-05-09 19:49:32
758
原创 【深度学习】TensorFlow学习之路四：几种梯度下降优化算法
【深度学习】TensorFlow学习之路四一、动量下降（Momentum）二、Nesterov加速梯度三、AdaGrad四、RMSProp五、Adam优化算法六、学习率优化方案本系列文章主要是对OReilly的Hands-On Machine Learning with Scikit-learn and TensorFlow一书深度学习部分的阅读摘录和笔记。训练一个规模庞大，层次较深的神经网络会相当消耗时间。为了加快神经网络的训练速度，我们已经介绍过，可以从以下几个方面入手进行优化：选择较合理的参数
2020-05-08 20:38:59
3195
原创 【深度学习】TensorFlow学习之路三：梯度消失\爆炸及解决办法
【深度学习】TensorFlow学习之路二一、梯度消失\爆炸本系列文章主要是对OReilly的Hands-On Machine Learning with Scikit-learn and TensorFlow一书深度学习部分的阅读摘录和笔记。一、梯度消失\爆炸为什么会有梯度消失和爆炸如我们上一章提到的，深度神经网络优化方法为求出损失函数对每一个参数的梯度，然后让每个参数沿着梯度一步步...
2020-05-07 18:08:39
1230
1
原创 【深度学习】TensorFlow学习之路二：ANN简介及TensorFlow实现
【深度学习】TensorFlow学习之路二一、感知机（Perceptron）二、多层感知机和后向传播本系列文章主要是对OReilly的Hands-On Machine Learning with Scikit-learn and TensorFlow一书深度学习部分的阅读摘录和笔记。一、感知机（Perceptron）感知机是最简单的ANN（Artificial Neural Network）...
2020-05-04 23:49:34
1341
原创 【深度学习】TensorFlow学习之路一：TensorFlow简介及线性回归、逻辑回归实现
一、TensorFlow简介TensorFlow是啥？TensorFlow是一款强大的开源软件，用于数值计算，尤其适用于类似机器学习这样的大规模计算。TensorFlow计算流程是怎样的？...
2020-05-02 23:49:14
275
原创 风控建模四：逻辑回归评分卡开发
风控建模四：评分卡开发1、变量做WOE转换逻辑回归评分卡因其可解释性强、上线便捷、方便管理等特点往往成为传统金融领域风险管控模型的不二选择。本篇文章就来聊一下逻辑回归评分卡的开发流程。如果选择用python开发评分卡，经常用到的包有两个，一个是sklearn里面的LogisticRegression，一个是statsmodel里面的Logit，不管选择哪个包，我们都需要先对算法原理和拟合过程有...
2020-04-29 20:37:07
3275
原创 【机器学习与算法】python手写算法：Kmeans和Kmeans++算法
【机器学习与算法】用python实现Kmeans和Kmeans++算法背景K-means算法python代码结果对比背景K-Means算法因其算法简单，收敛快等特点而成为最常用的无监督学习方法之一，K-means算法过程如下：随机选取K个中心点；计算每个样本点到K个中心点的距离，离谁最近就归为哪一类；对于每一分类，计算该分类中所有点的均值作为新的中心点；重复2-3步知道中心点基本不再...
2020-04-13 17:50:01
771
原创 【算法与数据结构基础】列表、栈、队列的原理及应用
【算法与数据结构基础】列表、栈、队列的原理及应用背景1、列表2、栈3、队列4、深度优先和广度优先背景为什么要了解数据结构及算法？有个很恰当的比喻，如果把编程比作习武，会用哪种计算机语言相当于学会了招式，而学习算法则相当于在修炼内功。算法能帮我们优化程序占用的空间或消耗的时间，提高我们解决问题的效率。1、列表C语言数组： C语言中列表（或叫数组）的定义方式为：int a[5]，既指定了数据...
2020-04-11 23:55:17
140
原创 【机器学习与算法】python手写算法：xgboost源码复现
【机器学习与算法】用python实现xgboost背景知识上代码结果对比1、目标函数：linear2、目标函数：logistic背景知识关于XGB原理的解释与推导，最好就直接参看原作者陈天奇大神的PPT，这里对原理不再赘述，直接附上链接：tqchen/pdf/BoostedTree.pdf.根据PPT的内容，我们来用python对XGB算法进行一个复现，实现两种目标函数的拟合：linear...
2020-04-05 13:18:50
8251
26
原创 【机器学习与算法】python手写算法：带正则化的逻辑回归
【机器学习与算法】用python实现带正则化的逻辑回归背景代码输出结果1、两种求解方法结果：2、两种正则化结果：背景逻辑回归原理、损失函数推导、损失函数梯度推导不再赘述实现功能：1、正则化：不带正则化、L1正则化、L2正则化2、求解参数方法：梯度下降、坐标轴下降代码import pandas as pdimport numpy as npimport copyclass Lo...
2020-03-31 21:15:20
1410
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人