花式sql 信用模型 2016.06.22回顾

最新推荐文章于 2020-11-12 09:47:37 发布
最新推荐文章于 2020-11-12 09:47:37 发布
阅读量353 收藏
点赞数
分类专栏： 日记 信用评分 数据库 文章标签： sql 信用模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/strwolf/article/details/51740782
版权
日记 同时被 3 个专栏收录
290 篇文章 0 订阅
订阅专栏
数据库
30 篇文章 0 订阅
订阅专栏
信用评分
29 篇文章 0 订阅
订阅专栏

1、上午主要是帮tony拿一些逾期相关的数据，在新老客户的判别上我想写得完备一些，但是where的方法不能直接转换为group by查全部，后来我是通过先计算loans表中客户的贷款次数，然后再用所有的national_id去连接，没连到的就是0，这样也能输出全部national_id的以往贷款次数，也能输出全部account_id的贷款次数，对于多个account_id对应一个national_id的情况，有一个别扭的加和，然后再连接，问题也是不大的！
2、下午的时间主要就是研究tony的模型，以及对他的模型的一些问题探讨，我的理解就是信用模型这东西有一部分本身就是经验主义的，经验是需要积累的，tony太偏重于数据，但是我在想30个历史上有90天逾期的人的表现和1800个人的表现没差别，30个样本太小，有没有一个量化的指标，多少个才可以说样本足够大呢？
3、下午还处理了一些sb的突发事件

strwolf
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
2017.08.09回顾 seaborn两个坐标系 series中mixtype sorted key
strwolf的专栏
08-10 1577
1、上午对现有决策引擎做了一些简单修改，没什么技术含量，注意的地方就是条件概率的计算 2、继续SQL抓取数据集，没什么技术含量，后来发现中间少抓了几个变量，已经补上，后面还需要check看是否遗漏变量 3、有了数据集，又开始耍自己的评分卡工具包，对工具包做了一些修改，美化barplot/修正排序BUG/regroup写成静态方法，过程中发现一些问题，也有一些收获 我发现我给int64
花式输出！玩转console.log
Kuroko's Development Notes
07-13 3757
  一、console.log格式化打印 console.log格式化这一用法一般都在个人博客或其他官网上有，当F12查看网页元素时，在控制台(console)那里偶尔会发现一些个性化的输出，感觉很奇特很好玩，其实现原理不难看一遍就晓得，具体实现如下   1、%c表示css样式   console.log('%c hello world', 'color: red;font-size...
花式索引与np.ix_函数
TzeSing's Blog
04-01 8806
花式索引(Fancy indexing)是Numpy的一个术语，指的是利用整数数组进行索引。（不仅是1维，也可以是多维）用法与例子如下：创建 arr 数组>>> arr1 = np.empty((8,4))        # 创建一个8行4列的二维数组 >>> for i in range(8):           # 每一行赋值为0~7 arr1[...
花式吊打源码中 Android.mk 集锦
cczhengv
02-28 1296
一、区分版本编译 app 最近在修改 Android P 中的 Camera 应用，看到了 mk 的强大之处，特记录一下。 ifeq ($(MTK_CAMERA_APP_VERSION), 3) LOCAL_ROOT_PATH:= $(call my-dir) include $(LOCAL_ROOT_PATH)/host/Android.mk include $(LOCAL_ROOT_PATH...
console.log() 花样玩法
@不喝海之言@
11-12 794
普通版： console.log('日志'); const log = '2020年'; console.log('日志：'，log); # 语法：console.log('','','','',...) 升级版： console.log([ '%c ----------------------------', '| 第一次登录 |', ' ----------------------------' ].join('\n')); 注：我们常见
logistic转换成标准评分卡
热门推荐
strwolf的专栏
06-03 2万+
昨天痛定思痛，思考了一下，有时候干一个事情呢其实是不需要深入到数学细节的，有时候记住结论就可以了，另外的事情是数学家的事情，所以我开始转换思路，开始直接看评分卡模型的相关资料，直接从终点出发，有不懂的再回溯，我觉得这个学习方法还比较适合自己，我称为就是干(just do it)的方法，边打仗边学习，没必要找本书开始看基础理论（需要艰深的数学知识，进展太过缓慢）。 昨天学习评分卡的设计流程概要，其中
gini系数 lift指标 ROC AIC 2016.08.01回顾
strwolf的专栏
08-03 3949
1、上午主要研究了gini系数的算法，关键点就是用梯形面积去近似曲线形成的面积，横轴是按照降序排列或升序排列的人，纵轴是bad rate，把bad rate的坐标的两两连接起来就可以得到若干梯形，计算这些梯形的面积之和，近似等于洛伦茨曲线下面积，升序或是降序确定了，梯形在洛伦茨曲线之上还是之下，但是阴影面积是不变的，阴影面积除以0.5（的面积）就是gini系数，但是tony用的并不是0.5，ton
2017.08.16回顾 关于PSI 关于WOE无拒绝推断影响
strwolf的专栏
08-16 2156
继续思考woe iv psi 拒绝推断这个我都觉得难以control的问题，好在今天总算有了自己的一些结论和未来尝试方向 变量每组好坏比不变，分布变，woe同增同减，影响不大psi没卵用，更应该去关注变量每组的好坏趋势是否有变化拒绝推断我目前暂时不需要，但是这么低的通过率，以后应该会遇到这个问题可以尝试用bad rate在总体中去计算woe或者用bad rate编码，这个可以消除建模集到
2017.06.06回顾 三种构造dataframe的方法 多重共线性开坑
strwolf的专栏
06-07 2132
1、和星期一上午一样的问题，就是精神不好，打瞌睡，我后面的主要工作就是把注册信息变量提取整理做到建模表中，上午还日常看了下股票，亏得他妈一塌糊涂 2、下午一来就是继续v7的开发，关于上一个工作日的两个list合成dataframe的方法，我觉得是存在问题，感觉到太繁琐了，我于是查了下资料，我震惊了，原来那么简单，我并且根据这个总结了三种不同的构造dataframe的方法 #三种构造datafr
PYTHONIOENCODING 信用评分 2016.06.28回顾
strwolf的专栏
06-29 1529
1、开始用的PYTHONIOENCODING=gbk生成的日志文件，这样日志文件就是gbk编码，再用PYTHONIOENCODING=utf-8，确实是按照utf-8写入，但是“翻译”成了gbk，所以是乱码，最后删除掉旧的日志文件，重新生成一个，就是按utf-8编码，解决中文乱码问题 2、en_US是系统所在地区，可能是涉及一些任务栏，菜单栏语言，不会影响中文的显示 3、我想写成一种队列的形式，
2017.06.05回顾 dataframe找到喊缺失值的column list组成dataframe
strwolf的专栏
06-06 1265
上午精神不是很好，有点瞌睡，看了下周边，群里面水了几句 1、思考了下模型评价的问题 2、决策引擎修改 3、继续建v7，首先建了个轮子，找出dataframe中的缺失值，用isnull写一个函数，我开始也大概想到这种思路的，但是还是在不遗余力地寻找现成的方法 def find_na_column(df): miss_columns = [] for column in df:
python文件操作 信用模型 2016.06.27回顾
strwolf的专栏
06-28 1020
1、python在linux中创建文件夹，os.mkdir，os.mkdir不能递归地创建文件夹，也就是说父文件夹必须存在，os.makedirs可以递归地创建文件夹 2、python判断文件是否存在，用到的是os.path.exists() 3、nohup重定向的命令问题，nohup command >log 2>&1 &这样写日志，重启一次命令，上次的log会被覆盖，运维告诉我用nohup
echarts关系图 unicode编码 phpsql 2016.06.21回顾
strwolf的专栏
06-22 899
1、上午一直研究echarts的关系图怎么弄，echarts有两个官网，一个是echarts3，一个是echarts2，我一直用的echarts3，里面的实例好几个复杂的都是调用一个xml，这个xml是一个有名的关系图（只画关系图吗？）软件Gephi导出格式gexf ，开始的想法是想动态地去生成这个xml，后来发现有点复杂，然后又看了几个简单实例，再结合文档，发现是可以直接写json格式的，涉及
2017.07.12回顾 python mysql decimal case when漏掉一种情况 mysql字符串参与算术运算
strwolf的专栏
07-12 773
今天继续进行新模型实施的工作 1、上午完成了审批金额计算的模块，主要就是涉及到和之前系数转换的问题，反正就是个体力活啦，没什么新的东西 2、下午主要是布上knowru，测试，修改各种bug，看看有没有哪个bug的解决可以记录一下 mysql-python这个模块抓了一个（mysql数据类型为decimal的字段+mysql数据类型为decimal的字段），这个类型还是decimal，取出
2017.05.05回顾 关于决策边界的一些思考
strwolf的专栏
05-08 753
星期五最重要的一个收获是在快下班的时候，关于LR在二维平面上的决策边界问题，一般来说以大于0.5为1，小于0.5为0，所以决策边界就是令Z = 0，也就是W0 + W1 * X1 + W2 * X2 = 0，在二维平面上画图的时候，就是X2 = (-W0-W1*X1)/W2，用这个式子找两个点就可以画出一条决策边界，但是对于bad rate很低的数据集，必然所有的点prob都小于0.5，也就是在决
2017.08.14回顾 IV的系数
strwolf的专栏
08-14 709
1、校验了建模数据存在的问题 2、阅览了FICO的产品介绍，里面可以窥见一些方法 3、SQL拉出新数据集，数据洞察 4、思考系统的变量随时间随不同因变量定义的稳定性校验方法，思考了PSI，以及拒绝推断等等相关问题 5、在IV的计算过程中前面乘以一个系数(Gi/GT-Bi/BT)，固定该组好坏比，后面的WOE就不变，所以在好坏比固定的情况下，该组样本数越多，系数就越大，因为(Gi/GT-Bi
2017.07.14回顾 ipython魔法命令 浮点数定义 GPL 为什么要WOE编码
strwolf的专栏
07-17 694
1、一些小的工程改动 2、建表/增加字段，decimal(9,2)表示一共9位，小数是2位，int(2)不是代表两位数，仍然可以存储大数 3、Ipython的console中有一些魔法命令，以%开头，matplotlib就有一个魔法命令%matplotlib qt，后面的参数可以指定显示图像的GUI库，我本身没有pyqt库，我用pip instaall失败，但是用conda install p
mysql两个日期之差 止付与冻结 2016.07.04回顾
strwolf的专栏
07-05 687
1、主要研究了征信报告中止付与冻结的区别，我发现这两个状态几乎没有区别，银行都在用，网上的可能性会更多一些，然而我实际观测到的几乎都是因为逾期造成的止付或冻结，只有1个很奇怪，只有1次逾期也被冻结了，网上的可能性还有诸如暂时冻结云云，但是体现在征信报告上我没看见，我对于冻结和止付的做了分析，可以形成一条rule 2、mysql计算两个日期之差，timestampdiff(day,减日期,被减日期
stream.flatMap() 所有花式用法详情
最新发布
05-12
`flatMap()` 是一个非常强大的函数，它的作用是将一个流中的每个元素转换为另一个流，并将这些流的元素合并成一个单一的流。使用 `flatMap()` 可以处理各种类型的数据，例如列表、集合、数组等。下面是一些 `flatMap()` 的常见用法： 1. 将一个流中的元素转换为另一个流 ```java List<String> words = Arrays.asList("hello", "world"); List<String[]> result = words.stream() .map(w -> w.split("")) .collect(Collectors.toList()); List<String> letters = words.stream() .flatMap(w -> Arrays.stream(w.split(""))) .collect(Collectors.toList()); ``` 上面的代码中，我们将一个字符串列表中的每个字符串转换为一个字符数组，然后使用 `flatMap()` 将这些字符数组合并成一个单一的流，最后将这个流转换为一个字符串列表。这个例子展示了如何将一个列表中的元素转换为另一个流，并将这些流合并成一个单一的流。 2. 将一个流中的元素转换为多个流 ```java List<Integer> numbers = Arrays.asList(1, 2, 3, 4, 5); List<Integer> result = numbers.stream() .flatMap(n -> n % 2 == 0 ? Stream.of(n) : Stream.empty()) .collect(Collectors.toList()); ``` 上面的代码中，我们将一个整数列表中的偶数元素转换为一个流，并将奇数元素转换为空流。然后使用 `flatMap()` 将这些流合并成一个单一的流，最后将这个流转换为一个整数列表。这个例子展示了如何将一个流中的元素转换为多个流，并将这些流合并成一个单一的流。 3. 将一个流中的元素转换为一个流，并对流中的元素进行处理 ```java List<String> words = Arrays.asList("hello", "world"); List<String> result = words.stream() .flatMap(w -> { List<String> letters = new ArrayList<>(); for (char c : w.toCharArray()) { letters.add(String.valueOf(c)); } return letters.stream(); }) .collect(Collectors.toList()); ``` 上面的代码中，我们将一个字符串列表中的每个字符串转换为一个字符列表，并将这些字符列表合并成一个单一的流。然后我们对这个流中的每个元素进行处理，将它们转换为字符串，并将它们添加到一个新的字符串列表中。最后，我们将这个新的字符串列表收集到一个流中。这个例子展示了如何将一个流中的元素转换为一个流，并对流中的元素进行处理。 4. 将一个流中的元素转换为一个流，并对流中的元素进行分组 ```java List<String> words = Arrays.asList("hello", "world"); Map<Character, List<String>> result = words.stream() .flatMap(w -> Arrays.stream(w.split(""))) .collect(Collectors.groupingBy(Function.identity())); ``` 上面的代码中，我们将一个字符串列表中的每个字符串转换为一个字符列表，并将这些字符列表合并成一个单一的流。然后我们使用 `groupingBy()` 方法对这个流中的元素进行分组，将它们按照首字母分组，并将每个分组中的字符串收集到一个列表中。最后，我们将这个分组结果收集到一个 `Map` 中。这个例子展示了如何将一个流中的元素转换为一个流，并对流中的元素进行分组。 5. 将一个流中的元素转换为一个流，并对流中的元素进行排序 ```java List<String> words = Arrays.asList("hello", "world"); List<String> result = words.stream() .flatMap(w -> Arrays.stream(w.split(""))) .sorted() .collect(Collectors.toList()); ``` 上面的代码中，我们将一个字符串列表中的每个字符串转换为一个字符列表，并将这些字符列表合并成一个单一的流。然后我们使用 `sorted()` 方法对这个流中的元素进行排序，将它们按照字母顺序排序。最后，我们将这个排序后的流收集到一个字符串列表中。这个例子展示了如何将一个流中的元素转换为一个流，并对流中的元素进行排序。 6. 将一个流中的元素转换为一个流，并对流中的元素进行去重 ```java List<String> words = Arrays.asList("hello", "world"); List<String> result = words.stream() .flatMap(w -> Arrays.stream(w.split(""))) .distinct() .collect(Collectors.toList()); ``` 上面的代码中，我们将一个字符串列表中的每个字符串转换为一个字符列表，并将这些字符列表合并成一个单一的流。然后我们使用 `distinct()` 方法对这个流中的元素进行去重，将它们去重后的流。最后，我们将这个去重后的流收集到一个字符串列表中。这个例子展示了如何将一个流中的元素转换为一个流，并对流中的元素进行去重。 7. 将一个流中的元素转换为一个流，并对流中的元素进行过滤 ```java List<String> words = Arrays.asList("hello", "world"); List<String> result = words.stream() .flatMap(w -> Arrays.stream(w.split(""))) .filter(c -> c.equals("l")) .collect(Collectors.toList()); ``` 上面的代码中，我们将一个字符串列表中的每个字符串转换为一个字符列表，并将这些字符列表合并成一个单一的流。然后我们使用 `filter()` 方法对这个流中的元素进行过滤，将它们过滤出与 "l" 相等的字符。最后，我们将这个过滤后的流收集到一个字符串列表中。这个例子展示了如何将一个流中的元素转换为一个流，并对流中的元素进行过滤。 这些是 `flatMap()` 的一些常见用法，它们展示了如何将一个流中的元素转换为另一个流，并对流中的元素进行各种类型的处理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值