寸草心的博客

原创 Excel VLOOKUP函数多条件查找

公式写法=VLOOKUP(条件一&条件二&...，IF({1,0},条件一区域&条件二区域&...，返回列）,2,0）例：结果：公式：=VLOOKUP(F2&G2,IF({1,0},A2:A4&B2:B4,C2:C4),2,0)把多个条件用excel中的&拼接起来，同时查找区域第一列也是用&拼接起来，这个可以用两个辅助列来实现，比较麻烦。上面公式利用if函数，把查找区域作为内存数组返回，省去辅助列。if函数部分详解：h

原创 利用chrome浏览器reses插件拦截指定js并替换为本地js

1.chrome浏览器下载安装reses插件2.配置reses拦截规则点击添加规则，然后对应位置填入需要拦截的js地址，和本地js地址，然后保存

原创 Navicat执行大文件SQL脚本往mysql数据库导入数据失败解决办法

失败原因：超过mysql允许的最大数据包解决方案在mysql安装目录下的my.ini文件中加入下面代码（参数根据自已的需要）max_allowed_packet=1000Mwait_timeout=288000interactive_timeout = 288000修改完重启下mysql...

原创 Excel通过身份证号提取出生年月日（生日）/计算截至当前年龄

第一步=MID(B3,7,8)第二步=TEXT(C3,"0-00-00")或者=TEXT(C3,"0年00月00日")第三步=DATEDIF(D3,TODAY(),"Y")三合一=DATEDIF(TEXT(MID(B3,7,8),"0-00-00"),TODAY(),"Y")

原创 Excel获取当前文件所在目录

=LEFT(CELL("filename",A1),FIND("[",CELL("filename",A1))-1)或者=REPLACE(CELL("filename"),FIND("[",CELL("filename"))-1,99,)

原创 ORACLE左连接丢记录

原因：在左连接中 where后不能有其他表的条件过滤 否则就不是单纯的左连接 是过滤连接了解决：把条件加到 on 后面select a.*,b.mm,b.nn from aaaaa aleft join bbbbb b on ( trim(a.num)=trim(b.num) and b.cc = '11')...

原创 oracle count()函数对null值的处理

count()括号中如果是列名的话则不包含NULL如果是*字符或常量 则包括NULL

原创 图像二值化处理提高pytesseract识别精度

# 识别前处理# 图片二值化from PIL import Imageimport osos.chdir('D:\OCR')img = Image.open('test.png') # 模式L”为灰色图像，它的每个像素用8个bit表示，0表示黑，255表示白，其他数字表示不同的灰度。Img = img.convert('L')Img.save("test1.png") # 自...

原创 oracle 分组后获取每组中某字段最大的记录

SELECT a."RN",a."ID",a."USERCODE",a."LOGINTIME",a."BZ",a."DQCODE" FROM (SELECT ROW_NUMBER() OVER(PARTITION BY usercode ORDER BY logintime DESC) rn,sys_userlogin_info.* FROM sys_userlogin_i...

原创 python 图片二值化处理（处理后为纯黑白的图片）

# 图片二值化from PIL import Imageimg = Image.open('test.jpg') # 模式L”为灰色图像，它的每个像素用8个bit表示，0表示黑，255表示白，其他数字表示不同的灰度。Img = img.convert('L')Img.save("test1.jpg") # 自定义灰度界限，大于这个值为黑色，小于这个值为白色threshold =...

原创 windows 10环境下安装Tesseract-OCR与python集成

windows 10环境下安装Tesseract-OCR与python集成前言Tesseract是一个开源的ocr引擎，可以开箱即用，项目最初由惠普实验室支持，1996年被移植到Windows上，1998年进行了C++化。在2005年Tesseract由惠普公司宣布开源。2006年到现在，都由Google公司开发。官网宣传目前支持100多种语言的识别，根据我的测试，目前感觉其对机器打印的比较...

原创 Pandas 中 SettingwithCopyWarning 的原理和解决方案

Pandas 中 SettingwithCopyWarning 的原理和解决方案原文链接：https://www.dataquest.io/blog/settingwithcopywarning/原文标题：Understanding SettingwithCopyWarning in pandas原文发布时间：5 JULY 2017（需要注意时效性，文中有一些方法已经弃用，比如 ix）学...

原创 用sql语句实现年龄分段统计

SELECT CASEWHEN (age >= 10 AND age <= 20) THEN '10-20'WHEN (age >= 21 AND age <= 30) THEN '21-30'ELSE '30-'END 'eag_layer', count(*) empsFROM address_bookGROUP B...

原创 EXCEL没有重复操作

如果你用EXCEL时进行重复操作，那么你就是技巧不够。去学习

原创 Excel数据透视表多个行标签并列显示设置方法

Excel数据透视表多个行标签并列显示设置方法方法/步骤点击透视表任意单元格右键选择数据透视表选项，点击“显示”。勾选“经典数据透视表布局”点击确定，点击任意单元格。点击设计-分类汇总-不显示分类汇总，设置完毕。...

原创 在Excel中快速选择数据

在Excel中快速选择数据很多人对于Excel怎么选择数据可能只有一个方法，那就是按住鼠标直接拖拽，不可否认，选择小部分数据的时候，这是最快的方法，但是要是很多数据呢，几千条甚至几万条，我要从第一条到最后一条的时候，你也要直接拖拽吗？你不眼花吗？当然不能这样做！接下来我会介绍几个快捷键，对你选择数据绝对事半功倍。1. Ctrl + 向下的方向键：直接移动到最低端，同理+向上的方向键，向左...

原创 信用评分模型中的滚动率分析

信用评分模型中的滚动率分析信用风险模型的目标是识别出应被拒之门外的潜在坏客户，因此给出合理的客户好坏分类是建模的基础。比如，信用卡逾期的“坏客户”，究竟应该是所有逾期过的客户，还是逾了好几期的客户呢？前者是不是还能抢救一下，后者是不是风险太高？本期就来讲讲如何用科学的方法，判断你的客户还能不能抢救一下。信用风险模型，简单地说就是通过历史数据，抓取坏客户显著区别于正常客户的特征，并以此为标...

原创 Vintage、滚动率、迁移率的应用

Vintage、滚动率、迁移率的应用一、Vintage​ Vintage源于葡萄酒酿造，葡萄酒的品质会因葡萄生长的年份不同、气候不同而不同。Vintage分析是指评估不同年份的葡萄酒的品质随着窖藏时间的推移而发生的变化，并且窖藏一定年份后，葡萄酒的品质会趋于稳定。如下图，2000年的葡萄酒品质最好，窖藏5年左右，葡萄酒品质会趋于稳定。借鉴葡萄酒Vintage分析，信用分析领域不仅...

原创 SQL自定义排序

方法一：比如需要对SQL表中的字段NAME进行如下的排序：张三（Z）李四（L)王五（W）赵六（Z）按照sql中的默认排序规则，根据字母顺序（a~z）排，结果为：李四 王五 赵六 张三自定义排序：order by charindex（NAME，‘张三李四王五赵六’）CHARINDEX函数返回字符或者字符串在另一个字符串中的起始位置。CHARINDEX函数调用方法如下：CHARIN...

原创 ORACLE自定义顺序排序

利用decode函数：select * from table_example order by decode(class,'C',1,'A',2,'D',3,'B',4)

原创 sql left join多表

sql left join多表表A---------------------------------关联第一张表B-----------------------关联第二张表cselect * fomr 表名A　　left join 表B on 表A字段=表B的id 　　left join 表c 　on 表A字段=表c的id...

原创 Oracle报错：不是单组分组函数解决

Oracle报错：不是单组分组函数解决报错：不是单组分组函数实例：select deptno,count(empno) from emp;报错：不是单组分组函数原因：1， 如果程序中使用了分组函数，则有两种情况可以使用：程序中存在group by，并指定了分组条件，这样可以将分组条件一起查询出来改为：select deptno,count(empno) from emp grou...

原创 解读:信贷业务风控逾期指标及风控模型评估指标

<解读>信贷业务风控逾期指标及风控模型评估指标一、互联网金融中需要关注的风控逾期指标1.逾期天数 DPD (Days Past Due)自应还日次日起到实还日期间的日期数举例：DPDN+表示逾期天数 >=N天，如DPD30+表逾期天数 >=30天的合同2.逾期期数自应还日次日起到实还日期间的日期数举例：正常资产用C表示Mn表示逾期N期:M1逾期一期,M2逾...

原创 Presto时间和日期函数及运算符、日期时间比较

日期和时间运算符运算符例子结果+date ‘2012-08-08’ + interval ‘2’ day2012-08-10+time ‘01:00’ + interval ‘3’ hour04:00:00.000+timestamp ‘2012-08-08 01:00’ + interval ‘29’ hour2012-08-09 06:00:00...

原创 关闭/卸载windows10安全中心及Windows Denfender方法，亲测有效

1.win键+R 进入cmd输入regedit 回车2.在注册表里找到如下项目并更改安全中心HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\SecurityHealthServicestart值 2开启 4关闭windows defenderHKEY_LOCAL_MACHINE\SOFTWARE\Policies\Micro...

原创 数据分析必备技能

原创 Presto查询结果保留小数后面位数的方法

Presto中两个整数相除会结果为零当我们相除的两个数都为整数时，比如我想用两个count（）结果相除，想保留n为小数实现方法select count(*)*1.00 / count(*) from student;结果就会自动保留两位小数，想要n位就1.后面n个零...

原创 SQL Union、Union all、Intersect、Minus作用

Union因为要进行重复值扫描，所以效率低。如果合并没有刻意要删除重复行，那么就使用Union All两个要联合的SQL语句 字段个数必须一样，而且字段类型要“相容”（一致）；如果我们需要将两个select语句的结果作为一个整体显示出来，我们就需要用到union或者union all关键字。union(或称为联合)的作用是将多个结果合并在一起显示出来（竖向合并，横向合并可以使用le...

原创 SQL--变量

SQL-变量变量1.系统变量： 全局变量：作用域：服务器每次启动将为所有的全局变量赋初始值， 针对于所有的的会话（连接）有效，但不垮重启。 会话变量：仅仅针对当前的会话（连接）有效2.自定义变量： 用户变量 局部变量一. 系统变量即该变量由系统提供，不是用户定义，属于服务层面...

原创 Presto 除法/运算结果为0的原因及解决方法+cast用法

Presto 除法/运算结果为0的原因及解决方法当我想统计一个数据比例使用/ 结果为0，加号数据正常：语法：select sum(case when storecode = '15' then 1 else 0 end) / count(1) from orders;但是同样的语句在hive中执行是ok的在presto中：两个value相除，至少有一个为浮点数才能返回正确结果sele...

转载 Vintage分析和迁移率模型在网贷行业的运用

Vintage 分析和迁移率模型在网贷行业的运用网贷业务的核心竞争力来自收益与风险之间平衡点的把握，其收到消费理念、市场策略、市场消费环节影响，贯穿于产品设计、营销审批、授信、支用、还款、催收以及客户服务的全过程。风控偏好和市场竞争策略会导致不同机构的经营结果存在差异。面对纷繁复杂的竞争环境，网贷机构必须不断提高风险的监控能力才能立于不败之地。  由于网贷业务的特点，用户的借款行为和还款表现具...

原创 网页转换成markdown

经自己发现网页只需要选中内容，右键复制 然后粘贴到 markdown工具Typora中即可保留原格式网页粘贴到Typora

原创 SQL查询去除重复行

可能会碰到以下几种重复情况：1.存在部分字段相同的纪录，即有唯一键主键ID(最常见情况）如果是这种情况的话用distinct是过滤不了的，这就要用到主键id的唯一性特点及group by分组（通过重复字段分组，只取重复行中的一个id达到不重复）select * from table where id in (select max(id) from table group by 重复的字段名1...

原创 Presto--数组函数和运算符

数组函数和运算符下标运营商：[]的[]操作者用于访问的阵列的元件和被索引从1开始：SELECT my_array [ 1 ] AS first_element连接运算符：||的||操作者用来连接与数组或相同类型的元素的数组：SELECT ARRAY [ 1 ] || ARRAY [ 2 ]; - [1,2] SELECT ARRAY [ 1 ] || 2...

原创 Presto查询结果添加自增字段（唯一id）

SELECT Row_Number() over () as id , * FROM 表名(或者查询语句)

原创 SQL查询结果自己添加一列自增字段

自行添加一列连续自增的ID，可用如下查询语句： （presto可用，亲测）SELECT Row_Number() over ( ) as init , * FROM 表名或使用关键字IDENTITY创建临时表SELECT IDENTITY(int,1,1) as Nid,* INTO #T FROM 表名 SELECT * FROM #T...

原创 sql语句实现行转列的3种方法

前言一般在做数据统计的时候会用到行转列，假如要统计学生的成绩，数据库里查询出来的会是这样的，但这并不能达到想要的效果，所以要在查询的时候做一下处理。CREATE TABLE TestTable( [Id] [int] IDENTITY(1,1) NOT NULL, [UserName] [nvarchar](50) NULL, [Subject] [nvarchar](50) NULL...

原创 sql的行转列(PIVOT)与列转行(UNPIVOT)

在做数据统计的时候，行转列，列转行是经常碰到的问题。case when方式太麻烦了，而且可扩展性不强，可以使用 PIVOT，UNPIVOT比较快速实现行转列，列转行，而且可扩展性强一、行转列1、测试数据准备CREATE TABLE [StudentScores]( [UserName] NVARCHAR(20), --学生姓名 [Subject]...

原创 presto官方文档0.1(中文)和0.2(英文)

presto中文文档0.1presto英文文档0.2

原创 SQL函数Group_concat用法

完整语法如下group_concat([DISTINCT] 要连接的字段 [Order BY ASC/DESC 排序字段] [Separator '分隔符'])SELECT * FROM testgroup表结构与数据如上现在的需求就是每个id为一行 在前台每行显示该id所有分数group_concat 上场！！！SELECT id,GROUP_CONCAT(score) FRO...