数据库
strwolf
这个作者很懒,什么都没留下…
展开
-
navicat上数据表的迁移
研究了一下navicat这个工具怎么做数据表迁移,大概三种方法: A、postgresql为例,源数据表SQL转储,导出成SQL(里面包含了创建数据库结构和插入数据的SQL),再在目标数据库运行SQL,但是需要主要的是该导出的SQL是含有模式名的,所以要查找替换成目标数据库模式名,另外该SQL的自增字段是用的绑定序列的方法:"id" int4 DEFAULT nextval(原创 2016-01-20 09:58:56 · 4540 阅读 · 0 评论 -
postgresql日期计算 laravel模板引擎 数据迁移 2016.07.21回顾
1、昨天对于loans找出与之对应的pboc,数量差140+个,我分析了下这140+个中,PBOC为NULL的情况,有些是存在pboc我没跑过,有些是newportal中也没有的pboc,最多的还是空征信!其他的查询时间大于贷款生成时间的我还没来得及分析!2、laravel我更进一步写了一个test页面(包含一些模板语法),@extends()可以继承其他模板,@section替代@yield原创 2016-07-22 09:40:31 · 622 阅读 · 0 评论 -
web接口排队访问 子查询where条件字段搜索域 2016.08.17回顾
1、昨天尝试想实现一个接口同一时间只能有一个调用,查了点儿资料,开始想的是设置一个全局公有变量,调用开始一个数值,调用结束另一个数值,实际上还是有问题的,因为不是原子级别的,因为有可能两个请求同时发生,都检测都那个变量是可以调用的状态,那么有可能同时就跑起了2个变量,洋神说简单的实现是加锁,python的threading的lock,分布式锁有一个redislock2、但是后来我考虑到将来的业原创 2016-08-18 18:02:00 · 532 阅读 · 0 评论 -
select 1,import,insert into 2016.08.18回顾
昨天主要就是完成了v4 model开发的剩余工作,包括接口内部逻辑,黑名单sql封装成函数,调用顺序控制,结果组合,结果写进数据库等等,搭建好了测试环境,从中也学习了一些小技巧1、连了表,select *,1中的*只能放前面,*放后面就只能每个表单独指定,比如table_name.*,而1就是生成一个value为1的字段,未指定字段名,默认和value相同,而不是group by中的1代表第一原创 2016-08-19 09:44:41 · 440 阅读 · 0 评论 -
SQL等分组计算 mysql类型转换 2016.09.02回顾
1、excel从小到大等分组,我尝试了下没成功,好像可以用数据透视表来做2、我擅长SQL,后来用SQL去完成从小到大等分组,MYSQL可以用limit 10 offset 20相当于是大于20取10条记录,但是有一点特别注意,不能直接SELECT SUM(flag) FROM table limit 10 offset 20因为等于说SUM并不支持limit这种用法,SUM是设计成的对该字原创 2016-09-06 12:25:47 · 292 阅读 · 0 评论 -
linux安装cx_Oracle模块
数据库版本为11.2,linux环境64位去http://www.oracle.com/technetwork/topics/linuxx86-64soft-092277.html下载oracle的精简版客户端,instantclient-basic-linux.x64-11.2.0.4.0.zip和instantclient-sdk-linux.x64-11.2.0.4.0.zip,下载需要登录原创 2016-06-06 18:47:53 · 5325 阅读 · 0 评论 -
2016.12.15回顾 mysql截取字符串
1、更新了自动邮件增加字段逻辑,给AS和TS增加了三要素验证2、SQL截取字符串后两位,right(field_name,2),取前两位是left(field_name,2),还有个以前用到的截取字符串方法,substr(field_name,7,8)3、去joinquant,又跑了几种能想到的策略,只能说有时候想法很好,但是实际效果还不一定有那种不那么make sence的效果好,下一步原创 2016-12-16 10:05:25 · 519 阅读 · 0 评论 -
2016.12.13回顾 navicat导入 excel把X小时YY分钟转换成ZZ分钟
1、上午部署好了黑灰名单2、下午给同事讲解表结构和白名单开发3、白名单开发第一个问题是把1小时XX分转换成分钟数,我第一个想法是用正则表达式,但是要导入导出,其实有点麻烦,我寻找原生的excel方法,还是可以的,具体的例子,我另一位同事已经做了,我直接拿来主义了,所用到的函数,我目前还没得及学习4、另外一点在用navicat图形化界面导入excel的时候,有个比例的选项,实际上是sca原创 2016-12-14 09:47:11 · 760 阅读 · 0 评论 -
2016.12.08回顾 SQL模块化与子查询 SELECT NULL变换 JOINQUANT探索
1、昨天基本上全天都在弄同盾多头借贷和同盾严重逾期的规则,我想一下学到了哪些东西呢? - 可以join表,拿相关的字段,也可以直接写子查询根绝关键字段比如customer_id去拿,如果查询比较复杂,后者方法更佳,这样sql显得更模块化,不然这部分sql就是写在from后面 - where后的条件不满足,查出来是NULL,如果对NULL进行条件处理,如CASE WHEN,C原创 2016-12-09 10:35:47 · 479 阅读 · 0 评论 -
2016.12.30回顾
1、date_sub,date_add的参数都是一个日期加一个时间INTERVAL,两个日期相差天数,to_days(日期或类日期字串)-to_days(日期或类日期字串),excel透视表分段,有一个group选项,可以选择起始点和终点以及步长2、另外把gbdt用在了之前整理的数据集上,在开发集上效果逆天,在尝试过程中,涉及到了诸多pandas和numpy的操作#导入csvdf = p原创 2017-01-03 11:16:34 · 240 阅读 · 0 评论 -
2017.05.03回顾 SQL效率探究 模型相关杂谈
1、上午去面试了个phd,压力大啊,还需要不断学习,不断交流,增加自己的知识,增强自己的交流和表达能力,take more practise2、我上午还干了什么?拉黑了某个城市,这个倒是很快!然后尝试分析organic模型对于爱尚是否有区隔度,写了下SQL,了解库表结构,抓逾期等信息3、下午继续到晚上继续干爱尚建模的事情,接触了一些新东西,也温故了旧知识,小结吸收一下开始发现S原创 2017-05-04 14:04:21 · 207 阅读 · 0 评论 -
2017.05.24回顾 mysql添加索引
1、上午review了下模型的地区规则,boss提出了两点质疑,一个是对模型有效性,二个是提出了一种用地域去加减分的方法,当时他提有效性,我没有反驳,其实我对一些rank order的性质也不熟悉说明,后来我去做rank order的时候发现,前面的分隔本身就不明显,然后观察了其他的模型,不同的方法都是同一种分布,经验判断,模型都是这样,但是boss说看过前期发力的模型,我画了下,感性上认为,这样原创 2017-05-25 10:39:42 · 424 阅读 · 0 评论 -
2017.05.16回顾 mysql索引 format
1、上午主要是写小结,其间同事问了个问题,我从中也学到了一些新的写法,关于str.format方法可以类似于这种lista = [1234,234,555]lista = map(lambda x:str(x),lista)my_sql = 'select * FROM balabala WHERE customId IN ({0}) and phone = (\'{1}\')'.format原创 2017-05-17 10:46:47 · 235 阅读 · 0 评论 -
2017.06.15-2016.06.18回顾 loc/iloc/ix dataframe相关 oracle无自增去重 correl
上周最后阶段比较忙,主要是忙jd的数据测试的事情还有就是各种新产品的事情,下面回顾一下这段时间的工作。1、上周四快下班的时候开了一个新产品的会,初步确定了风控策略,但是接近下班的时候又告诉我另外一个新产品需要紧急上线,同时jd的数据到了,草草看了下就下班了2、pandas中loc/iloc/ix区别,loc按行名列名索引,iloc按下标索引(可以切片),ix可以混合前面两种索引方式,df不原创 2017-06-20 10:37:46 · 417 阅读 · 0 评论 -
2016.08.15回顾
昨天主要就只做了一件事情,就是修改v4模型的核心SQL,在这个修改的过程中,是否有一些值得总结的点呢?1、MYSQL模运算MOD2、添加字段,ALTER TABLE table_name ADD column_name column_type DEFAULT NULL原创 2016-08-16 09:18:55 · 171 阅读 · 0 评论 -
花式sql 信用模型 2016.06.22回顾
1、上午主要是帮tony拿一些逾期相关的数据,在新老客户的判别上我想写得完备一些,但是where的方法不能直接转换为group by查全部,后来我是通过先计算loans表中客户的贷款次数,然后再用所有的national_id去连接,没连到的就是0,这样也能输出全部national_id的以往贷款次数,也能输出全部account_id的贷款次数,对于多个account_id对应一个national_i原创 2016-06-23 09:33:25 · 350 阅读 · 0 评论 -
SQL找某个字段最大的记录或连接
有一种经常遇到的情况可以小结一下,比如一个表中一个account_id对应多个loan_id,这个时候找最大的loan_id那条记录就是形如SELECT DISTINCT ON(account_id),loan_id,XXX FROM table ORDER BY account_id,loan_id DESCORDER BY 后的第一个字段要和SELECT DISTINCT ON原创 2016-03-02 11:35:12 · 1668 阅读 · 0 评论 -
PHP学习SELECT postgresql正则表达式 cookie同一站点IP访问和域名访问 T检验
1、继续学习PHP,多学习了一个小节,数据库SELECT,运行sql还是用到mysql_query,查询到的结果可以赋值给一个变量$result,然后有个函数可以逐行把结果取出来,mysql_fetch_array函数取出$result的每一行,比如$row = mysql_fetch_array($result),然后$row[字段名]可以引用2、用T检验分析了公司注册资金与逾期的关系,写好原创 2016-03-09 10:05:04 · 637 阅读 · 0 评论 -
mysql远程访问 sql删除记录 伪造浏览器post php错误处理学习 django模板改tdk
1、上午又找了个SEO供应商,别人直接不接,算了,不浪费时间,自己慢慢学,也能在改网站的过程中学到很多,勿忘初心,I do it just 4 fun and learning2、临近中午的时候开通了mysql的远程访问权限,开始按照别人的方法,始终连接不上,所以我尝试了很多,最后归纳看来就三步,第二步我不知道是否必须 A、配置权限GRANT ALL PRIVILEGES O原创 2016-02-26 10:37:17 · 553 阅读 · 0 评论 -
mysql和postgresql中的诸多不同 logistic回归P 2016.04.13回顾
1、在现在数据库的基础上完善了v3_model的sql,不包括自己计算和商业规则部分,其中理解了一下logistic regression最后求值的时候用1-(1/1+exp(-Z)),我问同事这是good的概率还是bad的概率,同事说这个是互补的,带回到训练集去看,和训练集标记的1和0无关,说1-(1/(1+exp(-Z)))往往是bad的概率,我有些存疑!2、主要着手修改parse.py以原创 2016-04-14 10:20:31 · 578 阅读 · 0 评论 -
pgsql和mysql外键差异 2016.04.14回顾
1、昨天主要写了parse.py的逻辑,基本上改好了,主要改点都是集中在不同数据库,需要改一些数据库类型和sql语法,但是他妈的后来出了一个灵异BUG,之前用beautifulsoup的解析模块对于有些征信报告不能解析完全2、小节一些改点吧,从中也可以看到mysql和pgsql的一些区别,mysql中建立外键约束foreign key(lli_pboc_reports_id) refere原创 2016-04-15 10:22:19 · 456 阅读 · 0 评论 -
派生表别名 python编码 enca命令 sys.exit(1) 2016.05.26回顾
1、from一个子查询,无论mysql还是pgsql都需要一个别名 2、#coding:utf-8,让python解释器按utf-8去解释代码 3、sys.exit(1),终止程序,抛出一个SystemExit异常,如不捕获异常,程序退出,捕获异常可以做其他处理,继续执行? 4、linux的enca命令可以查看文件编码,但是有些中文的无法识别,有可能需要自行安装enca 5、最后研究pyth原创 2016-05-27 09:54:26 · 492 阅读 · 0 评论 -
mysql按字段根据某条件去重 nohup挂后台无法输出日志 系统时间查询 2016.05.18回顾
1、上午主要是做两个老板要的统计,其中要涉及到distinct on按字段去重的用法,我发现mysql居然没有这个语法,mysql按字段去重,可以用group by,但这样就是按照系统某种规则取相同的一条记录,比如说我的需求是按某字段去重,而且取时间最新(自增id最大)的一条,group by就不能满足需求了,好像mysql似乎不能一步到位,要嵌套个子查询比如SELECT * FROM lli.cr原创 2016-05-19 09:38:33 · 985 阅读 · 0 评论 -
dns配置 echarts颜色 mysql增加一天 评分模型学习 2016.06.13回顾
1、centos的dns配置,在/etc/resolv.conf中,nameserver 61.128.128.68 2、内网服务器centos上域名解析存在一些问题,速度很慢,我改为了直接用ip访问,正常了 3、开始实施loan_amount计算,确认了新老客户SQL逻辑,写好了sql,确认了loan_amount计算逻辑 4、学习了评分模型相关,看了一下聊天记录,了解了业内人士的方法:原创 2016-06-14 10:16:52 · 521 阅读 · 0 评论 -
linux重定向 case when嵌套 2016.06.14回顾
1、修改loan_amount逻辑,用sql来写,太累赘,有很多重复的逻辑,只是参数不同,完全可以在数据库中创建function,然后再调用就可以了,但是目前的复杂度,写成sql还是勉强能hold住的,但是我改进了loan_amount部分逻辑的sql,用了case when嵌套,层次比以前打散拿进去的条件清晰多了!在开发数据库上也进行了一定量的测试,再次审计代码发现问题不大。 2、关于openv原创 2016-06-15 09:35:01 · 808 阅读 · 0 评论 -
python元组或运算 python-oracle接口问题 2016.06.30回顾
1、python中两个元组的或运算,不能直接用or,我测试了一下,A元组 OR B元组,结果好像一直都是A元组,要让A元组和B元组中每个元素都做或运算,我用到比较pythonic的方法是用map,map我之前还以为只能用于一个list或tuple,map(lambda x,y:x or y,tupleA,tupleB),这种我没有尝试如果两个元组length不等于会发生什么情况,这种得到的结果是一个原创 2016-07-01 10:54:43 · 456 阅读 · 0 评论 -
sql添加字段 2016.06.15回顾
昨天主要就是把loan_amount和最后审批逻辑sql完善了,有一些讨论,我建议了自己的决策,涉及到的新东西不是很多。 1、mysql添加字段,alter table table_name add column_name column_type default null 2、int(2),指的位数为2原创 2016-06-16 09:34:34 · 234 阅读 · 0 评论 -
MYSQL日期增减 2016.07.01回顾
又废马达又废电的一天啊,数据清洗工作太过繁琐,要找出每种出错的可能,依次去修复,最后下班前还遇到一个bug,由于mysql的query报错不会定位具体的出错行数,我开始以为是自己query的逻辑漏洞,搞了半个小时,最后在回家的路上才想到,可能是IT那张表的问题,今天来查果然是这样!坑啊!这里只复习一下一个mysql函数日期增减DATE_ADD(CURRENT_DATE,INTERVAL原创 2016-07-04 10:16:49 · 345 阅读 · 0 评论 -
mysql两个日期之差 止付与冻结 2016.07.04回顾
1、主要研究了征信报告中止付与冻结的区别,我发现这两个状态几乎没有区别,银行都在用,网上的可能性会更多一些,然而我实际观测到的几乎都是因为逾期造成的止付或冻结,只有1个很奇怪,只有1次逾期也被冻结了,网上的可能性还有诸如暂时冻结云云,但是体现在征信报告上我没看见,我对于冻结和止付的做了分析,可以形成一条rule2、mysql计算两个日期之差,timestampdiff(day,减日期,被减日期原创 2016-07-05 09:23:52 · 680 阅读 · 0 评论 -
2017.06.08-2017.06.11回顾 欺诈事件 SQL不足
上周四、五主要时间都是在处理一个反欺诈的事件,故事大致是这样的,一线的反欺诈同事发现了近期很多通过的客户具有同一种pattern,就是单位类型是党政机关,所处行业却是制造业,后来反查发现这种不自洽客户的通过率高达90%,然后就就去排查每一个信用模型变量,并且尝试各种新的变量,看从什么角度能停下这种pattern的人,最后用了两天的时间,却发现无懈可击这种人,他妈的,最后才发现这是IT的BUG,他妈原创 2017-06-12 11:34:47 · 327 阅读 · 0 评论