- 博客(25)
- 收藏
- 关注
RSS订阅原创 百度网盘链接提取码接口实现
通过pandownload，获取接口例如获取以下百度网盘链接的提取码https://pan.baidu.com/s/1vlny0C5moLIu97GvBzVw7Q从上图分析js脚本,用python实现如下：def find_verifcode(baiduurl): url = "https://search.pandown.cn/api/query" headers = ...
2019-10-31 00:43:54
24748
3
原创 实时反欺诈建设路径及实践
实时反欺诈建设路径及实践由邦盛介绍其用于反欺诈的实时监控系统及其他相关平台和服务1. 实时反欺诈体系1. 事前:可信环境构建及识别可信环境:可信设备可信账户可信位置(IP,GPS等)2. 事中:监控策略体系规则监控案件规则规则模板规则训练模型监控有监督无监督深度学习多因素认证位置校验短信认证人工认证3. 事后:核查管控核查案件...
2019-09-18 09:45:44
469
原创 2019电信网络诈骗犯罪情况介绍
电信网络诈骗犯罪情况介绍来源:北京公安局反诈骗中心1. 总体情况及特点2018年全国刑事立案同比下降7.7%,但电信网络诈骗立案数上升30%,形势严峻;犯罪类型多,手段变化快;被骗群体广,社会危害大;灰色产业链问题;互联网成为主要作案工具;2. 银行/支付机构需要注意内容涉案银行卡情况:涉案银行卡中农行占比高达45%;全国性股份制商业银行次之(华...
2019-09-18 09:43:39
2289
原创 反欺诈评分卡
一、评分卡目的现金贷业务中，主要面临两种风险：信用风险和欺诈风险信用风险：借款人还款能力和还款意愿进行评估，从而决定放款金额的大小，放款利率的大小欺诈风险：就是为了骗钱不还，包括开始想还，后期不还直接用规则做反欺诈，三种局限性：策略比较强，命中直接拒绝，无法考虑策略之间深层次的关系；无法给出用户的欺诈风险有多大；没有考虑用户从信用风险向欺诈风险的转移；反欺诈模型就是为了通过...
2019-09-10 18:09:21
3019
原创 爬虫获取失信被执行人信息
失信被执行人信息失信被执行人信息分两部分：个人信息出生月份及日期四位数是掩码展示，本博文爬取的是原始的掩码信息，如果想要进一步获取到不含掩码的个人身份信息，也不难，只是工作量大点而已月份是01-12，日期根据月份拼接，需要额外365或者366次校验根据身份证号码规则将前面的身份证号码17位数分别乘以不同的系数。从第一位到第十七位的系数分别为：7 9 10 5 8 4 2 1 6 3 ...
2019-09-09 17:44:32
1760
原创 超参数调优方法
超参数调优方法网格搜索随机搜索贝叶斯优化超参数搜索算法一般包括以下要素：目标函数，即算法需要最大化、最小化的目标；搜索范围，一般通过上限和下限来确定；算法的其他参数网格搜索最简单，应用最广泛的超参数搜索算法通过查找搜索范围内的所有的点来确定最优值如果采用较大的搜索范围以及较小的步长，网格搜索有很大概率找到全局最优值这种搜索方案十分消耗计算资源和时间，特别是需要调优的超参数比较...
2019-09-04 16:32:44
1775
原创 Python中进程、线程、协程区别
Python中进程、线程、协程区别多进程适合密集CPU任务，充分利用多核CPU资源（大量的并行计算，循环计数运算）缺点：多个进程之间的通信成本和切换开销很高，如果程序涉及到大量数据通信或切换任务，不适合用多进程multiprocessing多线程密集IO任务（网络IO，磁盘IO，数据库IO）threading,multiprocessing.dummy缺点：同一个时间内存一次只能...
2019-08-29 00:26:31
114
原创 数据库操作练习
CREATE TABLE students(sno VARCHAR(3) NOT NULL,sname VARCHAR(4) NOT NULL,ssex VARCHAR(2) NOT NULL,sbirthday DATETIME,class VARCHAR(5));CREATE TABLE courses(cno VARCHAR(5) NOT NULL,cname VARCHAR...
2019-08-08 10:05:17
338
原创 区块链100问
区块链100问01. 从物物交换到比特币02. 什么是比特币03. 比特币白皮书的诞生04. 第一个比特币诞生啦05. 谁是中本聪06. 密码朋克是什么07. 比特币是怎么发行的08. 披萨居然卖到3亿元09. 区块链联盟盘点09. 中本聪的继承者是谁10. 早起比特币还能白送11. 比特币为啥还没挖完12. 比特币如何保持总量恒定13. 比特币和Q币不一样14. 各国和区块链资产15. 比特币怎...
2019-07-31 01:56:44
4429
原创 tesseract和PIL对图片验证码进行识别
原图：灰度处理+二值化处理，即可得到下边类似于这样的图片from PIL import Image import pytesseract def img_handle(img_path): img = Image.open(img_path) # img.show() # 灰度处理 img_grav = img.convert("L...
2019-07-30 19:50:12
178
转载 连连支付信息安全白皮书
文章目录信息安全战略风险管理框架合规和隐私保护信息安全责任声明基础安全安全运营管理信息安全战略落实安全管控责任规避与降低安全风险保障业务安全运行依法依规保护客户隐私风险管理框架合规和隐私保护ISO9001:2015 质量管理体系认证ISO/IEC27001:2013 信息安全管理体系认证ISO/IEC20000-1:2011 信息技术服务管理体系认证PCI DSS 支...
2019-07-30 17:09:48
518
转载 【转载】python语句中的try-except-else-finally
1、try - except作用： 捕获程序在执行时遇到的异常情况，即一些报错。什么啥玩意儿没定义啊，符号又错了啊之类...
2019-07-29 12:38:30
187
转载 IPC技术与评分卡技术区别
在众多的小贷技术中，本文主要关注两个技术，一个是德国IPC公司的小贷技术（以下简称德国IPC技术），和德国IPC技术类似的还有很多，比如法国沛丰的小贷技术，印尼人民银行小贷技术等等，都是偏重于人与人沟通的技术，由信贷员做决策；另一个是打分卡技术，偏重于由计算机做决策。一、德国IPC小贷技术1．概要德国IPC公司1980年11月成立，在1980年代末，IPC的工作重心转移到了开发金融领域，开始...
2019-03-27 14:27:07
953
原创 支付牌照那些事
1. 为何会有第三方支付公司：最初，电子商务网站要提供支付功能就要跟每一家银行签订协议，电子商务网站规模很小，银行不愿合作，衍生了第三方支付公司。第三方支付公司上游与银行合作，下游与电子商务使用者签订协议，第三方公司中间赚取手续费差价，一般银行收取第三方支付公司千分之四，电子商务公司收取用户手续费百分之一以下。2. 此类企业大概分三类：第一类：互联网支付网关支付：依托大型B2C、C2C等...
2019-03-19 10:15:55
439
转载 python logging 替代print 输出内容到控制台和重定向到文件
在写程序的时候，尤其是大型的程序，在程序中加入日志系统是必不可少的，它能记录很多的信息。刚刚接触python的时候肯定都在用print来输出信息，这样是最简单的输出，正是因为这样，在调试的时候还要去逐个的去更新print后面的内容，代码少的时候还好，但是当代码量到达一定数量时，使用logging就是一种好的选择。并且logging不仅能输...
2019-03-16 11:56:10
1185
转载 IP及相关风控建模
转载地址：http://www.sohu.com/a/162012568_470081关于IP的一些冷知识：IP地址(本文中特指IPv4地址)，是用于标识网络和主机的一种逻辑标识。依托于强大的TCP/IP协议，使得我们可以凭借一个IP地址，就访问互联网上的所有资源。IP地址本质上，只是一个32位的无符号整型(unsigned int)，范围从0 ~ 2^32 ，总计约43亿个IP地址。为了...
2019-03-05 16:10:54
3771
1
原创 hadoop安装hive
CentOS7下默认没有安装MySQL，有MariaDB数据库MariaDB数据库是MySQL的一个分支，主要是开源社区在维护，采用GPL授权许可，开发此分支的原因之一是：甲骨文收购了MySQL后，有将MySQL闭源风险。MariaDB目的是完全兼容MySQL，包括API和命令行。1. 卸载MariaDB# 查看系统上的MariaDB[root@master hive3.1]# rpm -...
2019-03-05 16:07:43
169
原创 Spark集群安装
博主已经安装好了三台CentOS机器，且做好了静态IP，也搭建好了Hadoop集群及jdk环境，以此为背景。如果对以上不懂的，请查看博主之前的博客。Spark集群安装1. 创建目录，下载安装包1. 创建spark目录2. 下载spark安装包到spark目录下2. 配置Spark1. 配置spark-env.sh文件2. 配置slaves文件3. 拷贝配置好的Spark到其他节点上4. 启动s...
2019-03-02 16:26:03
202
原创 Hadoop2.8第一个案例 运行wordcount
运行wordcount1. 查看hadoop中MapReduce路径2. 创建word.txt，生成数据文件3. 查看文件4. 创建HDFS目录5. 将数据文件word.txt上传到HDFS /work/data/input 目录下6. 以文本形式读出文件7. 运行wordcount例子8. 查看结果1. 查看hadoop中MapReduce路径[root@master mapreduce]#...
2019-03-01 20:20:41
473
原创 Hadoop2.8 HDFS上测试目录创建，上传，下载，查看文件
HDFS操作文件操作1.创建目录2. 上传本地文件到HDFS3. 查看HDFS文件4. 从HDFS上下载文件到本地文件操作1.创建目录任何目录${HADOOP_HOME}/bin/hdfs dfs -mkdir /demo或者跳转到hadoop的安装目录的bin目录下后边仅对此情况演示hdfs dfs -mkdir /demo2. 上传本地文件到HDFShdfs dfs...
2019-03-01 17:10:38
1282
原创 CentOS7 + hadoop2.8大数据环境搭建
默认已经在VMware上安装了系统为CentOS7的三台机器，并且设置了三台机器静态IP地址。如果对设置静态IP地址不熟悉，可以参考博主另外一篇博客。https://blog.csdn.net/zgf605506394/article/details/87781296下载java,下载hadoop博主主机是Windows，所以直接在官网下载，通过WinSCP直接传到CentOS系统中...
2019-02-26 17:53:58
372
原创 CentOS7虚拟机设置静态IP
在VMware中，虚拟机->设置，选择NAT模式在VMware中，编辑->虚拟网络编辑器在CentOS系统中，切换到/etc/sysconfig/network-scripts路径下，会看看到ifcfg-***的文件用vi打开ONBOOT开机启动，yesIPADDR就是设置的静态地址NETMASK子网掩码GATEWAY网关，建议设置为ip地址段后一位为2，我也不明...
2019-02-20 10:58:13
209
原创 特征工程中缺失值处理
特征工程中缺失值处理缺失值极多：把该特征直接舍弃非连续特征缺失值适中：把NaN作为一个新类别连续特征缺失值适中：给定一个step，离散化，把NaN作为一个type放入到特征中缺失值较少：利用填充的方法进行处理，常见的有均值，众数，中位数填充；用sklearn中的RandomForest模型区拟合数据样本训练模型，然后去填充缺失值；拉格朗日插值法...
2019-02-15 17:04:38
1629
1
原创 解决TensorBoard看不到Graphs,以及graphs闪现消失问题
以Ubuntu操作系统为例直接在终端中进入到logdir的上一级目录,在终端中输入命令tensorboard --logdir = logfile注意:logfile是存放log文件的目录在与logfile同根的目录输tensorboard命令在浏览器中输入http://127.0.0.1:6006如果遇到chrome浏览器中,graphs闪现,然后消失,用火狐浏览器打开...
2018-11-08 14:26:49
2382
8
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人