- 博客(17)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 数据挖掘模型中的IV和WOE详解
1.IV的用途IV的全称是Information Value，中文意思是信息价值，或者信息量。我们在用逻辑回归、决策树等模型方法构建分类模型时，经常需要对自变量进行筛选。比如我们有200个候选自变量，通常情况下，不会直接把200个变量直接放到模型中去进行拟合训练，而是会用一些方法，从这200个自变量中挑选一些出来，放进模型，形成入模变量列表。那么我们怎么去挑选入模变量呢？挑选入模变量过程是个比较复...
2018-06-08 13:45:49
411
原创 NAT穿越引入的一个漏洞
UE和ePDG通过Notify(NAT_DETECTION_SOURCE_IP)和Notify(NAT_DETECTION_DESTINATION_IP)判断两端是否处于NAT后面。如果任何一端探测探测到自己在NAT后面，本端会把自己的通信端口改为4500。如图1所示，UE 位于NAT后面，所以UE将自己通信端口由500变为了4500，由于NAT设备做了地址映射，所以ePDG看到UE的地址是114...
2018-06-07 09:52:18
1319
原创 性能调优实践-提升cpu利用率
1 结论通过本次性能优化，总结了几条经验。■频繁的加解锁会提高系统空间的CPU占用率锁在内核的实现是通过队列来实现的，加锁操作把线程放入等待队列，解锁操作是才能够等待队列获取一个线程来获取锁。所以频繁的加解锁CPU的开销是非常大的。■锁和线程的数量是两个矛盾体。对于固定数量的锁，线程的数量并非越多越好。我们需要在两者之间找平衡点。如何来找？通过测试找出最优值。■多CPU环境...
2018-06-07 09:44:42
16145
原创 DNS实现HA和负载均衡
NAPTR和SRV均可以实现后台服务器的master/slave和load balancing。但是两者实现的粒度不一样，所以两者通常结合起来使用。通过NAPTR可以查找服务(service)，通过SRV可以查找某个service的细节比如协议,PORT，server。1 SRV(service location)The SRV RR allows administrators to use se...
2018-06-07 09:32:29
3104
原创 数字证书基础-X.509协议
数字证书的两个基本概念基本原则1：公钥加密，私钥解密。私钥签名，公钥验签。基本原则2：根证书应该被无条件信任，根证书通过可靠途径获得。 X.509是PKI的一种实现。1. 证书状态查询提供证书回收状态查询的两种机制：1.OCSP --online certficate status protocol (rfc2560)。Firefox3 缺省就是使用OCSP协议。2.CRLs --certific...
2018-06-07 09:25:50
6538
原创 Oracle-11g中的并发控制(2012/11/16)
1 事务基础在DB中，可能出现如下3种现象脏读 在事务中，读到了其它事务没有提交的记录 不可重复读 在事务中，即使查询条件相同，下次返回的记录与上次返回记录不一样，不一样体现在记录被修改或记录被删除 幻影读 在事务中，即使查询条件相同，下次返回的记录与上次返回记录不一样，不一样体现在新增加了记录。SQL92规定的事务隔离级别如下表。oracle支持3种事务隔离级别：read-only/rea...
2018-06-06 16:48:31
912
原创 HBase性能测试报告(2012/6/1)
1 测试环境1.1 硬件环境●五个HP Z210： 8G内存；4个型号为i7-2600的CPU，4核；千兆网卡；SATA 硬盘，7200转/分钟●CiscoCatalyst 3670交换机1.2 软件环境 OS：Red Hat 64bit；hadoop-1.0.3；HBase0.94.01.3 组网 2 写性能测试●黑色曲线4个客户端，分别部署在SM21、SM22、SM23和SM24。...
2018-06-06 16:35:12
2527
原创 bit-wise索引原理(2012/7/3)
1 IQ 简介SybaseIQ是一款数据仓储产品。个人认为其核心技术包括：列存储和bit-wise索引。首先了解行存储，把属于一行的所有列的数据存储在连续的空间即为行存储。行存储有两个缺点：由于DBMS中磁盘IO的单位是block (oracle中的block大小2K-32K)， 如果查询只关心行中的部分列，需要同时读取其它的列，增加了IO；block上的数据类型不一致使得压缩率低。这两个缺点对数...
2018-06-06 16:21:25
1660
原创 磁盘阵列性能测试(2013/7/12)
1 组网操作系统：RedhatLinux 6.2 (64bit)文件系统：ext4IO分为直接IO和非直接IO。所谓直接IO是指读写文件不利用的文件系统高速缓存，直接从磁盘读取/存储数据。在调用open函数时，支持位O_DIRECT即直接IO。反之，读写文件要经过文件高速缓存的操作成为非直接IO，OS默认是这种操作方式。在进行测试的同时，利用iosat –xk命令查看IOPS...
2018-06-06 16:13:21
1051
原创 推荐引擎概述(2015/4/21)
1 分类1.1 不同的用户推荐是否相同1.1.1 根据大众行为的推荐引擎对每个用户都给出同样的推荐，这些推荐可以是静态的由系统管理员人工设定的，或者基于系统所有用户的反馈统计计算出的当下比较流行的物品，比如TOPN推荐。1.1.2 个性化推荐引擎对不同的用户，根据他们的口味和喜好给出更加精确的推荐，这时，系统需要了解需推荐内容和用户的特质，或者基于社会化网络，通过找到与当前用户...
2018-06-06 16:08:37
514
原创 如何计算时间间隔(2014/2/20)
在进行重要的时间运算的时候，比如自己实现定时器，不能够使用time/gettimeofday，建议使用TSC或jiffies。1 问题1.1现象1应用(ePDG)中有许多的定时器，这些定时器通过一个队列和一个线程进行管理。定时器加入到队列时，用time/gettimeofday获取当前时间(记为timer_start)，加上用户传入的延时参数(delay)会，得到定时器应该被触发的时间(timer...
2018-06-06 15:27:42
2453
原创 Oracle ORA-1628错误的定位分析（2012/1/8）
在Oracle 10.2.0.1.0中，只要设置了undo表空间自动管理，不管有没开启自动扩展，不管undo_retention设置为多少，都会启用 Automatic Tuning of undoretention的新特性。这个新特性中计算RETENTION算法有问题，会导致unexpired undo数据奇高，并最终导致出现ORA-1628: max # extents 32765reache...
2018-06-06 15:16:24
3477
原创 如何高效的使用switch（2015/1/30）
在TWAG性能测试中，使用perf命令发现ui_generic_encapsulate 函数占用的CPU高达8.3%。这个函数实现非常简单，只是包含了一个比较大的switch语句。本文从研究switch的汇编代码出发，提出了两个降低ui_generic_encapsulate CPU占用率的建议。1 switch的实现通过分析switch.c的汇编代码发现，首先找出case 的最大值，如果x比...
2018-06-06 15:02:54
941
原创 如何编写高效的代码（2014/6/1）
编写高效的代码有两个条件：选择好的算法和数据结构，编写编译器能够优化以转换成高效可执行的代码。前者是基础和前提，即使后者做的足够好，但是选用了错误的算法和数据结构，优化也不起作用，这个一点要搞清楚。本文的内容的侧重于后者。1 计算机系统架构L1和L2位于CPU芯片上，L3被各个CPU共享。由于成本的考虑，L3，L2，L1的大小依次递减。以INTEL XEON E7-8891V2为例，L3 ：37....
2018-06-06 14:49:40
751
原创 网卡性能测试报告(2015/3/31)
测试结论(1)网卡处理大包的实际能力约为网卡宣称的80%-90%，比如10G网卡支持的最大流量约为8Gb/s-9Gb/s，注意单位是bit。 (2) 1G网卡处理小包的能力约为560K包/秒。 (3) 网卡的带宽参数指的是单向带宽。 1 TCP性能1.1组网1.2测试测试方法： sever2 作为服务端绑定端口9999，server1作为客户端与server2建立...
2018-06-06 13:51:21
7498
原创 BPMN2.0协议解析
1 BPMN的历史背景BPMN(Business Process Model and Notation)，业务流程建模和标注。 Notation是BPMN的核心，即使用图形来表达业务流程。另外，BPMN是由OMG组织维护的一个公开的标准，与任何特定商业组织或工具是没有关系，无需为此付费。BPMN和传统的流程图的区别如下：BPMN是一个正式的规范，各种图标、元件是有准确的含义和使用规范BP...
2018-06-05 10:32:38
13911
4
原创 jBPM如何自定义task
jBPM如何自定义task1 背景jBPM中，task表示一段业务逻辑，比如发送邮件、查询数据库等。jBPM支持的task的总类如下图所示。除此之外，jBPM支持用户自定义task，官方的叫法有domain-specific task、custom work items、custom service node。2 例子2.1 创建wid文件文件的路径src/main/re...
2018-06-05 10:19:23
1138
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人