2017年12月_lby0307

12月 11月 10月

转载数据挖掘模型中的IV和WOE详解

1.IV的用途IV的全称是Information Value，中文意思是信息价值，或者信息量。我们在用逻辑回归、决策树等模型方法构建分类模型时，经常需要对自变量进行筛选。比如我们有200个候选自变量，通常情况下，不会直接把200个变量直接放到模型中去进行拟合训练，而是会用一些方法，从这200个自变量中挑选一些出来，放进模型，形成入模变量列表。那么我们怎么去挑选入

2017-12-25 13:52:41 297

转载 IV值

评分模型开发主要分为变量处理、模型建立、评分转换、模型评估4个步骤。其中在变量处理的时候涉及IV值和WOE值的计算。基于抽样后得到训练样本集数据，由于变量数量通常较多，不推荐直接采用逐步回归的方法进行筛选。由于各个变量的量纲和取值区间存在很大的差别，通常会对变量的取值进行分箱并计算证据权重 WOE值(weight of evidence) ，从而降低变量属性的个数，并且平滑的

2017-12-25 13:31:47 1177

转载 Linux 下时间的设置与重置

需要先在Linux下面使用root用户，安装这个命令yum install ntp安装ntpdate使用 date 命令查看当前的日期，使用date -s "2017-11-01" 这样命令设置当前时间，使用安装的ntp 可以重置最新的时间ntpdate cn.pool.ntp.orgdate -s "2017-1

2017-12-18 11:07:05 1358

转载 RocketMq命令

启动rocketMq命令： sh mqnamesrv &sh mqbroker -c ../conf/2m-noslave/broker-a.properties &1. 登录控制台：首先进入 RocketMQ 工程，进入/RocketMQ/bin 在该目录下有个 mqadmin 脚本 . 查看帮助：在 mqadmin 下可以查看有哪些命令

2017-12-17 09:19:59 208

转载 springboot集成spring-data-jpa

在成功创建hello word后，接下来我首先想到了数据库的访问，之前也用过不少ORM，Hibernate、Mybatis，既然是学习就要学习没用过的不是，spring有自己的解决方案，那就是spring-data-jpa,这篇文章主要学习使用spring-data-jpa来访问数据库的过程。1.我使用的数据库是mysql，首先将spring-data-jpa和mysql驱动的jar包导入

2017-12-16 11:56:55 209

转载配置Nginx实现负载均衡

在关于高并发负载均衡一文中已经提到，企业在解决高并发问题时，一般有两个方向的处理策略，软件、硬件，硬件上添加负载均衡器分发大量请求，软件上可在高并发瓶颈处：数据库+web服务器两处添加解决方案，其中web服务器前面一层最常用的的添加负载方案就是使用nginx实现负载均衡。一、负载均衡的作用1、转发功能按照一定的算法【权重、轮询】，将客户端请求转发到不同应用服务器上，减轻单

2017-12-13 21:52:05 178

转载 kylin从入门到实战：实际案例

这篇文章将从一个实际的案例入手，介绍如何在kylin平台上创建一个多维分析项目。1.创建project进入kylin操作界面，如果没有project可以创建，kylin里面可以创建多个project，有效的把各种业务数据分析隔离开来。如图：如下，填写project name，description可以不填然后submit 提交，project创建成功。

2017-12-13 21:49:56 894

转载 springboot问题，没有主清单属性

在pom.xml中添加 org.apache.maven.plugins maven-compiler-plugin 1.7 1.7

2017-12-13 20:28:56 5632 1

转载 annotation(@Retention@Target)详解

一、注解：深入理解JAVA注解　　要深入学习注解，我们就必须能定义自己的注解，并使用注解，在定义自己的注解之前，我们就必须要了解Java为我们提供的元注解和相关定义注解的语法。1、元注解（meta-annotation）：　　元注解的作用就是负责注解其他注解。Java5.0定义了4个标准的meta-annotation类型，它们被用来提供对其它 annotation类型作说

2017-12-03 15:31:09 896

转载 Flume架构以及应用介绍

在具体介绍本文内容之前，先给大家看一下Hadoop业务的整体开发流程：从Hadoop的业务开发流程图中可以看出，在大数据的业务处理过程中，对于数据的采集是十分重要的一步，也是不可避免的一步，从而引出我们本文的主角—Flume。本文将围绕Flume的架构、Flume的应用(日志采集)进行详细的介绍。（一）Flume架构介绍 1、Flume的概念 flume是分布式的日志

2017-12-02 19:22:26 270

转载 hive UDF

今天有同事来问一个我写过的UDF的问题，想起之前貌似写过一篇这样的文章，草稿箱里找了下，确实有，躺了一年半了，发出来，也许对某些同学有帮助~HIVE允许用户使用UDF（user defined function）对数据进行处理。用户可以使用‘show functions’ 查看function list，可以使用'describe function function-name'查看函数

2017-12-02 10:11:40 288