wdier-CSDN博客

转载连续特征离散化

RT，尤其在logistic regression上，需要把一些连续特征进行离散化处理。离散化除了一些计算方面等等好处，还可以引入非线性特性，也可以很方便的做cross-feature。连续特征离散化处理有什么好的方法，有时候为什么不直接归一化？这里主要说明监督的变换方法；连续性变量转化成离散型变量大致有两类方法：（1）卡方检验方法；（2）信息

2017-09-13 13:10:46 1151

转载 GBDT与梯度的理解

GBDT 全称为 Gradient Boosting Decision Tree。顾名思义,它是一种基于决策树(decision tree)实现的分类回归算法。不难发现,GBDT 有两部分组成: gradient boosting, decision tree。Boosting 作为一种模型组合方式,与gradient descent 有很深的渊源,它们之间究竟有什么关系?同时 decisio

2017-09-13 09:23:23 1038

转载 Hadoop2.7.2之Hive-2.1.1的Hiveserver2服务和beeline远程调试

1.开启metastore 和 hiveserver2服务[root@sht-sgmhadoopnn-01 bin]# hive --service metastore &[1] 31092[root@hadoop-01 bin]# hive --service hiveserver2 &[root@hadoop-01 bin]# ps -ef|grep hiveroot

2017-06-21 16:20:06 2235

转载 HBase优化之bulkload写入

1、为何要 BulkLoad 导入？传统的 HTableOutputFormat 写 HBase 有什么问题？我们先看下 HBase 的写流程：通常 MapReduce 在写HBase时使用的是 TableOutputFormat 方式，在reduce中直接生成put对象写入HBase，该方式在大数据量写入时效率低下（HBase会block写入，频繁进行flush，split，co

2017-05-09 10:38:10 727

转载 HBase Rowkey热点问题

当处理由连续事件得到的数据时，即时间上连续的数据。这些数据可能来自于某个传感器网络、证券交易或者一个监控系统。它们显著的特点就是rowkey中含有事件发生时间。带来的一个问题便是Hbase对于row的不均衡分布，它们被存储在一个唯一的rowkey区间中，被称为region，区间的范围被称为Start Key和End Key。对于单调递增的时间类型数据，很容易被散列到同一个Region中

2017-04-05 16:12:45 1679

转载 HBase HFile BulkLoad

原文：http://shitouer.cn/2013/02/hbase-hfile-bulk-load/一、这种方式有很多的优点：1. 如果我们一次性入库Hbase巨量数据，处理速度慢不说，还特别占用Region资源，一个比较高效便捷的方法就是使用 “Bulk Loading”方法，即HBase提供的HFileOutputFormat类。2. 它是利用hbase的数据信息按照特定格式

2017-03-30 16:01:52 657

原创 Kubernetes kube-ui 安装部署

kube-ui是k8s提供的web管理界面，可以展示节点的内存、CPU、磁盘、Pod、RC、SVC等信息。1.编辑kube-dashboard-rc.yml定义文件[root@master kube-dashboard]# cat kubernetes-dashboard-rc.ymlkind: ReplicationControllerapiVersion: v

2017-03-20 11:49:20 2154 1

转载 Kubernetes安装部署学习笔记（二）

1 源码分析如果全部前提工作准备完毕，启动和停止k8s的方法非常简单分别单独一条命令（在cluster目录下）：KUBERNETES_PROVIDER=ubuntu ./kube-up.shKUBERNETES_PROVIDER=ubuntu ./kube-down.sh下面分析下这条命令具体做了哪些事情。#!/bin/bash# Copyrig

2017-03-15 11:11:35 1599

原创 Kubernetes安装部署学习笔记（一）

一 Kubernetes 一键部署，kube-up脚本解析二脚本内部，脚本source调用步骤 env.sh —-> kube-env.sh —> kube-util.sh 1 env.sh 找不到，就不执行 2 kebe-env.sh 也就是定义了一些打印的颜色，和一个kube_server_version() 函数，来打印major ,minor

2017-03-15 09:07:16 554

原创 Java中String类型和Date类型的相互转换

java中String和Date的互相转换使用SimpleDateFormat来完成。SimpleDateFormat使用记得 import java.text.SimpleDateFormat。1.String -> Datejava.text.SimpleDateFormat formatter = new SimpleDateFormat( "yyyy-MM-dd ");String s=

2017-03-09 11:06:23 431

原创 Docker学习(二)：不使用sudo执行Docker

为什么需要创建docker用户组？Docker守候进程绑定的是一个unix socket，而不是TCP端口。这个套接字默认的属主是root，其他是用户可以使用sudo命令来访问这个套接字文件。因为这个原因，docker服务进程都是以root帐号的身份运行的。为了避免每次运行docker命令的时候都需要输入sudo，可以创建一个docker用户组，并把相应的用户添加到这个分组里面。当docke

2017-03-06 10:31:49 677

转载 Docker学习(一)：Ubuntu下Docker的一些基本指令和注意事项

转载自：http://blog.csdn.net/tina_ttl最近发现极客学院docker教程，还不错，可以参考1.Dockerhub下载镜像注：Dockerhub地址有两种方式可以获得新的镜像直接从dockerhub下载编译好的image（该编译过程在docker hub的云端完成）（见3.1）下载docekrfile文件，在本机进行build直接

2017-03-06 10:16:30 434

转载 Ubuntu 16.04设置静态IP地址（NAT方式）

1.安装环境VMware 10.0.4 build-2249910Ubuntu 16.04 x86_642.在VMware中，配置网络环境VMware在默认安装完成之后，会创建三个虚拟的网络环境：VMnet0、VMnet1和VMnet8。其类型分别为：桥接网络，Host-only和NAT。其中，NAT表示VMWware内安装的Ubuntu将会在一个子网中，VMw

2017-03-06 09:32:38 1307

wdier的博客