2018年01月_往事随风ing

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 [Openstack对比oVirt]--openstack和oVirt的对比

一、oVirt简介 1、Ovirt是一个开源的虚拟化管理平台，是Redhat 虚拟化管理平台RHEV的开源版本。 2、Ovirt由两部分组成 (1)客户端ovirt-node类似于vmware esxi，是由fedaro 16订制而成。也可以在linux系统上安装vdsm服务而得到一个ovirt客户端。 (2)管理端overt-engine 类似于 vmwarevcenter，但是是基于...

2018-01-30 11:24:18 10177 1

转载 [Java算法]--生成全局唯一的Id(IdGen)

全局唯一ID生成器浅析我们在开发中，有时非常需要一个全局唯一的ID值，不管是业务需求，还是为了以后可能的分表需求，全局唯一值都非常有用，本篇大象就来讲讲这个实现并对ID生成器性能进行一下测试。大象所讲的这个全局唯一ID生成器，其实是Twitter公开的一个算法，源码是用Scala写的，被国内的开源爱好者改写成了Java版本。大象将这个类的调用简化了一下，实际使用中还是应该根据机器...

2018-01-29 11:00:04 11629 1

原创 [Java基础]-- i++和++i的区别

这是一个常见的问题，很具有迷惑性，当然也比较基础。先看下面的一个例子：public class HelloWorld { public static void main(String []args) { int i=0,j=0; int a,b; a=i++; b=++j; System.out.println("a="+a+"; b="+b); System.o...

2018-01-28 14:47:20 511

原创 [学习数据结构]--计算机科学中的树

参考：https://zh.wikipedia.org/wiki/%E5%9F%BA%E6%95%B0%E6%A0%91https://en.wikipedia.org/wiki/Tree_(data_structure)

2018-01-23 15:35:22 452

原创 [Spark升级]--在CDH-5.10.0中添加spark2(未添加Kerberos认证)

一、环境准备jdk-1.8+scala-2.11.X+python-2.7二、创建目录mkdir -p /opt/cloudera/csd修改权限chown cloudera-scm:cloudera-scm /opt/cloudera/csd获取csd(放到/opt/cloudera/csd目录)wget http://archi...

2018-01-23 13:29:04 3026 1

原创 [Hadoop基础]--用户自定义mapreduce输出的文件名称

前言有这样一个需求：在reduce结束后，输出的文件名称为用户自定义，且要求没有空文件输出。方案方案1：单个输出，获取上下文配置，修改文件名称。方案2：参考spark使用MultipleOutputs输出。这里主要说说方案2的实现方式。1、需要保证输出文件没有空2、自定义输出文件名称3、具体实现(1)在org.apache.hadoop.mapreduce.Job中设置...

2018-01-16 10:44:12 2258 4

Java中的final关键字非常重要，它可以应用于类、方法以及变量。这篇文章中我将带你看看什么是final关键字？将变量，方法和类声明为final代表了什么？使用final的好处是什么？最后也有一些使用final关键字的实例。final经常和static一起使用来声明常量，你也会看到final是如何改善应用性能的。final关键字的含义?final在Java中是一个保留的关键字，可以声明成员变量、...

2018-01-10 10:37:38 340

原创 [Hive优化]--常用参数优化汇总

● 使用动态分区需要加配置：SET hive.exec.dynamic.partition=true;SET hive.exec.dynamic.partition.mode=nonstrict;SET hive.exec.max.dynamic.partitions=1000;SET hive.exec.max.dynamic.partitions.pernode=100;为了防止一个reduc...

2018-01-08 09:20:58 2845