2014年09月_Flood_Dragon

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载 NoSql中的B-tree、B+tree和LSM-tree

首先来回答一个问题：为什么在磁盘中要使用b+树来进行文件存储呢？原因还是因为树的高度低得缘故，磁盘本身是一个顺序读写快，随机读写慢的系统，那么如果想高效的从磁盘中找到数据，势必需要满足一个最重要的条件：减少寻道次数。我们以平衡树为例进行对比，就会发现问题所在了：先上个图这是个平衡树，可以看到基本上一个元素下只有两个子叶节点抽象的来看，树

2014-09-30 11:03:40 801

原创 Hadoop程序，出现 Filesystem closed 异常

一个多线程的程序。FileSystem.get(getConf())返回的可能是一个cache中的结果，它并不是每次都创建一个新的实例。这就意味着，如果每个线程都自己去get一个文件系统，然后使用，然后关闭，就会有问题。因为你们关闭的可能是同一个对象。而别人还在用它！所以最好是在main函数中就创建好filesystem对象然后在不同函数之间来回传递吧。在main函数用用try…final

2014-09-29 11:19:31 2089

转载 Hbase访问方式之Mapreduce

概述：Hbase对Mapreduce API进行了扩展，方便Mapreduce任务读写HTable数据。一个简单示例：说明：从日志表中，统计每个IP访问网站目录的总数package man.ludq.hbase;import java.io.IOException;import org.apac

2014-09-26 15:16:02 650

转载 mr任务之从多个Hbase表中读取数据进行处理

从两个不同的Hbase表中读取数据：在reduce中根据数据结构判断数据是来源于那个Hbase表即可// 设置查询条件 List scans = new ArrayList(); Scan scan1 = new Scan(); scan1.setCaching(100); scan1.setCacheBlocks(false); scan1.setAttribute

2014-09-26 15:13:11 1588

转载 HBase高性能复杂条件查询引擎

——索引的实质是另一种编排形式的数据冗余，高效的检索源自于面向查询特别设计的编排形式，如果再辅以分布式的计算框架，就可以支撑起高性能的大数据查询。本文原文出处: http://blog.csdn.net/bluishglc/article/details/31799255 严禁任何形式的转载，否则将委托CSDN官方维护权益！Apache HBase™是一个分布式、可伸缩的NoS

2014-09-19 11:36:11 1052

转载原码, 反码, 补码详解

本篇文章讲解了计算机的原码, 反码和补码. 并且进行了深入探求了为何要使用反码和补码, 以及更进一步的论证了为何可以用反码, 补码的加法计算原码的减法. 论证部分如有不对的地方请各位牛人帮忙指正! 希望本文对大家学习计算机基础有所帮助! 一. 机器数和真值在学习原码, 反码和补码之前, 需要先了解机器数和真值的概念.1、机器数一个数在计算机中的二进制表示形式

2014-09-18 15:10:45 542

转载 JAVA移位运算符

移位运算符就是在二进制的基础上对数字进行平移。按照平移的方向和填充数字的规则分为三种：>（带符号右移）和>>>（无符号右移）。　　在移位运算时，byte、short和char类型移位后的结果会变成int类型，对于byte、short、char和int进行移位时，规定实际移动的次数是移动次数和32的余数，也就是移位33次和移位1次得到的结果相同。移动long型的数值时，规定实际移动的次数是移动次

2014-09-18 14:45:02 912

转载字母组合算法

a、b、c三个字母，得到这样一组组合集合： a、b、c、ab、ac、ba、bc、ca、cb、abc、acb、bac、bca、cab、cba 算法源码如下： public class Comb{ public static void main(String[] args){ comb();

2014-09-03 14:06:32 1439

转载 JAVA NIO 实例

import java.io.IOException;import java.net.InetSocketAddress;import java.net.ServerSocket;import java.nio.ByteBuffer;import java.nio.channels.SelectionKey;import java.nio.channels.Selector;impor

2014-09-03 14:05:53 507