- 博客(9)
- 资源 (12)
- 收藏
- 关注
转载 NoSql中的B-tree、B+tree和LSM-tree
首先来回答一个问题:为什么在磁盘中要使用b+树来进行文件存储呢?原因还是因为树的高度低得缘故,磁盘本身是一个顺序读写快,随机读写慢的系统,那么如果想高效的从磁盘中找到数据,势必需要满足一个最重要的条件:减少寻道次数。我们以平衡树为例进行对比,就会发现问题所在了:先上个图 这是个平衡树,可以看到基本上一个元素下只有两个子叶节点 抽象的来看,树
2014-09-30 11:03:40 801
原创 Hadoop程序,出现 Filesystem closed 异常
一个多线程的程序。FileSystem.get(getConf())返回的可能是一个cache中的结果,它并不是每次都创建一个新的实例。这就意味着,如果每个线程都自己去get一个文件系统,然后使用,然后关闭,就会有问题。因为你们关闭的可能是同一个对象。而别人还在用它!所以最好是在main函数中就创建好filesystem对象然后在不同函数之间来回传递吧。在main函数用用try…final
2014-09-29 11:19:31 2089
转载 Hbase访问方式之Mapreduce
概述:Hbase对Mapreduce API进行了扩展,方便Mapreduce任务读写HTable数据。一个简单示例:说明:从日志表中,统计每个IP访问网站目录的总数package man.ludq.hbase;import java.io.IOException;import org.apac
2014-09-26 15:16:02 650
转载 mr任务之从多个Hbase表中读取数据进行处理
从两个不同的Hbase表中读取数据:在reduce中根据数据结构 判断数据是来源于那个Hbase表即可// 设置查询条件 List scans = new ArrayList(); Scan scan1 = new Scan(); scan1.setCaching(100); scan1.setCacheBlocks(false); scan1.setAttribute
2014-09-26 15:13:11 1588
转载 HBase高性能复杂条件查询引擎
——索引的实质是另一种编排形式的数据冗余,高效的检索源自于面向查询特别设计的编排形式,如果再辅以分布式的计算框架,就可以支撑起高性能的大数据查询。本文原文出处: http://blog.csdn.net/bluishglc/article/details/31799255 严禁任何形式的转载,否则将委托CSDN官方维护权益!Apache HBase™是一个分布式、可伸缩的NoS
2014-09-19 11:36:11 1054
转载 原码, 反码, 补码 详解
本篇文章讲解了计算机的原码, 反码和补码. 并且进行了深入探求了为何要使用反码和补码, 以及更进一步的论证了为何可以用反码, 补码的加法计算原码的减法. 论证部分如有不对的地方请各位牛人帮忙指正! 希望本文对大家学习计算机基础有所帮助! 一. 机器数和真值在学习原码, 反码和补码之前, 需要先了解机器数和真值的概念.1、机器数一个数在计算机中的二进制表示形式
2014-09-18 15:10:45 542
转载 JAVA移位运算符
移位运算符就是在二进制的基础上对数字进行平移。按照平移的方向和填充数字的规则分为三种:>(带符号右移)和>>>(无符号右移)。 在移位运算时,byte、short和char类型移位后的结果会变成int类型,对于byte、short、char和int进行移位时,规定实际移动的次数是移动次数和32的余数,也就是移位33次和移位1次得到的结果相同。移动long型的数值时,规定实际移动的次数是移动次
2014-09-18 14:45:02 913
转载 字母组合算法
a、b、c三个字母,得到这样一组组合集合: a、b、c、ab、ac、ba、bc、ca、cb、abc、acb、bac、bca、cab、cba 算法源码如下: public class Comb{ public static void main(String[] args){ comb();
2014-09-03 14:06:32 1440
转载 JAVA NIO 实例
import java.io.IOException;import java.net.InetSocketAddress;import java.net.ServerSocket;import java.nio.ByteBuffer;import java.nio.channels.SelectionKey;import java.nio.channels.Selector;impor
2014-09-03 14:05:53 508
Hortonworks Data Platform: HDFS Administration Guide
2015-10-26
Hortonworks Data Platform: YARN Resource Management
2015-10-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人