- 博客(9)
- 资源 (3)
- 收藏
- 关注
RSS订阅转载 HBase RowKey设计
1 概述HBase是一个分布式的、面向列的数据库，它和一般关系型数据库的最大区别是：HBase很适合于存储非结构化的数据，还有就是它基于列的而不是基于行的模式。既然HBase是采用KeyValue的列存储，那Rowkey就是KeyValue的Key了，表示唯一一行。Rowkey也是一段二进制码流，最大长度为64KB，内容可以由使用的用户自定义。数据加载时，一般也是根据Rowke
2016-12-28 10:20:48
1776
转载 Guava-Filter
Filter我们先创建一个简单的Person类。Person.java12345678910111213141516171819202122232425public class Person { public String getName() { return name;
2016-12-27 14:57:50
513
转载 hbase的rowkey的字典排序（三维有序）
hbase所谓的三维有序存储的三维是指：rowkey（行主键），column key(columnFamily+qualifier)，timestamp(时间戳)三部分组成的三维有序存储。1.rowkey，我们知道rowkey是行的主键，而且hbase只能用个rowkey，或者一个rowkey范围即scan来查找数据。所以 rowkey的设计是至关重要的，关系到你应用层的查询效率。我们知道
2016-12-21 16:03:34
4574
2
转载 Hadoop map和reduce的个数
1.map和reduce的数量过多会导致什么情况？2.Reduce可以通过什么设置来增加任务个数？3.一个task的map数量由谁来决定？4.一个task的reduce数量由谁来决定？一般情况下，在输入源是文件的时候，一个task的map数量由splitSize来决定的，那么splitSize是由以下几个来决定的goalSize = totalSize / mapred
2016-12-15 15:52:17
435
原创 Hadoop YARN的工作流程
第一步： 客户端向 ResourceManager 提交自己的应用。第二步： ResourceManager 向 NodeManager 发出指令，为该应用启动第一个 Container ，并在其中启动 ApplicationMaster。第三步： ApplicationMaster 向 ResourceManager 注册。第四步： ApplicationM
2016-12-14 17:40:26
679
转载 Hadoop Journal Node 作用
NameNode之间共享数据（NFS 、Quorum Journal Node（用得多））两个NameNode为了数据同步，会通过一组称作JournalNodes的独立进程进行相互通信。当active状态的NameNode的命名空间有任何修改时，会告知大部分的JournalNodes进程。standby状态的NameNode有能力读取JNs中的变更信息，并且一直监控edit log的变化，把变
2016-12-08 10:38:09
732
转载 Linux中部署JAVA程序
JAVA程序在开发完成后，需要部署到服务器，如果是WEB项目，需要部署到WEB服务器，否则部署到应用服务器。JAVA是跨平台的编程语言，服务器的操作系统可以是Windows、Linux或者其它，下面将在Redhat6操作系统下，详细说明JAVA程序在WEB服务器和应用服务器上的部署情况。1、JAVA程序部署在应用服务器（1） JAVA程序HelloWorld 在Re
2016-12-06 14:29:36
1842
转载 Java虚拟机学习 - 内存调优
VM调优主要是针对内存管理方面的调优，包括控制各个代的大小，GC策略。由于GC开始垃圾回收时会挂起应用线程，严重影响了性能，调优的目是为了尽量降低GC所导致的应用线程暂停时间、 减少Full GC次数。代大小调优最关键参数：-Xms、 -Xmx 、-Xmn 、-XX:SurvivorRatio、-XX:MaxTenuringThreshold、-XX:PermSize、-X
2016-12-05 17:12:37
298
转载 Java虚拟机学习 - 体系结构 内存模型
一：Java技术体系模块图二：JVM内存区域模型1.方法区也称"永久代” 、“非堆”， 它用于存储虚拟机加载的类信息、常量、静态变量、是各个线程共享的内存区域。默认最小值为16MB，最大值为64MB，可以通过-XX:PermSize 和 -XX:MaxPermSize 参数限制方法区的大小。
2016-12-05 10:34:30
274
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人