- 博客(6)
- 收藏
- 关注
RSS订阅原创 HBase 原理、设计与优化实践
1、HBase 简介 HBase —— Hadoop Database的简称，Google BigTable的另一种开源实现方式，从问世之初，就为了解决用大量廉价的机器高速存取海量数据、实现数据分布式存储提供可靠的方案。从功能上来讲，HBase不折不扣是一个数据库，与我们熟悉的Oracle、MySQL、MSSQL等一样，对外提供数据的存储和读取服务。而从应用的角度来说，HBase与一般...
2016-10-17 09:06:19
107
原创 ZooKeeper的用法： 分布式锁
锁 分布式的锁全局同步， 这意味着任何一个时间点不会有两个客户端都拥有相同的锁。 可重入锁Shared Reentrant Lock 首先我们先看一个全局可重入的锁。 Shared意味着锁是全局可见的， 客户端都可以请求锁。 Reentrant和JDK的ReentrantLock类似， 意味着同一个客户端在拥有锁的同时，可以多次获取，不会被阻塞。 它是由类InterPro...
2016-10-15 14:25:46
161
原创 ZookeeperNetflix Curator 使用
curator简介 Netflix curator 是Netflix公司开源的一个Zookeeper client library，用于简化zookeeper客户端编程，包含一下几个模块： curator-client - zookeeper client封装，用于取代原生的zookeeper客户端，提供一些非常有用的客户端特性 curator-framework - zookeeper...
2016-10-15 14:14:52
76
原创 Zookeeper开源客户端框架Curator简介
Curator是Netflix开源的一套ZooKeeper客户端框架. Netflix在使用ZooKeeper的过程中发现ZooKeeper自带的客户端太底层, 应用方在使用的时候需要自己处理很多事情, 于是在它的基础上包装了一下, 提供了一套更好用的客户端框架. Netflix在用ZooKeeper的过程中遇到的问题, 我们也遇到了, 所以开始研究一下, 首先从他在github上的源码, wi...
2016-10-15 13:24:27
87
原创 Hive 表分区
基本知识： Hadoop：文件相关操作比如： hadoop fs -rmr 'hdfs://hdfs://192.168.8.101:8020/user/hive/warehouse'; hadoop fs -put '/user/hive/warehouse/data.txt' 'hdfs://hdfs://192.168.8.101:8020/user/hi...
2016-10-15 11:52:45
100
原创 ByteBuffer常用方法详解
缓冲区(Buffer) 缓冲区(Buffer)就是在内存中预留指定大小的存储空间用来对输入/输出(I/O)的数据作临时存储，这部分预留的内存空间就叫做缓冲区： 使用缓冲区有这么两个好处： 1、减少实际的物理读写次数 2、缓冲区在创建时就被分配内存，这块内存区域一直被重用，可以减少动态分配和回收内存的次数 举个简单的例子，比如A地有1w块砖要搬到B地 由于没有工具（缓冲区），我们...
2016-10-15 11:49:00
382
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人