- 博客(10)
- 收藏
- 关注
RSS订阅原创 Hadoop IO包序列化和反序列化
Hadoop IO包序列化和反序列化由于java序列化机制计算量开销大，且序列化的结果体积大太。Hadoop在集群之间进行通讯或者RPC调用的时候，需要序列化，而且要求序列化要快，且体积要小，占用带宽要小，所以不适合Hadoop。因此，hadoop中并没有使用Java自带的基本数据类型，并且Hadoop拥有一套自己序列化机制。Writable接口是基于Java中I/O（DataInput和Da...
2018-04-28 17:54:36
362
翻译 ZooKeeper程序员指南
ZooKeeper程序员指南Introduction本文当是针对想要以zookeeper协调服务为基础创建分布式应用程序的开发人员指南。包含概念和实用信息。指南的前四部分展示各种zookeeper概念跟高层次的讨论，这些对于理解zookeeper如何工作和如何使用它是必要的。指南不包含源码，但是它假定读者对分布式计算相关问题是熟悉的。前四部分如下：The ZooKeeper ...
2018-04-26 17:09:47
459
翻译 ZooKeeper 概览 --官方文档
ZooKeeper OverviewZooKeeper: A Distributed Coordination Service for Distributed Applicationszookeeper是一个开源的分布式协调服务，用于分布式程序。它公开了一组简单的函数，分布式应用程序可以利用这些函数来实现更高级别的服务，以实现同步，配置维护以及组和命名。zookeeper易于编程，并且数据...
2018-04-24 20:35:46
3150
翻译 深入了解HBase架构
深入了解HBase架构在本博文中，我将深入介绍HBase体系结构及其在NoSQL数据存储解决方案方面的主要优势。请确保阅读本系列中的第一篇博客文章，标题为 HBase: 为分布式，扩展性和速度而设计HBase架构组件从物理结构上讲，HBase由三种类型的服务器构成主从式架构。Region Servers为数据的读取和写入提供服务。当访问数据时，客户端直接和Region Serve...
2018-04-04 16:01:21
1201
翻译 HBase ：为分布式，扩展性和速度而设计
HBase: 为分布式，扩展性和速度而设计HBase是运行在Hadoop集群上的数据库。HBase不同于传统的RDBMS，因为它放宽了对传统RDBMS数据库ACID (Atomicity（原子性）, Consistency（一致性）, Isolation（隔离性）, and Durability（持久性）) 属性的要求，已实现更高的扩展性。Hbase存储的数据也不需要符合RDBMS严格的模式，...
2018-04-03 15:16:24
867
原创 Hadoop 自定义key
自定义key简介hadoop中自定义key的组成是由writable类型组成。如果用java的数据类型，最终还是要转换成writable类型。 自定义key要继承WritableComparable接口，原因参考文章 Hadoop 的Writable序列化接口自定义key例子public class MyKeyWritable implements WritableComparable<Flag
2016-11-19 14:00:08
768
原创 List<Map<String, String>> 合并map的字段数据问题
背景最近遇到一个问题，List具体实现public class AlgorithmTest { public static void main(String[] args) { List<Map<String, String>> values = new ArrayList<Map<String, String>>(); Map<String, String>
2016-11-13 17:44:12
1334
原创 Hadoop 的Writable序列化接口
序列化和反序列化序列化： 将数据结构或对象转换成二进制串的过程。以便在网络上传输或者写入到硬盘进行永久存储 反序列化：将在序列化过程中所生成的二进制串转换成数据结构或者对象的过程。在Hadoop中，主要应用于进程通信和永久存储。进程将对象序列化为字节流，通过网络传输到另一进程，另一进程接收到字节流，通过反序列化转回到结构化对象，以达到进程间通信。Mapper、Combine、Reduce等过程中，
2016-11-05 13:38:19
1086
原创 Hadoop 2.x 源码阅读的准备
#简介之前有阅读和分析过部分hadoop 2.x 的源码，但是没有进行整理，现在计划把源码进行重新学习和分析，分析顺序是MapReduce、HDFS、YARN。希望自己可以坚持下来。阅读源码的步骤官网下载Hadoop 2.x 源码包，解压。 http://www.apache.org/dyn/closer.cgi/hadoop/common在此网站包含很多连接，选择想要阅读的源码版本下载，源码包
2016-11-03 20:21:09
612
原创 Java byte[] 和 HexString 互转
当我们解析通信协议或者16进制文件，java程序一般会把内容转换成byte[],就会涉及到字符和数组的转换。查了很多资料，有很多大神写了解决此问题的方法，但是现在根据我的实际情况，站在巨人的肩膀上，进行了一些修改。目前，toHexString（）和toArrayByte（）这两个方法相互转换是不会修改原来的byte[]内容。/** * To byte array byte [ ].
2016-11-02 00:52:57
13588
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人