- 博客(9)
- 收藏
- 关注
转载 Avro简介
转自http://www.open-open.com/lib/view/open1369363962228.html一、引言1、 简介Avro是Hadoop中的一个子项目,也是Apache中一个独立的项目,Avro是一个基于二进制数据传输高性能的中间件。在Hadoop的其他项目中例如HBase(Ref)和Hive(Ref)的Client端与服务端的数据传输也采用了这个工
2013-12-23 17:00:12 477
转载 HiveQL详解(转)
转载原文http://www.cnblogs.com/linjiqin/archive/2013/03/05/2944510.htmlHiveQL是一种类似SQL的语言, 它与大部分的SQL语法兼容, 但是并不完全支持SQL标准, 如HiveQL不支持更新操作, 也不支持索引和事务, 它的子查询和join操作也很局限, 这是因其底层依赖于Hadoop云平台这一特性决定的, 但其有些特点是S
2013-12-20 17:15:52 646
转载 Buffer类的详解(转)
这篇蚊帐转自:http://zachary-guo.iteye.com/blog/1457542Buffer 类是 java.nio 的构造基础。一个 Buffer 对象是固定数量的数据的容器,其作用是一个存储器,或者分段运输区,在这里,数据可被存储并在之后用于检索。缓冲区可以被写满或释放。对于每个非布尔原始数据类型都有一个缓冲区类,即 Buffer 的子类有:ByteBuffer、Cha
2013-12-20 16:14:56 368
转载 Hadoop上传文件报错 “could only be replicated to 0 nodes, instead of 1”
看到“could only be replicated to 0 nodes, instead of 1”这句信息的时候,你可能会首先想到是否hdfs-site.xml配置文件中的属性dfs.replication配置错误,但事实上并不是这样。这时,就要查看启动日志了,我的是位于D:\hadoop\run\hadoop-0.20.2\logs下面,如下所示:hadoop-root-
2013-12-06 15:29:52 845
转载 myeclipse配置hadoop开发环境
1、安装Hadoop开发插件 hadoop安装包contrib/目录下有个插件hadoop-0.20.2-eclipse-plugin.jar,拷贝到myeclipse根目录下/dropins目录下。2、 启动myeclipse,打开Perspective:【Window】->【Open Perspective】->【Other...】->【Map/Reduce】-
2013-12-04 17:05:35 433
转载 MapReduce的工作机制
最近开始学习Hadoop和Hbase的相关内容,把自己在看的《Hadoop:The Definitive Guide》里的内容总结一下,有助于理解,也就是温故而知新了。首先是了解Hadoop中的MapReduce工作机制。MapReduce作业的运行过程如图6-1所示。包含4个独立的实体:(1)Client:提交MapReduce作业,(2)JobTracker:协调作业的运行。(3)TaskTr
2013-12-04 16:58:07 395
转载 Windows 平台下安装Cygwin后,sshd服务无法启动
http://www.cnblogs.com/kinglau/p/3261886.html
2013-11-19 13:41:50 558
原创 对象序列化
Java的对象序列化将那些实现了Serializable接口的对象转换成一个字节序列,并能够在以后将这个字节序列完全恢复为原来的对象。 对象序列化的概念加入到语言中是为了支持两种主要特性。 1、是Java的远程方法调用(Remote Method Invocation,RMI),它使存活于其他计算机上的对象使用起来就像是存活于本机上一样。 2、对Java
2013-09-30 20:49:13 397
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人