Hadoop
文章平均质量分 85
xiaobians
这个作者很懒,什么都没留下…
展开
-
The Google File System中文版
Google MapReduce中文版 译者:alex http://blademaster.ixiezi.com/2010/03/27/google-mapreduce%e4%b8%ad%e6%96%87%e7%89%88/ The Google File System中文版 译者:alex http://blademaster.ixiezi....原创 2010-10-09 20:34:20 · 164 阅读 · 0 评论 -
HBase vs Cassandra: 我们迁移系统的原因
HBase vs Cassandra: 我们迁移系统的原因原文: http://ria101.wordpress.com/2010/02/24/hbase-vs-cassandra-why-we-moved/原作者:Dominic Williams原文发布日期:February 24, 2010 at 7:27 pm译者:王旭(http://wangxu.me/blog/ ...原创 2011-04-01 14:52:10 · 219 阅读 · 0 评论 -
hbase 介绍
hbase 介绍一、简介history started by chad walters and jim2006.11 G release paper on BigTable2007.2 inital HBase prototype created as Hadoop contrib2007.10 First useable Hbase2008.1 Hadoop ...原创 2011-04-01 14:51:25 · 146 阅读 · 0 评论 -
HBase技术介绍
From:http://www.searchtb.com/2011/01/understanding-hbase.htmlHBase简介HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google Bigtable的开源实现,类似Googl...原创 2011-04-01 14:49:18 · 361 阅读 · 0 评论 -
HBase与BigTable的比较(翻译)
知,HBase是Google的BigTable架构的一个开源实现。但是我个人觉得,要做到充分了解下面两点还是有点困难的:一 HBase涵盖了BigTable规范的哪些部分?二 HBase与BigTable仍然有哪些区别?下面我将对这两个系统做些比较。在做比较之前,我要指出一个事实:HBase是非常接近BigTable论文描述的东西。撇开一些细微的不同,比如HBase 0.20使用Zoo...原创 2011-04-01 13:41:46 · 209 阅读 · 0 评论 -
Hadoop 状态分析系统Chukwa
http://hi.baidu.com/ops_bd/blog/item/5f39abde48a10f3f10df9b12.html Apache 的开源项目 hadoop, 作为一个分布式存储和计算系统,已经被业界广泛应用。很多大型企业都有了各自基于 hadoop 的应用和相关扩展。当 1000+ 以上个节点的 hadoop 集群变得常见时,集群自身的相关信息如何收集和分析呢?针对...原创 2011-03-31 16:50:15 · 160 阅读 · 0 评论 -
Hadoop安装, Hive 安装。
Hadoop安装指南 / Hive安装指南 Hadoop集群需要一个机器作为Master节点,其余的机器都是slave节点。HIVE只需在Master节点中安装和配置即可。 配置HadoopHadoop的配置比较简单,下面详细讲一下安装与配置步骤。以配置Hadoop 0.20.2版本为例。(1) 从hadoop官网上下载hadoop-0.20.2.ta...原创 2011-03-30 17:48:44 · 173 阅读 · 0 评论 -
Hive 的扩展特性
Hive 的扩展特性文章分类:Java编程Hive 是一个很开放的系统,很多内容都支持用户定制,包括:文件格式:Text File,Sequence File内存中的数据格式: Java Integer/String, Hadoop IntWritable/Text用户提供的 map/reduce 脚本:不管什么语言,利用 stdin/stdout 传输数据...原创 2011-03-30 15:54:50 · 144 阅读 · 0 评论 -
HIVE中map,array和structs使用
1:怎样导入文本文件(格式是怎样的?),2:怎样查询数据,已经能否在join中使用?在子查询中使用?等等知道怎么在hive中导入数组不?例如:我想把 数组[1,2,3] 和 数组["a","b","c"]导入到table1中create table table2 ( a array<int> , b array<string>);那么 我如何 导入呢?使得...原创 2011-03-30 15:25:11 · 208 阅读 · 0 评论 -
Hive 中UDF和UDAF简述
From: http://blog.csdn.net/dajuezhao/archive/2010/07/21/5753001.aspx一、UDF1、背景:Hive是基于Hadoop中的MapReduce,提供HQL查询的数据仓库。Hive是一个很开放的系统,很多内容都支持用户定制,包括:a)文件格式:Text File,Sequence Fileb)内存中的数据格...原创 2011-03-30 15:24:10 · 142 阅读 · 0 评论 -
Hive 中 SerDe 概述
From: http://blog.csdn.net/dajuezhao/archive/2010/07/21/5753791.aspx一、背景1、当进程在进行远程通信时,彼此可以发送各种类型的数据,无论是什么类型的数据都会以二进制序列的形式在网络上传送。发送方需要把对象转化为字节序列才可在网络上传输,称为对象序列化;接收方则需要把字节序列恢复为对象,称为对象的反序列化。2、H...原创 2011-03-30 15:17:57 · 195 阅读 · 0 评论 -
Hive 安装手册
安装Hive安装Hive是非常简单的,前提是你已经在你的机器上安装好了Java 1.6 Hive 可以从 http://hive.apache.org/releases.html下载到,最新版为0.6.0(2010-10-19) Hive的目录结构为 README.txt: readme 文件bin/: directory 包含所有Shell脚本...2011-03-21 14:04:02 · 102 阅读 · 0 评论 -
Hive 日志
Hive日志存储在什么地方呢? 打开Hive安装目录的 conf /hive-log4j.properties 文件。 hive.log.dir=/tmp/${user.name}hive.log.file=hive.log 这两行就表示了你的Hive中日志的存储目录,${user.name}是你在 服务器中启动Hive使用的用户名。 以后使用Hive...原创 2011-03-17 17:44:12 · 148 阅读 · 0 评论 -
HDFS 抛出错误 (java.io.IOException: config())
DEBUG [main] Configuration.<init>(211) | java.io.IOException: config() at org.apache.hadoop.conf.Configuration.<init>(Configuration.java:211) at com.netqin.hdfs.MyHdfs.isExists(MyHd...原创 2011-04-07 14:56:45 · 327 阅读 · 0 评论