nosql
文章平均质量分 92
iteye_3156
这个作者很懒,什么都没留下…
展开
-
hadoop,hbase,zookeeper错误日志及部分解决办法(1)
没有全部遇到过。也没有经过测试。收集至此,以备以后遇到问题作为参考之用。 hadoop-0.20.2 & hbase-0.90.1集群启动错误问题解决: 问题如下:org.apache.hadoop.ipc.RPC$VersionMismatch: Protocol org.apache.hadoop.hdfs.protocol.ClientProtocol version mis...原创 2011-12-29 10:32:00 · 235 阅读 · 0 评论 -
HBase HFile与Prefix Compression内部实现全解--KeyValue格式
1. 引子 HFile (HBase File)是HBase使用的一种文件存储格式的抽象, 目前存在两种版本的HFile: HFile V1和HFile V2 HBase 0.92之前的版本仅支持HFile V1, HBase 0.92/0.94同时支持HFile V1和HFile V2。 以下分别是HFile V1/V2的结构图: HFile V1 H...原创 2012-05-25 14:40:56 · 211 阅读 · 0 评论 -
HFile详解-基于HBase0.90.5
1. HFile详解 HFile文件分为以下六大部分 序号 名称 描述 1 数据块 由多个block(块)组成,每个块的格式为: [块头] + [key长] + [value长] + [key] + [value]。 2 元数据块 元数据是key-value类型的值,但元数据快只保存元数...原创 2012-05-25 14:25:18 · 118 阅读 · 0 评论 -
Hive-0.8.1索引的实验
先说一个0.7.1和0.8.1的Metastore不兼容 一。外部表的索引。 因为怕麻烦,就继续用之前的table02的数据,在new meta里也叫table02,不过改成了external表。最后的结论是Hive的索引也是支持外部表的。 建立索引,运行。还是6个mapper,不行。 二。建立内部表 CTAS from table02,建立一个内部表table03; 重点是,换...原创 2012-05-19 09:29:02 · 109 阅读 · 0 评论 -
Hive HBase 整合(中文)
hive hbase整合,要求比较多,1.hive的得是0.6.0(当前最新的版本) 2.hive本身要求hadoop的最高版本是hadoop-0.20.2 3.要求hbase的版本是0.20.3,其他版本需要重新编译hive_hbase-handler 但是新版的hbase(0.90)变动特别大,根本无法从编译。这点比较恶心,hbase目前升级比较快,当前是0.90(从0.20.6直接跳到0.8...原创 2012-05-07 09:07:06 · 67 阅读 · 0 评论 -
编写hive udf函数
udf编写入门大写转小写package com.afan;import org.apache.hadoop.hive.ql.exec.UDF;import org.apache.hadoop.io.Text;public class UDFLower extends UDF{ public Text evaluate(final Text s){ if (null == s){...原创 2012-05-04 19:13:32 · 93 阅读 · 0 评论 -
Hive与HBase的整合
开场白:Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信,相互通信主要是依靠hive_hbase-handler.jar工具类 (Hive Storage Handlers), 大致意思如图所示: 口水: 对 hive_hbase-handler.jar 这个东东还有点兴趣,有空来磋磨一下。 一、2个注意事项:1、需要的软件有 Hadoop、Hive、Hbase、...原创 2012-04-28 10:48:31 · 128 阅读 · 0 评论 -
hadoop,hbase,hive安装全记录
操作系统:CentOS 5.5Hadoop:hadoop-0.20.203.0jdk1.7.0_01namenode主机名:master,namenode的IP:10.10.102.15datanode主机名:slave1,datanode的IP:10.10.106.8datanode主机名:slave2,datanode的IP:10.10.106.9一、hadoop 安装1、建立用户user...原创 2012-04-26 10:09:30 · 65 阅读 · 0 评论 -
HDFS+MapReduce+Hive+HBase十分钟快速入门
1. 前言 本文的目的是让一个从未接触Hadoop的人,在很短的时间内快速上手,掌握编译、安装和简单的使用。 2. Hadoop家族 截止2009-8-19日,整个Hadoop家族由以下几个子项目组成: 成员名 用途 Hadoop Common Hadoop体系最底层的一个模块,为Hadoop各子项目提供各种工具,如:配置文...原创 2012-04-15 16:19:15 · 92 阅读 · 0 评论 -
云框架Hadoop之部署Hive
标签:Hive 云框架 Hadoop 部署 原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://jeffxie.blog.51cto.com/1365360/305472 <!--正文 begin--> 数据库是面向事务的设计,数据仓库是面向主题设计的。数据库是为捕获数据而设计,数据仓库是为分析数据而设...原创 2012-04-12 15:47:19 · 126 阅读 · 0 评论 -
hive实战
1. 安装hive 2. hive实战 3. hive存储模型 4. 深入hql查询语言 5. 参考资料及代码下载 <1>. 安装hive 下载hive,下载地址http://mirror.bjtu.edu.cn/apache//hive/,解压该文件: xuqiang@ubuntu:~/hadoop/src/hive$ tar zxvf hive-...原创 2012-04-10 16:01:21 · 494 阅读 · 0 评论 -
hadoop hive 资料
Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言,称为 QL,它允许熟悉 SQL 的用户查询数据。同时,这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 m...原创 2012-04-09 11:10:33 · 82 阅读 · 0 评论 -
OceanBase:编译、安装和配置手册
概述 OceanBase是 一个高性能的分布式表格系统,提供类似BigTable的性能和扩展性,但表格中保存的是强类型的数据,比如integer, string, datetime等。 它使用C++编写,运行于64位Linux环境下。生产环境下需要使用多台机器搭建OceanBase集群以提供高可用和高性能,但是你也完全可以使用一 台机器运行OceanBase。 本章节讲解如何迅速搭建一个可用的...原创 2012-02-14 11:05:47 · 281 阅读 · 0 评论 -
实现mapreduce多文件自定义输出
普通maprduce中通常是有map和reduce两个阶段,在不做设置的情况下,计算结果会以part-000*输出成多个文件,并且输出的文件数量和reduce数量一样,文件内容格式也不能随心所欲。这样不利于后续结果处理。 在hadoop中,reduce支持多个输出,输出的文件名也是可控的,就是继承MultipleTextOutputFormat类,重写generateFile...原创 2012-07-13 15:02:10 · 91 阅读 · 0 评论 -
Hbase Shell的常用命令
总结的一些Hbase shell的命令 都很简单,可以help来查看帮助 create 'user_test','info'describe 'user_test'disable 'user_testinfo'drop 'user_testinfo'put 'user_test','test-1','info:username','test1'put 'user_test','test...原创 2012-06-01 15:54:48 · 129 阅读 · 0 评论