Hbase
文章平均质量分 83
codepython
这个作者很懒,什么都没留下…
展开
-
HBase如何合理设置客户端Write Buffer
作者: 大圆那些事 | 转载请以超链接形式标明文章原始出处和作者信息网址: http://www.cnblogs.com/panfeng412/archive/2012/10/16/how-to-use-hbase-client-write-buffer.htmlHBase客户端API提供了Write Buffer的方式,即批量提交一批Put对象到HBase服务端。本文将结合HBase相关转载 2015-01-24 14:44:24 · 449 阅读 · 0 评论 -
HBase总结(十三)HBase Shell 常用命令及例子
下面我们看看HBase Shell的一些基本操作命令,我列出了几个常用的HBase Shell命令,如下:名称命令表达式创建表create '表名称', '列名称1','列名称2','列名称N'添加记录 put '表名称', '行名称', '列名称:', '值'转载 2014-12-13 17:43:57 · 427 阅读 · 0 评论 -
adoop上路_15-HBase0.98.0入门
赞0开源中国 Team 团队协作平台正式开放 —— http://team.oschina.netHadoop 2.3.0 分布式 HBase 0.98.0目录[-]一。分布式环境搭建1.在master主控机安装HBase1)解压2)配置环境变量3)修改%HBASE%/conf/hbase-env.sh4)修改$HBASE转载 2014-12-13 17:35:39 · 649 阅读 · 0 评论 -
过实例学习HBase:OpenTSDB
OpenTSDB概述OpenTSDB是一种基于HBase编写的分布式、可扩展的时间序列数据库。OpenTSDB可以用来处理一种通用需求:存储、索引和服务从大规模计算机系统(网络设备、操作系统、应用系统)采集来的参数数据,并且使这些数据易于访问和可视化。因为OpenTSDB解决了基础架构监控的普遍性问题,对于我们这本注重实战的书而言它是一个了不起的项目。如果你开发过生产系统,你会知道转载 2014-12-13 15:52:49 · 2115 阅读 · 1 评论 -
hbase两个典型应用实例
本文介绍hbase的两个典型应用实例OpenTSDB和地理信息系统学习一种技术最好的办法就是了解一个正在使用的应用系统是如何应用这种技术来解决问题的。其中开源的OPenTSDB数据监控系统就是应用hbase解决数据存储的。同时hbase还能很好的应对地理信息系统(GIS)中的两个挑战:大规模数据处理的延迟和空间位置建模。1 hbase上查询地理信息系统地理信息系统常作为在线交互用户转载 2014-12-13 15:52:43 · 2011 阅读 · 0 评论 -
HBase应用:Table设计
背景知识HBase基本类型定义:Table:表 RowKey:行健,主键Column Family:列族,包含一个或者多个相关列Column:属于某一个columnfamily,familyName:columnName,每条记录可动态添加timestamp:每次操作对应的时间戳,支持用户自定义,默认为当前时间的毫秒值value:值,和timestamp一起支持多ver转载 2014-12-13 15:42:40 · 464 阅读 · 0 评论 -
hbase实战——(1.1 nosql介绍)
什么是nosqlNoSQL(NoSQL = Not Only SQL),意思是不仅仅是SQL的扩展,一般指的是非关系型的数据库。随着互联网web2.0网站的兴起,传统的关系数据库在应付web2.0网站,特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心,传统的电信行业动辍就千万甚至上亿的数据,甚至有客户提出需要存储相关的日志数据50年以上,暴露了很多难以克服转载 2014-12-13 14:40:12 · 447 阅读 · 0 评论 -
HBase一对多关系的表结构设计
前面刚开始使用HBase只是用于存取某些简单的JAVA对象或是简单数据,所以一般设置列族和列标示时只用一个就行了。 最近有个任务是把系统中的站内消息移到HBase当中去,才开始查HBase中的一对多关系,发现网上的资料讲的都不甚详尽,这篇blog记录一下我的设计和想法,这些想法毕竟未经证实,尚需验证。如果有大虾认为有不妥甚至错误的地方请不吝指教。 首先讲两个我参考的资料转载 2014-12-13 14:52:08 · 1603 阅读 · 0 评论 -
HBase总结(十八)Hbase rowkey设计一
hbase所谓的三维有序存储的三维是指:rowkey(行主键),column key(columnFamily+qualifier),timestamp(时间戳)三部分组成的三维有序存储。1.rowkey,我们知道rowkey是行的主键,而且hbase只能用个rowkey,或者一个rowkey范围即scan来查找数据。所以 rowkey的设计是至关重要的,关系到你应用层的查询效率。我们转载 2014-12-13 17:47:38 · 627 阅读 · 0 评论 -
HBase总结(十四)LINUX下用Eclipse构建HBase开发环境
Eclipse,HBase版本目前没有发现需要特别指定1:从HBase集群中复制一份Hbase部署文件,放置在开发端某一目录下(如在/app/hadoop/hbase096目录下)。2:在eclipse里新建一个java项目HBase,然后选择项目属性,在Libraries->Add External JARs...,然后选择/app/hadoop/hbase096/l转载 2014-12-13 17:45:28 · 523 阅读 · 0 评论 -
HBase总结(十二)Java API 与HBase交互实例
HBase提供了Java Api的访问接口,掌握这个就跟Java应用使用RDBMS时需要JDBC一样重要[html] view plaincopyimport java.io.IOException; import org.apache.hadoop.conf.Configuration; import o转载 2014-12-13 17:42:35 · 566 阅读 · 0 评论 -
HBase总结(十九)数据导入方式
*). Client API实现借助HBase的Client API来导入, 是最简易学的方式.Configuration config = HBaseConfiguration.create(); // 配置hbase.zookeeper.quorum: 后接zookeeper集群的机器列表 config.set("hbase.zookeeper.quorum", "tw-nod转载 2014-12-13 18:03:37 · 504 阅读 · 0 评论 -
HBase ORM SimpleHBase设计
目前企业软件开发占据主流的开发模式为面向对象模式。无论是建立在集合论之上的传统关系型数据库,还是以CAP定理/Hadoop/BigTable为基石的HBase,都面临以下的基本问题:如何保存对象到数据存储?如何从数据存储获取对象?如何更新数据存储中的现有数据?数据存储的类型系统和开发语言(Java)的类型系统之间如何相互转换?简而言之,数据存储如何提供增、删、改、查的服转载 2014-12-13 18:08:24 · 793 阅读 · 0 评论 -
Windows下安装HBase
本文主要参照HBase官网:http://hbase.apache.org/cygwin.html 中《HBase On Windows》的安装步骤说明1、安装介质:Java,下载地址:http://www.oracle.com/technetwork/java/javase/downloads/index.htmlCywin,下载地址:http://www.cygwin.co转载 2014-12-14 09:51:38 · 1728 阅读 · 0 评论 -
HBase实战(1):数据导入方式
HBase实战(1):数据导入方式2014-07-14 13:36 mumuxinfei 博客园 字号:T | T作为Hadoop生态系统中重要的一员, HBase作为分布式列式存储, 在线实时处理的特性, 备受瞩目, 将来能在很多应用场景, 取代传统关系型数据库的江湖地位. 本篇博文重点讲解HBase的数据导入, 描述三种方式, Client API, Bulkl转载 2015-01-24 11:57:35 · 990 阅读 · 0 评论 -
HBase Java简单示例
Hbase采用Java实现,原生客户端也是Java实现,其他语言需要通过thritf接口服务间接访问Hbase的数据。Hbase作为大数据存储数据库,其写能力非常强,加上Hbase本身就脱胎于Hadoop故和Hadoop的兼容性极好,非常适合于存储半规则数据(灵活、可扩展性强、大数据存储)。基于Hadoop的mapreduce + Hbase存储,非常适合处理大数据。Hbase转载 2015-01-24 18:13:20 · 903 阅读 · 0 评论 -
HBase多线程建立HTable问题
最近在写wormhole的HBase plugin,需要分别实现hbase reader和hbase writer。 相关阅读: Hadoop+HBase搭建云存储总结 PDF HBase 结点之间时间不一致造成regionserver启动失败 Hadoop+ZooKeeper+HBase集群配置 在测试的时候会报错如下: 2013-07-08 0转载 2015-01-23 12:28:31 · 1957 阅读 · 0 评论 -
大数据性能调优之HBase的RowKey设计
1 概述HBase是一个分布式的、面向列的数据库,它和一般关系型数据库的最大区别是:HBase很适合于存储非结构化的数据,还有就是它基于列的而不是基于行的模式。既然HBase是采用KeyValue的列存储,那Rowkey就是KeyValue的Key了,表示唯一一行。Rowkey也是一段二进制码流,最大长度为64KB,内容可以由使用的用户自定义。数据加载时,一般也是根据Rowke转载 2015-01-23 14:39:37 · 1352 阅读 · 0 评论 -
Hbase设计以及优化
目录(?)[+]表的设计写表操作读表操作参考资料1、表的设计1.1、Column Family由于Hbase是一个面向列族的存储器,调优和存储都是在列族这个层次上进行的,最好使列族成员都有相同的"访问模式(access pattern)"和大小特征;在一张表里不要定义太多的column family。目前Hbase并不能很好的处理超过2~转载 2015-01-23 11:54:54 · 517 阅读 · 0 评论 -
MapReduce初级案例(3):使用MapReduce实现平均成绩
当我们看到这个例子的时候,我们是否想过:mapreduce是否可以完成我们传统开发中经常遇到的一些任务。例如排序、平均数、批量word转换等。它和我们传统开发有什么不同。那么我们可以带着下面问题来阅读:1.mapreduce是如何求平均值的?2.map在求平均值的作用是什么?3.reduce在求平均值的作用是什么?一、简介: "平均成绩"主要目的还是在重温经典"Wo转载 2015-01-04 22:48:03 · 7413 阅读 · 0 评论 -
Hadoop学习:Map/Reduce初探与小Demo实现
一、 概念知识介绍 Hadoop MapReduce是一个用于处理海量数据的分布式计算框架。这个框架解决了诸如数据分布式存储、作业调度、容错、机器间通信等复杂问题,可以使没有并行 处理或者分布式计算经验的工程师,也能很轻松地写出结构简单的、应用于成百上千台机器处理大规模数据的并行分布式程序。 Hadoop MapReduce基于“分而治之”的思想,将计算任务转载 2015-01-04 22:37:56 · 613 阅读 · 0 评论 -
hadoop中使用MapReduce编程实例(转)
hadoop中使用MapReduce编程实例(转)博客分类: hadoop 原文链接:http://www.cnblogs.com/xia520pi/archive/2012/06/04/2534533.html从网上搜到的一篇hadoop的编程实例,对于初学者真是帮助太大了,看过以后对MapReduce编程基本有了大概的了解。看了以后受益匪浅啊,赶紧保转载 2015-01-04 22:06:33 · 1442 阅读 · 0 评论 -
如何快速地编写和运行一个属于自己的MapReduce例子程序
大数据的时代, 到处张嘴闭嘴都是Hadoop, MapReduce, 不跟上时代怎么行? 可是对一个hadoop的新手, 写一个属于自己的MapReduce程序还是小有点难度的, 需要建立一个maven项目, 还要搞清楚各种库的依赖, 再加上编译运行, 基本上头大两圈了吧。 这也使得很多只是想简单了解一下MapReduce的人望而却步。本文会教你如何用最快最简单的方法编写和运行一个属于自己转载 2015-01-22 15:15:28 · 689 阅读 · 0 评论 -
HTablePool简单使用例子
HTablePool用在经常要创建表关闭表的程序中,可以大大优化性能,提高效率。HTablePool()HTablePool(Configuration config, int maxSize)HTablePool(Configuration config, int maxSize, HTableInterfaceFactory tableFactory)maxSize并非转载 2015-01-21 20:07:31 · 856 阅读 · 0 评论 -
HBase Java API使用操作例子
通过对HBase API的使用,下面例子举例了常见对HBase的操作,如下所示:package net.linuxidc.www; import org.apache.Hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.h转载 2014-12-13 17:40:10 · 419 阅读 · 0 评论 -
HBase 使用场景和成功案例
有时候了解软件产品的最好方法是看看它是怎么用的。它可以解决什么问题和这些解决方案如何适用于大型应用架构,能够告诉你很多。因为HBase有许多公开的产品部署,我们正好可以这么做。本章节将详细介绍一些人们成功使用HBase的使用场景。注意:不要自我限制,认为HBase只能解决这些使用场景。它是一个初生的技术,根据使用场景进行创新正驱动着系统的发展。如果你有新想法,认为可以受益于HBas转载 2014-12-13 15:24:44 · 591 阅读 · 0 评论 -
基于HBase Hadoop 分布式集群环境下的MapReduce程序开发
HBase分布式集群环境搭建成功后,连续4、5天实验客户端Map/Reduce程序开发,这方面的代码网上多得是,写个测试代码非常容易,可是真正运行起来可说是历经挫折。下面就是我最终调通并让程序在集群上运行起来的一些经验教训。 一、首先说一下我的环境: 1,集群的环境配置请见这篇博文。 2,开发客户机环境:操作系统是CentOS6.5,JDK版本是1.转载 2015-02-01 17:21:54 · 2234 阅读 · 0 评论 -
Windows下安装HBase
本文主要参照HBase官网:http://hbase.apache.org/cygwin.html 中《HBase On Windows》的安装步骤说明1、安装介质:Java,下载地址:http://www.oracle.com/technetwork/java/javase/downloads/index.htmlCywin,下载地址:http://www.cygwin.co转载 2014-12-25 17:34:12 · 576 阅读 · 0 评论 -
HBase/Hadoop学习笔记
学习目标:至少掌握五点:1. 深入理解HTable,掌握如何结合业务涉及高性能的HTable。2. 掌握与HBase的交互,通过HBase Shell命令及Java API进行数据的增删改查。3. 掌握如何用MapReduce分析HBase里的数据4. 掌握如何测试HBase MapReduce。 HBase简介:转载 2015-01-13 23:27:52 · 857 阅读 · 0 评论 -
Hadoop实战-初级部分 之 Hadoop MapReduce JAVA API
私塾在线《深入浅出学 Hadoop- 初级 部分》 —— 系列精品教程视频课程地址》》》 http://sishuok.com/product/481整体课程概览第一部分:开始云计算之旅第二部分:初识Hadoop第三部分:Hadoop 环境安装部署第四部分:Hadoop Shell 基本操作介绍第五部分:Hadoop 分布式转载 2015-01-13 23:05:24 · 449 阅读 · 0 评论 -
HTable和HTablePool使用注意事项
HTable和HTablePool都是HBase客户端API的一部分,可以使用它们对HBase表进行CRUD操作。下面结合在项目中的应用情况,对二者使用过程中的注意事项做一下概括总结。HTableHTable是HBase客户端与HBase服务端通讯的Java API对象,客户端可以通过HTable对象与服务端进行CRUD操作(增删改查)。它的创建很简单:Con转载 2015-01-09 22:45:38 · 711 阅读 · 0 评论 -
HBase连接池 HTablePool被Deprecated之后
-说明: 最近两天在调研HBase的连接池,有了一些收获,特此记录下来。 本文先将官方文档(http://hbase.apache.org/book.html)9.3.1.1节翻译,方便大家阅读,然后查阅了关键类HConnectionManager的Developer API(http://hbase.apache.org/devapidocs/index.html)转载 2015-01-09 22:42:48 · 891 阅读 · 0 评论 -
Java对hbase的操作
HBase提供了Java API对其进行管理,包括对表的管理、数据的操作等。1. HBaseAdmin —— 对表的创建、删除、显示以及修改等; 2. HTable —— 通过HTable的实例来访问表并进行数据的操作,获取表实例如下两种方法: 方法一:直接获取 HTable table = new HTable(config, table转载 2015-01-09 22:29:07 · 873 阅读 · 0 评论 -
Hadoop数据类型
一. Hadoop内置的数据类型BooleanWritable:标准布尔型数值ByteWritable:单字节数值DoubleWritable:双字节数值FloatWritable:浮点数IntWritable:整型数LongWritable:长整型数Text:使用UTF8格式存储的文本NullWritable:当中的key或value为空时使用二. 用户自定义数据类型的实现转载 2015-01-28 21:52:18 · 409 阅读 · 0 评论 -
Hadoop阅读笔记(一)——强大的MapReduce
前言:来园子已经有8个月了,当初入园凭着满腔热血和一脑门子冲动,给自己起了个响亮的旗号“大数据 小世界”,顿时有了种世界都是我的,世界都在我手中的赶脚。可是......时光飞逝,岁月如梭~~~随手一翻自己的博客,可视化已经快占据了半壁江山,思来想去,还是觉得把一直挂在嘴头,放在心头的大数据拿出来说说,哦不,是拿过来学学。入园前期写了有关Nutch和Solr的自己的一转载 2015-01-08 22:20:15 · 612 阅读 · 0 评论 -
zookeeper客户端 和服务器连接时版本问题
在使用kafka 和zookeeper 实现实时分析程序时,由于zookeeper部署版本和分析程序导入jar包的版本不一致,导致了当实时分析程序从远程服务器连接kafka集群的zookeeper时报错,错误信息如下:[html] view plaincopy2012-12-31 10:51:41,562-[TS] INFO main-E转载 2015-01-26 17:03:29 · 2564 阅读 · 1 评论 -
【hadoop-HDFS】 抛出错误 (java.io.IOException: config())
【hadoop-HDFS】 抛出错误 (java.io.IOException: config())DEBUG [main] Configuration.(211) | java.io.IOException: config()at org.apache.hadoop.conf.Configuration.(Configuration.java:211)at com转载 2015-02-01 17:17:07 · 630 阅读 · 0 评论 -
Mapreduce读取和写入Hbase(从A表读取数据,统计结果放入B表,非常详细,附有代码说明以及流程)
Hbase Map Reduce Example – Frequency CounterThis is a tutorial on how to run a map reduce job on Hbase. This covers version 0.20 and later.Recommended Readings:– Hbase home, – Hbas转载 2015-01-14 16:18:00 · 2679 阅读 · 1 评论 -
MapReduce操作HBase
运行HBase时常会遇到个错误,我就有这样的经历。 ERROR: org.apache.hadoop.hbase.MasterNotRunningException: Retried 7 times检查日志:org.apache.hadoop.ipc.RPC$VersionMismatch: Protocol org.apache.hadoop.hdfs.protocol.ClientPr转载 2015-01-13 23:26:10 · 458 阅读 · 0 评论 -
Hbase总结(十)Hhase性能调优
因官方Book Performance Tuning部分章节没有按配置项进行索引,不能达到快速查阅的效果。所以我以配置项驱动,重新整理了原文,并补充一些自己的理解,如有错误,欢迎指正。配置优化zookeeper.session.timeout默认值:3分钟(180000ms)说明:RegionServer与Zookeeper间的连接超时时间。当超时时间到后,Reig转载 2014-12-13 17:21:30 · 436 阅读 · 0 评论