![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
nosql
文章平均质量分 57
baiyunl
这个作者很懒,什么都没留下…
展开
-
Hbase分析报告
Hbase分析报告本文基于环境hadoop-0.16.4 和 hbase-0.1.3 编写 Hbase是一个分布式开源数据库,基于Hadoop分布式文件系统,模仿并提供了基于Google文件系统的Bigtable数据库的所有功能。 Hbaes的目标是处理非常庞大的表,可以用普通的计算机处理超过10亿行数据,并且有数百万列元素组成的数据表。 H...原创 2010-07-12 15:00:01 · 518 阅读 · 0 评论 -
hbase-default.xml file seems to be for and old version 异常
在应用java调用hbase的时候报异常:java.lang.RuntimeException: hbase-default.xml file seems to be for and old version of HBase (null), this version is 0.90.1-CDH3B4 at org.apache.hadoop.hbase.HBaseCon...原创 2011-09-13 17:53:51 · 301 阅读 · 0 评论 -
cassandra:The.Definitive.Guide
cassandra的书籍,可以看看。原创 2011-03-02 13:15:00 · 94 阅读 · 0 评论 -
MongoDB资料-MongoDB.The.Definitive.Guide
MongoDB资料-MongoDB.The.Definitive.Guide原创 2011-03-04 09:44:45 · 110 阅读 · 0 评论 -
谈正确理解 CAP 理论
转自:http://www.douban.com/group/topic/11765014/ CAP 理论在搞分布式的程序员中已经是路人皆知了。但是 CAP 理论就好比是相对论,虽然所有的人都知道,但是却没有多少人真正理解。 要真正理解 CAP 理论必须要读懂它的形式化描述。 形式化描述中最重要的莫过于对 Consistency, Availability, Partition-to...原创 2011-07-02 22:21:49 · 201 阅读 · 0 评论 -
HBase加载大数据
一、概述HBase有很多种方法将数据加载到表中,最简单直接的方法就是通过MapReduce调用TableOutputFormat方法,或者在client上调用API写入数据。但是,这都不是最有效的方式。这篇文档将向你描述如何在HBase中加载大数据。采用MapReduce作业,将数据以HBase内部的组织格式输出成文件,然后将数据文件加载到已运行的集群中。(注:就是生成HFile,然后...原创 2011-03-18 17:15:33 · 152 阅读 · 0 评论 -
hbase条件查询
一、环境HBase版本hbase-0.20.5,Hadoop的版本hadoop-0.20.2,JDK1.6二、需求背景 在HBase中,进行条件查询,很多的文件都说过,但是大多数都是在说明如何设置合理的表结构以及如何设置rowkey进行查询检索,这样的结构设计可以在一定层度上通过rowkey来定位查询(速度很快),但是,如果我是已知某个列的值,需要看有多少行的...原创 2011-03-18 17:25:02 · 270 阅读 · 0 评论 -
NoSQL:Cassandra和MongoDB最受欢迎
转自:http://cloud.csdn.net/a/20110303/292969.html 这是一篇关于NoSQL就业趋势的报告分析。该报告重点调查了在NoSQL下的8个工具,包括Cassandra, Redis, Voldemort, SimpleDB, CouchDB, MongoDB, HBase, Hypertable和Riak在内的各企业的技术需求情况。根据inde...原创 2011-03-21 18:48:16 · 187 阅读 · 0 评论 -
Cassandra vs MongoDB vs CouchDB vs Redis vs Riak vs HBase比较
原文:http://kkovacs.eu/cassandra-vs-mongodb-vs-couchdb-vs-redisCassandra vs MongoDB vs CouchDB vs Redis vs Riak vs HBase comparisonWhile SQL databases are insanely useful tools, their tyranny of ~...原创 2011-03-21 19:03:19 · 147 阅读 · 0 评论 -
NoSQL数据库探讨之一 - 为什么要用非关系数据库?
随着互联网web2.0网站的兴起,非关系型的数据库现在成了一个极其热门的新领域,非关系数据库产品的发展非常迅速。而传统的关系数据库在应付web2.0网站,特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心,暴露了很多难以克服的问题,例如: 1、High performance – 对数据库高并发读写的需求web2.0网站要根据用户个性化信息来实时生成动态页面和提供动...原创 2011-03-21 19:10:52 · 71 阅读 · 0 评论 -
HBase加载大数据
一、概述HBase有很多种方法将数据加载到表中,最简单直接的方法就是通过MapReduce调用TableOutputFormat方法,或者在client上调用API写入数据。但是,这都不是最有效的方式。这篇文档将向你描述如何在HBase中加载大数据。采用MapReduce作业,将数据以HBase内部的组织格式输出成文件,然后将数据文件加载到已运行的集群中。(注:就是生成HFile,然后加载...原创 2011-09-13 16:30:24 · 159 阅读 · 0 评论 -
nosql fans 的几个博客和网站
http://www.nosqlnotes.net/ http://www.cnblogs.com/sunli/category/250681.html http://www.jdon.com/jivejdon/tags/8600 http://geekandpoke.typepad.com/geekandpoke/2011/01/nosql.html http:/...原创 2011-06-06 23:31:44 · 123 阅读 · 0 评论 -
the little mongodb book
一本新的mongodb操作手册:原创 2011-06-06 23:08:06 · 109 阅读 · 0 评论 -
hbase的org.apache.hadoop.hbase.client.RetriesExhaustedException:错误记录
今天启动hbase后,所有hbase shell命令会出现org.apache.hadoop.hbase.client.RetriesExhaustedException异常,web接口60010也打不开。但是60030打开,里面显示no regionserver。网上查了很多资料都没有解决。最后发现运行start-hbase.sh时生成的两个文件hbase-hadoop-master.pid 和...原创 2010-07-16 20:00:18 · 323 阅读 · 0 评论 -
提升hbase性能的几个地方(转载)
1、使用bloomfilter和mapfile_index_interval Bloomfilter(开启/未开启=1/0) mapfile_index_interval Exists(0-10000)/ms Get(10001 - 20000)/ms 0 128 22460 23715 0 0 11897 11416 0 64 13692 ...2010-03-03 11:14:00 · 84 阅读 · 0 评论 -
图形化理解 HBase 数据写操作、压缩操作过程
HBase 写数据的过程是:先写到内存中(memstore),当内存中的数据达到一定大小,将内存中的数据一次性flush到磁盘上形成数据文件。期间对每一次写操作,都会记一个持久化的日志。那些 flush 到磁盘上的文件,会定时进行压缩。下图形像地说明这一系列过程:原文链接:http://goo.gl/jwKdj...原创 2011-04-24 15:19:51 · 163 阅读 · 0 评论 -
论文:nosql database
很长地论文,写地不错。原创 2011-04-24 16:16:09 · 220 阅读 · 0 评论 -
Hbase配置和开发中的几个注意事项
在配置Hadoop和Hbase的过程中,虽然官方网站上有很多丰富的文档,但是常常仍然会有一些细枝末节的问题,成为阻碍项目配置成功以及后续开发的绊脚石。下面就记录几个Hbase配置以及开发过程中需要注意的事项:(1)修改节点主机名的问题在配置文件中使用机器主机名(如WAMDM1)作为通讯方式的时候,需要修改2个文件:/etc/hosts 以及 /etc/hostname(2)修改Classp...原创 2011-01-10 11:23:08 · 155 阅读 · 0 评论 -
HBase的安装、配置、管理与编程
环境准备需要环境:PC-1 Suse Linux 9 10.192.1.1PC-2 Suse Linux 9 10.192.1.2PC-3 Suse Linux 9 10.192.1.3PC-4 Suse Linux 9 10.192.1.4其中,PC-1做namenode节点,PC-2、PC-3和PC-4做datanode节点。并且已经安装成功Hadoop-0.20.1及以上版本。安装包...原创 2011-01-10 11:39:39 · 121 阅读 · 0 评论 -
nosql 资源(转)
NoSQL 是非关系型数据存储的广义定义。它打破了长久以来关系型数据库与 ACID 理论大一统的局面。NoSQL 数据存储不需要固定的表结构,通常也不存在连接 操作。在大数据存取上具备关系型数据库无法比拟的性能优势。该术语在 2009 年初得到了广泛认同。当今的应用体系结构需要数据存储在横向伸缩性 上能够满足需求。而 NoSQL 存储就是为了实现这个需求。Google 的...原创 2011-04-25 15:08:43 · 140 阅读 · 0 评论 -
反NoSQL的呼声(转)
CAP的崩溃 CAP猜想可是NoSQL的基石。上图非常有意思,他从CAP,和数据库种类两个方向对NoSQL进行了分类。Consistent, Available (CA) Systems 。在分布式方面有些问题,通常是通过复制来解决的。包括Traditional RDBMSs like Postgres, MySQL, etc (relational)Ve...原创 2011-04-25 15:24:15 · 100 阅读 · 0 评论 -
mongoDB在craigslist的应用及mysql实时导入mongodb工具
http://www.10gen.com/video/mongosv2010/craigslist NoSQL很火,但要在真实环境中使用,可能很多人还有很多顾虑。一咱通常的做法是用写双份数据,先观察情况再决定是否迁移。下面一个工具对于那些想从MySQL迁移到MongoDB的同学可能是一个福音,这不是一个简单的导数据工具,而是实现将MySQL中的数据实时的同步到MongoDB中...原创 2011-05-19 22:59:36 · 207 阅读 · 0 评论 -
HFile存储格式
HBase中的所有数据文件都存储在Hadoop HDFS文件系统上,主要包括两种文件类型:1. HFile, HBase中KeyValue数据的存储格式,HFile是Hadoop的二进制格式文件,实际上StoreFile就是对HFile做了轻量级包装,即StoreFile底层就是HFile2. HLog File,HBase中WAL(Write Ahead Log) 的存储格式,物理上...原创 2011-03-21 19:26:01 · 887 阅读 · 0 评论