NO_SQL
文章平均质量分 85
maoxiao_jsd
这个作者很懒,什么都没留下…
展开
-
数据导入HBase最常用的三种方式(一)——put方式
HBase数据迁移(1)-使用HBase的API中的Put方法 使用HBase的API中的Put是最直接的方法,用法也很容易学习。但针对大部分情况,它并非都是最高效的方式。当需要将海量数据在规定时间内载入HBase中时,效率问题体现得尤为明显。待处理的数据量一般都是巨大的,这也许是为何我们选择了HBase而不是其他数据库的原因。在项目开始之前,你就该思考如何将所有能够很好的将数据转移进转载 2014-01-09 19:37:18 · 1951 阅读 · 0 评论 -
HBase数据迁移(2)- 使用bulk load 工具从TSV文件中导入数据
HBase提供importtsv工具支持从TSV文件中将数据导入HBase。使用该工具将文本数据加载至HBase十分高效,因为它是通过MapReduce Job来实施导入的。哪怕是要从现有的关系型数据库中加载数据,也可以先将数据导入文本文件中,然后使用importtsv 工具导入HBase。在导入海量数据时,这个方式运行的很好,因为导出数据比在关系型数据库中执行SQL快很多。importtsv转载 2014-01-09 19:47:53 · 889 阅读 · 0 评论 -
HBase数据迁移(3)-自己编写MapReduce Job导入数据
尽管在将文本文件加载入HBase时importtsv工具十分高效,但在许多情况下为了完全控制整个加载过程,你可能更想自己编写MapReduce Job向HBase导入数据。例如在你希望加载其他格式文件时不能使用importtsv工具。HBase提供TableOutputFormat 用于在MapReduce Job中向HBase的表中写入数据。你也可以使用HFileOutputFormat转载 2014-01-09 19:50:11 · 759 阅读 · 0 评论 -
一网打尽2013最常用的NoSQL数据库
在几年内,NoSQL数据库一直以性能、可扩展性、灵活的模式和分析能力聚焦着人们的注意力。尽管关系型数据库对于某些用例来说仍是一个不错的选择,就像结构数据和要求ACID事务的应用,但是NoSQL在以下用例中将更具优势: 存储的数据实质上是半结构化或者松散的。要求一定的等级的性能和扩展性。存取该数据的应用与最终的一致性相吻合。非关系型数据库典型支持以下功能: 灵活的模式转载 2014-01-14 10:35:09 · 530 阅读 · 0 评论 -
回顾2013:HBase的提升与挑战
2013年马上就要过去了,总结下这一年HBase在这么一年中发生的主要变化。影响最大的事件就是HBase 0.96的发布,代码结构已经按照模块化发布了,而且提供了许多大家迫切需求的特点。这些特点大多在Yahoo!/Facebook/淘宝/小米等公司内部的集群中跑了挺长时间了,可以算是比较稳定可用了。1. Compaction优化HBase的Compaction是长期以来广受诟病的一个特性,转载 2014-01-16 11:52:18 · 782 阅读 · 0 评论