hbase
liuxiangke0210
这个作者很懒,什么都没留下…
展开
-
hbase配置、运行错误总结
一、执行$ hbase hbck 命令时,出现以下提示:Invalid maximum heap size: -Xmx4096mThe specified size exceeds the maximum representable size.Error: Could not create the Java Virtual Machine.Error: A fatal ex转载 2016-12-04 22:00:06 · 2769 阅读 · 0 评论 -
Hbase架构与原理
原文链接:https://blog.csdn.net/u012743772/article/details/77098128Hbase架构与原理HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,...转载 2018-03-24 23:08:09 · 358 阅读 · 0 评论 -
Hbase学习总结
Hbase 集群包括三个集群zookeeper群:zookeeper集群主要用于存储master地址、协调Master和RegionServer等上下线、存储临时数据等等。存储-ROOT-表的RS地址。Master群: master主要负责region的分配,手动管理操作下发等,一般读写操作不需要经过master集群,所以堆master集群的配置要求不是很高。master集群中也有主从之分,Mas...原创 2018-03-24 12:28:48 · 1200 阅读 · 1 评论 -
HBase原理、设计与优化实践
原文链接:http://www.thebigdata.cn/HBase/15925.html简介HBase —— Hadoop Database的简称,Google BigTable的另一种开源实现方式,从问世之初,就为了解决用大量廉价的机器高速存取海量数据、实现数据分布式存储提供可靠的方案。从功能上来讲,HBase不折不扣是一个数据库,与我们熟悉的Oracle、MySQL、MSSQL等一样,对外...转载 2018-03-23 19:00:07 · 699 阅读 · 0 评论 -
HBase开启Snappy压缩
原文链接:http://www.kissyu.org/2016/10/06/HBase%E5%BC%80%E5%90%AFSnappy%E5%8E%8B%E7%BC%A9/背景HBase是目前主流的Nosql数据库之一,由于其优秀的水平扩展能力,业界常将其用来存储海量级的数据。在我们使用HBase的时候,为了节省服务器的存储成本,建议开启HBase的数据压缩特性。主流的HBase压转载 2017-03-06 18:48:30 · 12051 阅读 · 1 评论 -
提升HBase数据库 写入性能
原文地址:http://joshuasabrina.iteye.com/blog/1798239本文主要介绍软件层面的性能调优。故,在此之前,请检查硬件状况。硬盘推荐SSD,一般SATA即可。网络千兆以上。可以安装Ganglia等工具,检查各节点的各硬件的运作状态:CPU,Memo,网络等等。 一、调整参数入门级的调优可以从调整参数开始。投入小,回报快。转载 2016-12-20 11:28:01 · 1221 阅读 · 0 评论 -
HBase修改压缩格式及Snappy压缩实测分享
来自:http://www.cnblogs.com/shitouer/p/hbase-table-alter-compression-type-and-snappy-compression-compare.html一、要点有关Snappy的相关介绍可参看Hadoop压缩-SNAPPY算法,如果想安装Snappy,可以参看Hadoop HBase 配置 安装 Snappy 终极教转载 2016-12-20 10:43:52 · 876 阅读 · 0 评论 -
eclipse+HBASE开发环境搭建(已实践)
原文地址:http://www.aboutyun.com/thread-7149-1-1.html jdk1.8.45 hbase-1.2.2(windows下和linux个留一份) hadoop-2.7.2(linux一份) Linux系统(centos或其它) Hadoop安装环境 HBase安装环境 具体操作步骤如下转载 2016-12-21 17:01:11 · 3246 阅读 · 1 评论 -
使用importtsv命令加载数据
原文: http://debugo.com/importtsv-load-data/?utm_source=tuicool&utm_medium=referralBulkload是向HBase批量加载数据的方式,它会直接将数据进行准备和并加载成HFile,并直接讲文件插入到RegionServer中,这比通过一个MapReduce/Spark作业来加载性能高得多。详细的流程如下转载 2016-12-08 15:19:26 · 2999 阅读 · 2 评论 -
HBase ImportTsv导入数据
原文 : http://blog.csdn.net/wolf_soul/article/details/52174554一、HBase介绍HBase是Apache Hadoop中的一个子项目,依托于Hadoop的HDFS作为最基本存储基础单元,通过使用hadoop的命令就可以看到HBase数据存储文件夹的目录结构,还可以通过Map/Reduce对HBase进行操作。HBa转载 2016-12-08 15:16:25 · 801 阅读 · 0 评论 -
hbase 数据export/import (No enum constant org.apache.hadoop.mapreduce.JobCounter.MB_MILLIS_MAPS)
来自:http://blog.csdn.net/abccheng/article/details/53066420hadoop2.5.2 + Hbase 0.98的环境下, 在使用hbase 导出数据时候遇到了一个问题。在使用hbase提供的一些基于mapreduce job的工具的时候。都出报出一些问题。比如下面两个工具 ./hbase org.apache.Hadoop.转载 2016-12-07 17:09:00 · 1258 阅读 · 0 评论 -
Hbase万亿级存储性能优化总结
原文链接:http://www.raincent.com/content-85-7770-1.html总结下hbase优化(针对0 94版本)方面的一些经验也算对这两年hbase工作的一个描述。背景hbase主集群在生产环境已稳定运行有1年半时间,最大的单表region数已达7200多个,每天新增入库量就有百亿条,对hbase的认识经历了懵懂到熟的过程。为了应对业务数据的压力,hbase入库也由...转载 2018-03-25 11:20:00 · 208 阅读 · 0 评论