HBase 快照操作

1.配置hbase-site.xml hbase.snapshot.enabled true 2.创建快照 hbase> snapshot 'myTable', 'myTableSnapshot-122112' hbase>list_snapshots 3....

2013-12-29 05:25:11

阅读数:1215

评论数:0

HBase表重命名

hbase shell> disable 'tableName' hbase shell> snapshot 'tableName', 'tableSnapshot' hbase shell> clone_snapshot 'tableSnapshot', 'newTableNa...

2013-12-29 05:18:34

阅读数:2778

评论数:0

HBase集群部署脚本

#!/bin/bash # Sync HBASE_HOME across the cluster. Must run on master using HBase owner user. HBASE_HOME=/usr/local/hbase/current for rs in `cat $...

2013-12-29 05:11:51

阅读数:918

评论数:0

hbase 集群管理脚本

#!/bin/bash # Show all running Java processes on region servers. Must run on master using HBase owner user. JAVA_HOME=/usr/local/jdk1.6 HBASE_HOM...

2013-12-29 05:10:34

阅读数:640

评论数:0

Hbase replication操作

1.修改hbase-site.xml文件  hbase.replication  true 2.同步数据改变,重启hbase集群 3.创建备份表 hbae>create 'reptable1', { NAME => 'cf1', REPLICATION_SCOPE =...

2013-12-29 05:08:57

阅读数:777

评论数:0

Hbase 备份的方式

HBase 备份的方式有三种: 1.下线备份   (1)停止集群。   (2)Distcp    (3)restore 2.在线备份 -replication 3.在线北大 -CopyTable 4.在线备份-Export

2013-12-29 04:43:31

阅读数:737

评论数:0

Hbase节点管理

1.退役节点 shell>balance_switch false   然后,hbase-daemon.sh stop regionserver dfs.datanode.failed.volumes.tolerated > 0

2013-12-29 04:31:25

阅读数:1428

评论数:0

HBase提供的工具

1 .压缩测试工具   hbase org.apache.hadoop.hbase.util.CompressionTest   1G数据不同的压缩算法得到的结果 +--------------------+--------------+ | MODIFIER           | SIZE (...

2013-12-29 03:47:17

阅读数:1831

评论数:0

HBase 健康检查工具

在HBase运维中 最常用的工具就是hbck.  查看整个集群的表状况。如果region很多,建议慎重使用,会比较慢,而采用(3)。 (1)hbase  hbck  详细显示集群状况。  (2)hbase hbck -details  显示指定表的状况。 ...

2013-12-29 03:07:18

阅读数:2804

评论数:0

HBase Canary

HBase  Canary 用于检测HBase 系统的状态。它对指定表的每一个region 抓取一行,来探测失败或者延迟。 hbase org.apache.hadoop.hbase.tool.Canary -help     Usage: bin/hbase org.apach...

2013-12-29 02:34:18

阅读数:2526

评论数:0

HBase Bulk Loading

将数据导入到HBase有三种方式:(1) Mapreduce,输出为TableOutputFormat.(2) 用HBase API .(3)Bulk Loading。对于大量的数据入库,第三种数据是最为有效的。   下图描述了Bulk Loading的过程:先将数据(MySQL ,Oracle ...

2013-12-29 02:11:07

阅读数:1503

评论数:0

HBase 运维分析

问题分析的主要手段 1、监控系统:首先用于判断系统各项指标是否正常,明确系统目前状况 2、服务端日志:查看例如region移动轨迹,发生了什么动作,服务端接受处理了哪些客户端请求。 3、gc日志:gc情况是否正常 4、操作系统日志和命令:操作系统层面、硬件是否故障,当前状况如何 5、bt...

2013-12-29 00:06:23

阅读数:893

评论数:0

HBase rest

HBase Rest 是建立在HBase java 客户端基础之上的,提供的web 服务。它存在的目的是给开发者一个更多的选择。 1.启动rest 服务   (1)hbase rest start       用默认的方式启动rest服务,端口是8080。   (2)hbase rest s...

2013-12-28 23:26:11

阅读数:2743

评论数:0

hbase mlockall

mlockall 头文件:#include 函数原型:int mlockall(int flags); flags:       MCL_CURRENT ——Lock all pages which are currently mapped into the address spac...

2013-12-28 22:18:48

阅读数:955

评论数:0

java 调用JRuby

1.core package vanilla; import org.jruby.embed.ScriptingContainer; public class HelloWorld { private HelloWorld() { Scripting...

2013-12-28 21:39:17

阅读数:1010

评论数:0

hbase thrift 访问队列

public class CallQueue implements BlockingQueue {   private static Log LOG = LogFactory.getLog(CallQueue.class);   private final BlockingQueue un...

2013-12-28 20:59:32

阅读数:881

评论数:0

Prefix tree

Prefix tree The trie, or prefix tree, is a data structure for storing strings or other sequences in a way that allows for a fast look-up. In its simp...

2013-12-04 01:10:02

阅读数:853

评论数:0

HFile

HFile存储格式 HBase中的所有数据文件都存储在Hadoop HDFS文件系统上,主要包括两种文件类型: 1. HFile, HBase中KeyValue数据的存储格式,HFile是Hadoop的二进制格式文件,实际上StoreFile就是对HFile做了轻量级包装,即StoreFile...

2013-12-04 00:48:00

阅读数:552

评论数:0

hbase介绍

一、简介 history started by chad walters and jim 2006.11 G release paper on BigTable 2007.2 inital HBase prototype created as Hadoop contrib...

2013-12-04 00:46:26

阅读数:555

评论数:0

抽取网页中的主要内容

抽取网页中的主要内容,是文本挖掘预处理中一个很头疼的问题。但是现在一切都不是问题。

2013-11-29 17:16:02

阅读数:927

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭