hbase的安装和基本使用

最新推荐文章于 2024-07-15 22:06:09 发布

tiantiantianlan2005

最新推荐文章于 2024-07-15 22:06:09 发布

阅读量434

点赞数

本文链接：https://blog.csdn.net/tiantiantianlan2005/article/details/118607622

版权

本文详细介绍了如何在非HA模式下搭建Hadoop集群，包括Hadoop的环境配置、服务启动与验证，以及Hbase的安装、配置、启动和相关操作。通过步骤指导，读者可以了解到从Hadoop的环境变量设置、配置文件修改，到Hbase的命名空间、表创建、数据插入等操作，最后验证集群正常运行的方法。

摘要由CSDN通过智能技术生成

一，安装

hadoop集群安装 (非HA)

把hadoop-2.7.3.tar.gz（自行下载）上传到/app目录，解压：

tar -zxvf hadoop-2.7.3.tar.gz

/app/hadoop-2.7.3/etc/hadoop目录下，修改配置文件

新建目录：

mkdir -p /app/hadoop-2.7.3/tmp

mkdir -p /app/hadoop-2.7.3/tmp/dfs/name

mkdir -p /app/hadoop-2.7.3/tmp/dfs/data

core-site.xml

<name>fs.defaultFS</name>

</property>

<name>fs.default.name</name>

</property>

<name>hadoop.tmp.dir</name>

<value>file:/app/hadoop-2.7.3/tmp</value>

</property>

hdfs-site.xml

<name>dfs.replication</name>

</property>

<name>dfs.namenode.secondary.http-address</name>

</property>

<name>dfs.namenode.name.dir</name>

<value>file:/app/hadoop-2.7.3/tmp/dfs/name</value>

</property>

<name>dfs.datanode.data.dir</name>

<value>file:/app/hadoop-2.7.3/tmp/dfs/data</value>

</property>

拷贝mapred-site.xml.template 模板：cp mapred-site.xml.template mapred-site.xml

mapred-site.xml

<name>mapreduce.framework.name</name>

</property>

<name>mapreduce.app-submission.cross-platform</name>

</property>

yarn-site.xml

<name>yarn.resourcemanager.hostname</name>

</property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

slaves :#配置所有dn的主机名称

node2

node3

hadoop-env.sh 修改JAVA_HOME

export JAVA_HOME=${JAVA_HOME} 改为：

export JAVA_HOME=/usr/java/jdk1.8.0_201-amd64

将配置好的hadoop文件夹分发到其他两台主机（dataNode）

scp -r hadoop-2.7.3 node2:/app/

scp -r hadoop-2.7.3 node3:/app/

配置环境变量（所有节点）

/etc/profile（root用户，普通用户为~/.bashrc）

#JAVA_HOME

export JAVA_HOME=/usr/java/jdk1.8.0_201-amd64

export PATH=$PATH:$JAVA_HOME/bin

#HADOOP

export HADOOP_HOME=/app/hadoop-2.7.3

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

source /etc/profile

格式化hdfs 文件系统（只需要这第一次，以后启动不需要了，只在node1（master节点上启动，其他的节点不需要启动）, ）

hadoop namenode -format

见到这行字，基本就好了：

Storage directory /app/hadoop-2.7.3/tmp/dfs/name has been successfully formatted

/************************************************************

SHUTDOWN_MSG: Shutting down NameNode at node1/192.168.56.111

************************************************************/

启动服务：

启动HDFS（在集群的任意一台）：

start-dfs.sh (stop-dfs.sh)

启动YARN（在集群的master）

start-yarn.sh (stop-yarn.sh)

验证服务进程（jps查看）

master：

SecondaryNameNode

NameNode

ResourceManager

其他节点：

DataNode

NodeManager

相关页面：

Hbase Master UI:

http://192.168.56.113:16010/master-status

至此，hbase集群已经建立，可以执行hbase的相关操作了。

如果有节点相应的进程没有启动，那么可以手动启动

hbase-daemon.sh start master

hbase-daemon.sh start regionserver

主要命令脚本

进shell窗口命令：

hbase shell

帮助提示:

help

help "get" //具体命令用法提示

列出所有的表:

list

列举命名空间 :

list_namespace

创建nameSpace:

create_namespace 'newns'

列出具体nameSpace下所有的表:

list_namespace_tables 'tianjin'

删除命名空间drop_namespace

drop_namespace 'newns'

查看表描述：

describe 't_hbase_table_v1'

查看服务器状态,可以带参（ ‘summary’, ‘simple’, ‘detailed’, or ‘replication’. 默认为 ‘summary’）

status

status 'detailed'

查看版本号

version

查看支持的过滤器：

show_filters

创建表：

命令格式1：create ‘表名’,‘列簇名1’,‘列簇名2’…
命名格式2：create ‘表名’,{NAME=>‘列簇名1’},{NAME=>‘列簇名2’}…

#创建一张名为Student的表，包含基本信息（baseinfo）、学校信息（schoolinfo）两个列簇

不指定命名空间，默认放default。指定命名空间格式：nameSpaceName:tableName

#简便写法

create 'student','baseinfo','schoolinfo'

#完整写法，可以指定更多属性（VERSIONS意为保留多少个版本）

create 'default:student', {NAME => 'baseinfo', VERSIONS => 1, TTL => 36000000000, BLOCKCACHE => true},{NAME => 'schoolinfo', VERSIONS => 1, TTL => 36000000000, BLOCKCACHE => true}

删除表：

#删除表前需要先禁用表

disable 'student'

#删除表

drop 'student'

表的启用与禁用

#禁用表 disable 'student'

#检查表是否被禁用 is_disabled 'student'

#启用表 enable 'student'

#检查表是否被启用 is_enabled 'student'

#查看表是否存在

exists 'student'

查看表中记录数

count 'student'

#增加指定表行或列的值incr

incr '表名', '行键', '列族:列名', 步长值

#获取计数器

get_counter '表名', '行键', '列族:列名'

#重新创建指定表truncate(truncate是disable、drop、create三个动作的自动化集成。)

truncate 'fr:test'

插入数据:

命令格式：put ‘表名’,‘行键’,‘列簇名:列名’,‘值’[,时间戳]

put 'student', '1','baseinfo:name','tom'

put 'student', '1','baseinfo:birthday','1990-01-09'

put 'student', '1','baseinfo:age','29'

put 'student', '1','schoolinfo:name','Havard'

put 'student', '1','schoolinfo:localtion','Boston'

put 'student', '2','baseinfo:name','jack'

put 'student', '2','baseinfo:birthday','1998-08-22'

put 'student', '2','baseinfo:age','21'

put 'student', '2','schoolinfo:name','yale'

put 'student', '2','schoolinfo:localtion','New Haven'

put 'student', '3','baseinfo:name','maike'

put 'student', '3','baseinfo:birthday','1995-01-22'

put 'student', '3','baseinfo:age','24'

put 'student', '3','schoolinfo:name','yale'

put 'student', '3','schoolinfo:localtion','New Haven'

put 'student', '4','baseinfo:name','maike-jack'

获取指定行、指定行中的列族、列的信息:

# 获取指定行中所有列的数据信息

get 'student','3'

# 获取指定行中指定列族下所有列的数据信息

get 'student','3','baseInfo'

# 获取指定行中指定列的数据信息

get 'student','3','baseinfo:name'

删除指定行、指定行中的列

# 删除指定行

deleteall 'student','3'

# 删除指定行中指定列的数据

delete 'student','3','baseinfo:name'

scan查询

#查询整表数据

scan 'student'

#查询指定列簇的数据

scan 'student', {COLUMN=>'baseinfo'}

# 查询指定列的数据

scan 'student', {COLUMNS=> 'baseinfo:birthday'}

#限制查询结果的条数

scan '表名称', {STARTROW => '开始行', LIMIT => 行数, VERSIONS => 版本号, STOPROW => 结束行, TIMERANGE => '限制时间戳范围'}

scan的Filter

#谁的值=yale

scan 'student', FILTER=>"ValueFilter(=,'binary:yale')"

#谁的值包含ya

scan 'student', FILTER=>"ValueFilter(=,'substring:ya')"

#列名为'localti'开头，包含osto或者Haven的列记录

scan 'student', FILTER=>"ColumnPrefixFilter('localti') AND ( ValueFilter(=,'substring:osto') OR ValueFilter(=,'substring:Haven') )"

#rowKey为1开头，可结合STARTROW，STOPROW

scan 'student', FILTER => "PrefixFilter ('1')"

#RowFilter，参考ValueFilter，此为过滤rowKey

scan 'student', FILTER=>"RowFilter(=,'binary:1')"

scan 'student', FILTER=>"RowFilter(=,'substring:1')"

问题

1, fs.defaultFS还是 fs.default.name

使用 fs.default.name 还是使用 fs.defaultFS ，要首先判断是否开启了 NN 的HA (namenode 的 highavaliable)，如果开启了nn ha，那么就用fs.defaultFS，在单一namenode的情况下，就用 fs.default.name

tiantiantianlan2005

关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫