Hive 和 HBase 查询语句及保存为文件的shell命令

最近在做的项目要用到Hive和HBase,测试过程中需要查数据,记录一些常用语句,免得以后忘了。


一、Hive

1. Hive 终端命令

#Linux终端进入Hive终端

hive shell

#显示当前所有数据库

show databases;

#使用数据库

use database_name;

#显示当前所有表

show tables;

#查看表结构

desc formatted table_name;

#查询语句(基本和普通sql语句一样)

select * from table_name where column_name = 'value';


2. Linux执行Hive shell命令

#-e 外部执行sql语句

hive -e 'select * from database_name.table_name'

#查询结果存为文件

hive -e 'select * from database_name.table_name'  > ./Result.txt

#-f 执行sql文件

hive -f ./hive_script.sql


二、HBase

1. HBase终端命令

#Linux终端进入HBase终端

hbase shell

#查看库中所有的表

list

#查看表结构

describe 'table_name'

#获取表中所有记录(所有Key的所有列)

scan 'table_name'

#获取表中所有记录(所有Key的指定列族)

scan 'table_name', {COLUMNS => ['column_family_name:']}
#获取表中所有记录(所有Key的指定列)
scan 'table_name', {COLUMNS => ['column_family_name:column_name']}
#所有表中指定Key的所有列

get 'table_name','Key_name'


2. Linux执行HBase shell命令

#外部执行sql语句

echo "scan 'table_name', {COLUMNS => ['column_family_name:column_name']}" | hbase shell
echo "get 'table_name','Key_name']}" | hbase shell

#查询结果存为文件

echo "scan 'table_name', {COLUMNS => ['column_family_name:column_name']}" | hbase shell > hbase_result.txt
echo "get 'table_name','Key_name']}" | hbase shell > hbase_result.text




### 回答1: Hadoop集群中配置HiveHBase需要按照以下步骤进: 1. 安装Hadoop集群并确保其正常运。 2. 下载HiveHBase的二进制文件,并解压缩到合适的目录。 3. 配置Hadoop环境变量,确保Hadoop的bin目录已经加入到PATH环境变量中。 4. 配置HiveHBase的环境变量,分别设置HIVE_HOME和HBASE_HOME变量。 5. 配置HiveHBase的相关配置文件,如hive-site.xml和hbase-site.xml,可以根据实际需求进调整。 6. 配置HiveHBase的元数据存储,Hive默认使用Derby作为元数据存储,但是在生产环境中建议使用MySQL或PostgreSQL等数据库。HBase的元数据存储可以使用Zookeeper。 7. 启动Hadoop集群和相关组件,如HiveHBase。 以上是配置Hadoop集群中HiveHBase的基本步骤,具体配置方式可以根据实际情况进调整。需要注意的是,HiveHBase的配置可能存在一定的依赖关系,需要根据具体情况进安装和配置。 ### 回答2: Hadoop集群是一个用于存储和处理大规模数据的分布式计算平台。在配置Hadoop集群前,我们需要确保每个节点都满足Hadoop的硬件和软件要求。确定节点后,我们需要进以下配置: 1. 安装Hadoop:首先,在每个节点上安装Hadoop软件包。可以使用Hadoop官方网站提供的二进制文件安装,也可以使用其他Hadoop发版,如Cloudera或Hortonworks。 2. 配置Hadoop核心:接下来,编辑Hadoop的核心配置文件(如hadoop-env.sh、core-site.xml和hdfs-site.xml)来定义Hadoop的全局设置和HDFS(分布式文件系统)的设置。在配置文件中,需要指定Hadoop集群的名称、文件系统URI、数据块大小等。 3. 配置Hadoop集群管理器:在其中一个节点上配置Hadoop集群管理器,通常是指定为“主节点”。这包括编辑yarn-site.xml文件来设置YARN(Yet Another Resource Negotiator)资源管理器的相关设置,以及mapred-site.xml文件来设置MapReduce框架的相关设置。 4. 配置HiveHive是一个基于Hadoop的数据仓库基础架构,可以对存储在Hadoop集群中的数据查询和分析。要配置Hive,首先需要在每个节点上安装Hive软件包。接下来,编辑hive-site.xml文件来定义Hive的设置,如Hive数据库和元数据存储位置等。 5. 配置HBaseHBase是一个基于Hadoop的分布式数据库,用于存储和处理结构化数据。要配置HBase,首先需要在每个节点上安装HBase软件包。然后,编辑hbase-site.xml文件来定义HBase的设置,如Zookeeper的位置、HBase根目录和HBase表的存储位置等。 配置完成后,需要启动Hadoop集群、HiveHBase服务,以便开始使用它们。启动后,可以使用相关命令和工具,如hdfs命令HDFS操作,hive命令Hive查询,以及hbase shellHBase操作。此外,还可以使用Hadoop集群管理器的Web界面来监视和管理Hadoop集群的运状况。 ### 回答3: Hadoop集群是一种分布式计算系统,用于处理大数据。Hadoop集群的配置需要考虑以下几个方面: 1. 设置Hadoop集群的基本配置:包括设置HDFS(Hadoop分布式文件系统)和YARN(Yet Another Resource Negotiator)的配置参数,例如设置数据块大小、副本数量等。 2. 配置Hadoop集群的主节点(NameNode和ResourceManager):主节点是集群中的控制节点,负责管理其他节点的工作。需要配置主节点的IP地址、端口号等参数。 3. 配置Hadoop集群的从节点(DataNode和NodeManager):从节点是执任务的节点,需要配置从节点的IP地址、端口号等参数。 4. 安装和配置HiveHive是一个基于Hadoop的数据仓库工具,可以方便地进数据查询和分析。需要安装Hive,并配置和启动Hive的服务。 5. 配置Hive的元数据存储:Hive的元数据存储可以选择使用本地磁盘或者远程数据库。需要配置Hive的元数据存储位置和连接信息。 6. 创建和配置Hive表:Hive使用类SQL语句来对数据查询和分析,需要创建和配置Hive表,包括表的结构、分区和存储位置等。 HBase是一个面向列的分布式数据库,用于存储大规模结构化数据HBase的配置主要包括以下几个方面: 1. 设置HBase集群的基本配置:包括ZooKeeper的配置、HBase的配置参数等。需要设置ZooKeeper的IP地址、端口号等参数。 2. 配置HBase集群的主节点(HMaster):主节点负责管理集群中的RegionServer,在主节点上需要配置HMaster的相关参数。 3. 配置HBase集群的从节点(RegionServer):从节点用来存储和处理数据,需要配置RegionServer的相关参数。 4. 配置HBase的表:HBase数据以表的形式进存储,需要创建和配置表的结构、列族等信息。 5. 设置HBase数据存储策略:可以配置HBase数据存储策略,例如选择使用HDFS作为存储介质还是本地文件系统。 以上是Hadoop集群、HiveHBase的基本配置过程,具体的配置步骤和参数设置可以根据实际需求和环境来进调整。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值