【通过Hive清洗、处理和计算原始数据，Hive清洗处理后的结果，将存入Hbase，海量数据随机查询场景从HBase查询数据】_hive分析原始库

最新推荐文章于 2024-05-17 12:20:19 发布

2401_84183545

最新推荐文章于 2024-05-17 12:20:19 发布

阅读量1k

点赞数 25

分类专栏： 2024年程序员学习文章标签： hive hbase hadoop

本文链接：https://blog.csdn.net/2401_84183545/article/details/137662748

版权

2024年程序员学习专栏收录该内容

60 篇文章 0 订阅

订阅专栏

文章目录

Hive的安装与配置
- 1. 安装 JDK
HBase的安装与配置
通过Hive清洗、处理和计算原始数据，Hive清洗处理后的结果，将存入Hbase，海量数据随机查询场景从HBase查询数据
- 1. Hive数据清洗和处理：
  - 2. Hive数据导入HBase：
  - 3. HBase数据查询：
将Hive清洗处理后的结果存入HBase
- 1. 创建一个HBase表
Hive清洗、处理和计算原始数据
海量数据随机查询场景从HBase查询数据的问题与解决方案
- 1. 数据过滤效率低
Java代码示例
- 1. 使用HBase过滤器进行数据过滤

Hive的安装与配置

Hive 是一个基于 Hadoop 的数据仓库工具，可以将结构化数据映射到 Hadoop 的分布式存储上，并提供类 SQL 的查询语言 HiveQL，方便用户进行数据处理和分析。下面是 Hive 的安装和配置步骤：

1. 安装 JDK

Hive 是一个基于 Java 的工具，需要先安装 JDK。请确保已经安装了 JDK 并设置了 JAVA_HOME 环境变量。

2. 下载和安装 Hive

从 Hive 官方网站下载最新版本的 Hive，并解压到本地文件夹中。例如：

tar -zxf apache-hive-x.y.z-bin.tar.gz

3. 配置环境变量

将 Hive 的 bin 目录添加到 PATH 环境变量中。例如：

export PATH=$PATH:/path/to/hive/bin

4. 配置 Hive 的元数据存储

Hive 的元数据存储在一个关系型数据库中，需要先创建数据库和用户。常用的数据库有 MySQL、PostgreSQL 和 Derby 等。这里以 Derby 为例：

$ cd /path/to/hive
$ mkdir -p metastore_db
$ export DERBY_HOME=/path/to/derby
$ $DERBY_HOME/bin/ij

ij> connect 'jdbc:derby:metastore_db;create=true';
ij> exit;

5. 配置 Hive

Hive 的配置文件位于 Hive 的 conf 目录下，包括 hive-site.xml、hive-env.sh 等文件。需要根据需要修改相应的配置项。常见的配置项包括：

hive.metastore.uris：指定 Hive 元数据存储的连接字符串。例如：

<property>
  <name>hive.metastore.uris</name>
  <value>jdbc:derby:;databaseName=/path/to/hive/metastore_db;create=true</value>
</property>

hive.exec.scratchdir：指定 Hive 运行时的临时目录。例如：

<property>
  <name>hive.exec.scratchdir</name>
  <value>/path/to/hive/tmp</value>
</property>

hive.exec.local.scratchdir：指定本地模式下的临时目录。例如：

<property>
  <name>hive.exec.local.scratchdir</name>
  <value>/path/to/hive/tmp</value>
</property>

6. 启动 Hive

启动 Hive 命令行界面，例如：

$ hive

如果出现异常，请检查以上步骤是否正确配置。

HBase的安装与配置

HBase是一个分布式的NoSQL数据库，基于Hadoop的HDFS文件系统实现数据的存储和管理。以下是HBase的安装与配置过程：

下载HBase压缩包：从HBase官网下载最新版本的HBase压缩包，解压到安装目录（如：/usr/local/hbase）。
配置HBase环境变量：编辑/etc/profile文件，添加以下内容：

export HBASE_HOME=/usr/local/hbase
export PATH=$PATH:$HBASE_HOME/bin

配置HBase集群：在conf目录下，编辑hbase-site.xml文件，将“localhost”替换成本机IP地址。配置Zookeeper的地址：

<configuration>
   <property>
      <name>hbase.master</name>
      <value>localhost:60000</value>
   </property>
   <property>
      <name>hbase.zookeeper.quorum</name>
      <value>localhost</value>
   </property>
   <property>
      <name>hbase.zookeeper.property.dataDir</name>
      <value>/usr/local/zookeeper/zookeeper-3.4.13/data</value>
   </property>
</configuration>

其中，“hbase.zookeeper.quorum”是Zookeeper的地址，“hbase.zookeeper.property.dataDir”是Zookeeper的数据目录。

配置HBase节点：在conf目录下，编辑regionservers文件，添加每个HBase节点的IP地址，以换行符分隔。
启动HBase集群：在HBase根目录下，执行以下命令启动HBase集群：

./bin/start-hbase.sh

验证HBase集群：在浏览器中输入http://localhost:16010，查看HBase集群的状态。

以上就是HBase的安装与配置过程，如果需要进行更详细的配置，可以查阅HBase官方文档。

通过Hive清洗、处理和计算原始数据，Hive清洗处理后的结果，将存入Hbase，海量数据随机查询场景从HBase查询数据

在大数据领域中，Hive和HBase是两个非常重要的组件。Hive是一个基于Hadoop的数据仓库框架，它允许用户使用类SQL的语言（HiveQL）来查询和分析大规模数据。而HBase则是一个分布式的、可扩展的、面向列的NoSQL数据库，它适用于处理海量数据。

在实际应用中，常常需要将Hive清洗、处理和计算原始数据，然后将结果存储到HBase中，以便进行随机查询等操作。这个过程可以分为以下几个步骤：

数据清洗和处理：首先需要对原始数据进行清洗和处理，以便将数据变为可分析的格式。这个过程可以使用Hive进行，它支持类SQL的语言，可以进行各种数据处理的操作。
数据导入HBase：清洗处理后的数据，可以通过Hive的HBase存储处理器来导入到HBase中。这个处理器可以将Hive表转化为HBase表，并将数据写入HBase中。
数据查询：HBase适合进行海量数据的随机查询，可以通过HBase提供的API或者Hive的HBase存储处理器进行查询操作。

在这个过程中，Hive和HBase的底层架构和运行原理都非常复杂。Hive的底层是基于Hadoop的MapReduce计算框架实现的，而Hadoop的计算模型是基于分布式存储和计算的，它将数据分割成多个块，每个块由一些计算机进行计算，最终合并结果。而HBase则是基于Google的BigTable设计的，它使用了Hadoop的分布式文件系统HDFS作为存储层，以及ZooKeeper作为协调层。在HBase中，数据是按照行和列族的方式进行存储的，可以支持高并发的读写操作。

总之，通过Hive清洗、处理和计算原始数据，并将结果存储到HBase中，可以有效地处理大规模数据，并且支持高并发的查询操作。在实际应用中，需要深入理解Hive和HBase的底层架构和运行原理，以便更好地使用它们进行数据分析和处理。

示例代码：

1. Hive数据清洗和处理：

// 创建表
CREATE TABLE original_data (
    id INT,
    name STRING,
    age INT,
    gender STRING,
    address STRING,
    PRIMARY KEY (id)
) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE;

// 加载数据
LOAD DATA LOCAL INPATH '/path/to/data' OVERWRITE INTO TABLE original_data;

// 数据清洗和处理（如筛选某一列、计算平均值等操作）
SELECT name, age FROM original_data WHERE gender = 'male' AND age > 18;

2. Hive数据导入HBase：

// 创建Hive表
CREATE TABLE hbase_data (
    id INT,
    name STRING,
    age INT,
    gender STRING,
    address STRING,
    PRIMARY KEY (id)
) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES (
    'hbase.columns.mapping' = ':key,info:name,info:age,info:gender,info:address'
) TBLPROPERTIES ('hbase.table.name' = 'hbase_table');

// 导入数据到HBase
INSERT OVERWRITE TABLE hbase_data SELECT \* FROM original_data;

3. HBase数据查询：

// 使用Java API查询数据
Configuration conf = HBaseConfiguration.create();
HTable table = new HTable(conf, "hbase\_table");
Get get = new Get(Bytes.toBytes("1"));
Result result = table.get(get);
byte[] value = result.getValue(Bytes.toBytes("info"), Bytes.toBytes("name"));
String name = Bytes.toString(value);
System.out.println("Name is: " + name);

// 通过Hive查询HBase数据
SELECT name FROM hbase_data WHERE id = 1;

以上示例代码仅为参考，具体实现方式还需要根据实际情况进行调整。同时，在使用Hive和HBase进行大数据处理时，还需要注意数据分区、性能调优、数据备份等方面的问题，以确保系统的稳定性和可靠性。

将Hive清洗处理后的结果存入HBase

Hive可以将处理后的结果存储到HBase中，这样可以方便地进行海量数据随机查询。下面是一个示例，展示如何将Hive清洗处理后的结果存入HBase中：

1. 创建一个HBase表

create 'mytable', 'cf1'

2. 将Hive表中的数据导入到HBase中

INSERT INTO TABLE hbasetable SELECT \* FROM mytable;

3. 在Hive中创建一个外部表，与HBase表进行关联

CREATE EXTERNAL TABLE hbasetable (id INT, name STRING, age INT, address STRING) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ('hbase.columns.mapping' = ':key,cf1:name,cf1:age,cf1:address') TBLPROPERTIES ('hbase.table.name'='mytable');

4. 查询HBase数据

SELECT id, name, age, address FROM hbasetable WHERE age > 18;

Hive清洗、处理和计算原始数据

Hive是一种基于Hadoop的数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供了类SQL查询功能。通过Hive，我们可以对原始数据进行清洗、处理和计算，并将处理后的结果存储到HBase中。

下面是一个示例，展示如何使用Hive清洗、处理和计算原始数据：

创建一个数据库

CREATE DATABASE mydb;


**自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。**

**深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！**

**因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。**
![img](https://img-blog.csdnimg.cn/img_convert/d0f027325a23efefec22bb044f92045c.png)
![img](https://img-blog.csdnimg.cn/img_convert/7a3463c5a0fdb602a4ab4669a7f9f2cc.png)
![img](https://img-blog.csdnimg.cn/img_convert/ad1ef7bd0940e1ba2e4c15c32bac7f1f.png)
![img](https://img-blog.csdnimg.cn/img_convert/d696ffbaf7937828d186ab75692aedd3.png)
![img](https://img-blog.csdnimg.cn/img_convert/4bd54f92f309a639f4331c59ff28d263.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！**

**由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**

**如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）**
![img](https://img-blog.csdnimg.cn/img_convert/e112d0cde2549d4111e42ce60d0c601b.png)

0)]
[外链图片转存中...(img-t1l0fMFJ-1712872861900)]
[外链图片转存中...(img-1wPhEtTw-1712872861900)]
[外链图片转存中...(img-BBzFxypp-1712872861901)]

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！**

**由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**

**如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）**
[外链图片转存中...(img-lIC565w4-1712872861901)]

2401_84183545

关注

25
点赞
踩
22

收藏

觉得还不错? 一键收藏
0
评论
【通过Hive清洗、处理和计算原始数据，Hive清洗处理后的结果，将存入Hbase，海量数据随机查询场景从HBase查询数据】_hive分析原始库

Hive的底层是基于Hadoop的MapReduce计算框架实现的，而Hadoop的计算模型是基于分布式存储和计算的，它将数据分割成多个块，每个块由一些计算机进行计算，最终合并结果。总之，通过Hive清洗、处理和计算原始数据，并将结果存储到HBase中，可以有效地处理大规模数据，并且支持高并发的查询操作。Hive 是一个基于 Hadoop 的数据仓库工具，可以将结构化数据映射到 Hadoop 的分布式存储上，并提供类 SQL 的查询语言 HiveQL，方便用户进行数据处理和分析。
复制链接

扫一扫