为什么Doris比hive快

为什么Doris比Hive快？——一个入门开发者的实战指南

在大数据的生态系统中，我们常常会比较不同数据处理框架的性能。Doris和Hive是两种常见的框架，前者以其快速的查询性能而闻名。今天，我将带你一起探讨为什么Doris比Hive快，并通过一系列步骤和示例代码来帮助你理解这个过程。

流程概述

在我们深入了解Doris和Hive之前，让我们看一下整个比较过程的步骤：

步骤	任务	说明
1	环境准备	安装Doris和Hive，并配置环境。
2	数据准备	准备数据集以便在两个框架中进行测试。
3	查询设计	设计相同的查询在Doris和Hive中执行。
4	执行查询	在Doris与Hive中执行这些查询并记录时间。
5	结果分析	分析结果并比较执行时间。
6	总结	总结Doris与Hive性能差异的原因。

详细步骤

步骤1：环境准备

确保你已安装好Doris和Hive，并且配置好相应的环境。以下是配置Hive的示例代码：

登录后复制

# 下载Hive
wget 
# 解压
tar -xzf apache-hive-3.1.2-bin.tar.gz
# 配置环境变量（在.bashrc中添加）
export HIVE_HOME=<你的Hive安装路径>
export PATH=$PATH:$HIVE_HOME/bin

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.

这段代码的作用是下载和解压Hive，并将Hive的可执行文件加入系统环境变量中，这样可以在命令行直接使用Hive命令。

对于Doris的安装，请参考官方文档进行配置。安装完成后，我们需要启动相应的服务。

步骤2：数据准备

我们需要准备一份相同的数据集，以便在Doris和Hive中进行比较。例如，我们可以使用CSV格式的数据文件：

登录后复制

id,name,age
1,Alice,30
2,Bob,25
3,Charlie,35

• 1.
• 2.
• 3.
• 4.

将这份数据文件导入到Doris和Hive中。以下是将数据导入到Hive中的代码：

登录后复制

-- 登录Hive
hive
-- 创建表
CREATE TABLE users (
    id INT,
    name STRING,
    age INT
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE;

-- 导入数据
LOAD DATA LOCAL INPATH 'path/to/your/data.csv' OVERWRITE INTO TABLE users;

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.
• 8.
• 9.
• 10.
• 11.
• 12.
• 13.
• 14.

上述代码首先创建了一个表users，然后将CSV文件的数据加载到该表中。

步骤3：查询设计

接下来，我们需要设计相同的查询以便在Doris和Hive中进行测试。例如，我们可以设计一个简单的查询，统计用户的平均年龄：

登录后复制

SELECT AVG(age) FROM users;

• 1.

我们将在Doris和Hive中执行这个查询。

步骤4：执行查询

我们分别在Doris和Hive中执行上述查询，记录执行时间。下面是Hive中执行查询的例子：

登录后复制

-- 在Hive中执行查询并记录时间
SET hive.exec.parallel=true;
SET hive.exec.parallel.max.parallelism=10;
SET hive.execution.engine=tez;

-- 开始计时
-- 记录开始时间
-- 执行查询
SELECT AVG(age) FROM users;
-- 记录结束时间
-- 输出执行时间

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.
• 8.
• 9.
• 10.
• 11.

在Doris中执行的代码如下：

登录后复制

-- 在Doris中执行查询
SELECT AVG(age) FROM users;

• 1.
• 2.

在Doris中，你可能会注意到其执行速度明显快于Hive。

步骤5：结果分析

接下来，我们需要分析执行结果。通常，我们可以将不同查询的执行时间纪录在一个表格中：

库	查询	执行时间
Hive	SELECT AVG(age) FROM users;	5s
Doris	SELECT AVG(age) FROM users;	0.5s

根据表格可以清楚地看到Doris的执行时间明显少于Hive。

步骤6：总结

总结Doris之所以比Hive快的原因，主要有以下几点：

1. 存储模型：Doris采用了列式存储，能更有效地处理分析性查询。
2. 执行引擎：Doris内置的执行引擎进行高效的查询优化，可以并行处理大规模数据。
3. 优化查询计划：Doris会自动生成最佳的查询计划，从而缩短查询时间。

结尾

通过以上步骤，我们清晰地分析了Doris和Hive的查询性能差异。Doris的设计理念和实现方式使其在处理复杂的查询时表现出色。如果你想在大数据领域取得成功，掌握这些工具的优缺点将对你大有裨益。希望这篇文章对你理解Doris和Hive的性能差异有所帮助！欢迎继续深入学习大数据技术。

原创作者: u_16175526 转载于: https://blog.51cto.com/u_16175526/11709850