Doris 集成 ElasticSearch

最新推荐文章于 2024-03-06 09:09:45 发布
最新推荐文章于 2024-03-06 09:09:45 发布
阅读量357 收藏
点赞数
分类专栏： Doris 文章标签： elasticsearch 大数据 搜索引擎 数据仓库 doris
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shangjg03/article/details/134789340
版权
Doris 专栏收录该内容
22 篇文章 3 订阅 ¥19.90 ¥99.00
订阅专栏
Doris-On-ES将Doris的分布式查询规划能力和ES(Elasticsearch)的全文检索能力相结合，提供更完善的OLAP分析场景解决方案：

（1）ES中的多index分布式Join查询

（2）Doris和ES中的表联合查询，更复杂的全文检索过滤

1 原理

（1）创建ES外表后，FE会请求建表指定的主机，获取所有节点的HTTP端口信息以及index的shard分布信息等，如果请求失败会顺序遍历host列表直至成功或完全失败

了解本专栏 订阅专栏 解锁全文
shangjg3
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
大数据Doris（六十八）：基于Doris on ES的架构实现总结
Lansonli（蓝深李）的博客
03-13 295
总结来说，如果要支持维度数据存储，并且支持Join，目前开源的各类引擎或多或少都存在一些局限性。Doris和Clickhouse这里引擎都支持Join，并且支持明细数据存储，但是如要要高频Update，也是没办法做到。如果跳出Olap引擎，在应用层做Join实现，也是一种解法，但是实现成本高。Doris on ES构建在这个能力之上，并且对查询做了大量的优化，这给对ES原理理解不深的同学带来了方便。目前Doris on ES还不支持聚合下推，但是对于我们维度数据查询场景其实是用不到聚合操作。
Doris介绍、原理、安装、集成hive
02-27
### Doris介绍、原理、安装、集成Hive #### 一、Doris介绍 Doris是一款基于MPP（Massively Parallel Processing，大规模并行处理）架构的高性能分析型数据库，以其出色的性能和易于使用的特性而著称。它能够在亚秒...
Doris-集成其他系统（四）
大数据知识梳理
12-27 1616
Doris集成其他系统
文末附群｜Doris on ES在快手商业化的最佳实践
huzechen的博客
01-09 3126
贺祥快手商业化团队数据架构高级工程师主要负责商业化报表引擎快手商业化报表引擎为外部广告主提供广告投放效果的实时多维分析报表在线查询服务，以及为商业化内部各系统提供多维分析报表查询服务。致...
Doris整合Elasticsearch
qq_70284631的博客
03-01 870
select * from test where k1 > 1000 如果查询到数据,显示就ok。"hosts" = "http://es地址:9200",
实时数仓-Doris ON ES
test_test111的专栏
11-22 5046
原理介绍 Doris通过创建外部表方式将Doris的分布式查询规划能力和ES(Elasticsearch)的全文检索能力相结合，提供更完善的OLAP分析场景解决方案，支持： ES中的多index分布式Join查询 Doris和ES中的表联合查询，更复杂的全文检索过滤 创建ES外表后，FE会请求建表指定的主机，获取所有节点的HTTP端口信息以及index的shard分布信息等，如果请求失败会顺序遍历host列表直至成功或完全失败。 执行查询时，会根据FE得到的...
日志检索场景ES-＞Doris迁移最佳实践：函数篇
wangleigiser的博客
11-27 752
说明：和term区别可以理解为term是精确查询，这边match模糊查询；match会对my ss分词为两个单词，然后term对认为这是一个单词。
es 对比 doris对比
vmaps的博客
03-06 1121
综上所述，ES和Doris各有优势，选择哪种数据库取决于具体的使用场景和需求。如果需要处理非结构化数据、进行全文搜索或日志分析，ES可能是更好的选择；如果需要处理结构化数据、进行复杂的数据分析和报表生成，Doris可能更适合。ES（Elasticsearch）和Doris是两种不同类型的数据库，它们各自在不同的使用场景下有优势。
doris on es 如何查询不为空/不为空字符串
阳阳阳的博客
06-17 3287
doris on es 如何查询不为空/不为空字符串
【Doris】Doris on ES在快手商业化的最佳实践
m0_54252387的博客
07-13 991
快手商业化报表引擎为外部广告主提供广告投放效果的实时多维分析报表在线查询服务，以及为商业化内部各系统提供多维分析报表查询服务。致力于解决多维分析报表场景的高性能、高并发、高稳定的查询问题。1 业务场景介绍1.1 服务介绍本文主要侧重介绍Doris on ES（DOE）在我们业务场景的实践，所以我们的数据架构在这里只做简单介绍，如上如图所示。总体来说数据分为实时+离线两块事实数据写入，外加mysql binlong同步这一部分的维度数据写入。实时主要是flink+kafka，离线部分基本各大公司都是统一解决方
DORIS数据格式
09-04
描述DORIS数据格式https://passport.csdn.net/account/login?username=stonespark&activeCode=a4f6c6944b0703709050f5823a827923&service=http%3A%2F%2Fdownload.csdn.net%2Fdownload%2Fgaopu126%2F1494862
Doris应用指南Doris
05-06
Doris应用指南Doris
CDH6.3.2安装包全+Flink+Doris2.0 都是CDH适配的，采用阿里网盘的方式
07-08
CDH6.3.2安装包全+Flink1.17+Phonex+Doris2.0 都是CDH适配的
Apache Doris
最新发布
07-20
### Apache Doris 知识点详解 #### 一、Apache Doris 概述 - **起源与发展**：Apache Doris 最初由百度大数据部门研发，最初名为百度Palo。2018年，该项目被贡献至Apache软件基金会，并更名为Apache Doris。目前，...
doris 0.15版本 安装包
01-26
已对doris 0.15版本进行了编译，可以直接使用此包进行 分发，修改配置文件，启动 如果需要积分或者校验码，可以去百度网盘中下载，地址如下： 链接：https://pan.baidu.com/s/1BA3ZRcfjj4-tVVZNUIw9Bw 提取码：...
【Doris】百度商业大规模高性能全息日志检索技术揭秘
m0_54252387的博客
07-13 605
百度商业产品是服务于百度广告主用来投放广告而打造的产品生态。包含搜索推广、信息流推广、品牌等推广渠道以及观星盘、基木鱼等营销工具。百度商业产品全景图这一系列商业产品底层多为复杂的 Java 业务系统。复杂性主要体现在底层微服务子系统多、应用间调用关系复杂、基础组件依赖多。复杂性高就就意味着容易出问题，并且出了问题定位困难。但是这些产品出问题会直接导致广告主是否成功投放广告或者修改出价、创意等操作失败。「如果有过在广告业务系统一线工作经历的同学，应该深知排查线上问题的枯燥和耗时」如何在出问题第一时间定位问题，
【数据库】Apache Doris : 一个开源 MPP 数据库的架构与实践
DreamSun的博客
02-22 2100
1、对数据分析、统计数据分析大体上可以分为两大类场景：一种偏向于报表类的，另一种偏向于多维分析的。2、报表报表类数据分析，数据分析以及查询的模式相对比较固定，而且后台 SQL 的模式往往都是确定的。针对此类应用场景，选择使用 MySQL 存结果数据，用户可从界面选择执行批处理以及发送邮件。在 Doris 平台中，报表类查询时延一般在秒级以下。3、多维分析。
从 Storm 迁移到 Flink，美团外卖实时数仓建设实践
Ververica的博客
10-13 871
本文主要介绍一种通用的实时数仓构建的方法与实践。实时数仓以端到端低延迟、SQL 标准化、快速响应变化、数据统一为目标。在实践中，我们总结的最佳实践是：一个通用的实时生产平台+ 一个通用...
ES全文检索详细教程
m0_61580275的博客
06-02 7364
1
springboot集成doris
07-28
您好！要在Spring Boot中集成Doris，您可以按照以下步骤进行操作： 1. 添加Doris的依赖：在您的`pom.xml`文件中，添加Doris的依赖。可以使用以下Maven坐标： ```xml <dependency> <groupId>org.apache.doris</groupId> <artifactId>doris-client</artifactId> <version>0.14.0</version> </dependency> ``` 2. 创建Doris连接配置：在`application.properties`或`application.yml`中添加Doris连接配置。例如： ```properties doris.url=jdbc:doris://localhost:8030/default doris.username=root doris.password=your_password ``` 3. 创建Doris数据源：在Spring Boot中，可以通过配置类来创建Doris数据源。创建一个类，并使用`@Configuration`注解标记该类为配置类。然后，使用`@Bean`注解创建一个`DataSource` bean，并设置Doris的连接信息。例如： ```java import org.apache.doris.jdbc.Driver; import org.springframework.boot.jdbc.DataSourceBuilder; import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.Configuration; import javax.sql.DataSource; @Configuration public class DorisDataSourceConfig { @Bean public DataSource dorisDataSource() { return DataSourceBuilder.create() .driverClassName(Driver.class.getName()) .url("jdbc:doris://localhost:8030/default") .username("root") .password("your_password") .build(); } } ``` 4. 使用Doris数据源：在需要使用Doris数据源的地方，可以使用`@Autowired`注解将`DataSource`注入到您的类中。例如： ```java import org.springframework.beans.factory.annotation.Autowired; import org.springframework.jdbc.core.JdbcTemplate; import org.springframework.stereotype.Component; @Component public class DorisExample { private final JdbcTemplate jdbcTemplate; @Autowired public DorisExample(DataSource dorisDataSource) { this.jdbcTemplate = new JdbcTemplate(dorisDataSource); } // 使用jdbcTemplate执行Doris操作 } ``` 现在，您可以使用`jdbcTemplate`对象执行Doris的操作了。根据您的需求，可以使用Spring Data JPA或其他相关技术来简化数据访问。 请注意，以上步骤是一个基本的示例，您可能需要根据您的具体情况进行调整。希望对您有所帮助！如果还有其他问题，请随时提问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

shangjg3

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值