Doris整合Elasticsearch

已于 2024-03-04 09:45:04 修改
阅读量855 收藏 8
点赞数 13
文章标签： elasticsearch 大数据 搜索引擎
于 2024-03-01 17:47:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_70284631/article/details/136402285
版权

使用方法​

创建ES索引

 PUT http://es地址/test

选取Body,格式采用application/json,入参如下:

{
          "settings":  {
                    "number_of_shards":  1,
                    "number_of_replicas":  0
          },
          "mappings":  {
                    "properties":  {
                              "k1":  {
                                        "type":  "long"
                              },
                              "k2":  {

最低0.47元/天 解锁文章
羊村你懒哥786
关注
  • 13
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Doris 集成 ElasticSearch
shangjg3的博客
12-06 344
默认情况下，Doris On ES会从行存也就是_source中获取所需的所有列，_source的存储采用的行式+json的形式存储，在批量读取性能上要劣于列式存储，尤其在只需要少数列的情况下尤为明显，只获取少数列的情况下，docvalue的性能大约是_source性能的十几倍。Doris On ES一个重要的功能就是过滤条件的下推: 过滤条件下推给ES，这样只有真正满足条件的数据才会被返回，能够显著的提高查询性能和降低Doris和Elasticsearch的CPU、memory、IO使用量。
从 Elasticsearch 到 Apache Doris，统一日志检索与报表分析，360 企业安全浏览器的数据架构升级实践
SelectDB
02-22 5790
将日志检索和报表分析统一到一个系统中，Doris 2.0 版本在增加倒排索引后，能同时满足这两个场景，从而缩短了数据处理的链路和复杂度，显著提高了数据处理的效率。聚合分析性能得到数量级的提升，之前在 Elasticseach 中需要近 10 秒才能完成聚合查询，而在 Doris 中不到 1 秒就能完成，聚合分析效率至少提升 100%。Doris 提供了高效的数据压缩效率，相较于 Elasticseach，同一份数据的存储资源成本降低了 60%。
从 Elasticsearch 到 Apache Doris，构建 10 倍性价比提升的新一代日志存储分析平台
crg18438610577的博客
05-07 617
从 Elasticsearch 到 Apache Doris，构建 10 倍性价比提升的新一代日志存储分析平台
【数据库】Apache Doris : 一个开源 MPP 数据库的架构与实践
DreamSun的博客
02-22 2064
1、对数据分析、统计数据分析大体上可以分为两大类场景：一种偏向于报表类的，另一种偏向于多维分析的。2、报表报表类数据分析，数据分析以及查询的模式相对比较固定，而且后台 SQL 的模式往往都是确定的。针对此类应用场景，选择使用 MySQL 存结果数据，用户可从界面选择执行批处理以及发送邮件。在 Doris 平台中，报表类查询时延一般在秒级以下。3、多维分析。
实时数仓-Doris ON ES
test_test111的专栏
11-22 5017
原理介绍 Doris通过创建外部表方式将Doris的分布式查询规划能力和ES(Elasticsearch)的全文检索能力相结合，提供更完善的OLAP分析场景解决方案，支持： ES中的多index分布式Join查询 Doris和ES中的表联合查询，更复杂的全文检索过滤 创建ES外表后，FE会请求建表指定的主机，获取所有节点的HTTP端口信息以及index的shard分布信息等，如果请求失败会顺序遍历host列表直至成功或完全失败。 执行查询时，会根据FE得到的...
大数据测试-hive、doris、clickhouse、mysql、elasticsearch、kudu、postgresql、sqlserver
全村的希望的博客
02-16 7594
大数据工作要接触很多的数据库和查询引擎 数据库： 1、hive：用于跑批，大批量，稳定，缺点：无update。用于数仓 2、doris：已更名starrocks。即时查询 可达千亿级别 3、clickhouse：亿级别 局限性：主表，单表支持能力强，join能力弱 4、mysql：开源免费，十万级别查询 5、elasticsearch：不支持join，有些函数不支持 优点是检索快 6、kudu：能支持update、千万级别。数据量大（百亿级别）性能问题明显 7、postgresql:关系型数据库，支持很多
Doris应用指南Doris
最新发布
05-06
Doris应用指南Doris
doris 0.15版本 安装包
01-26
已对doris 0.15版本进行了编译，可以直接使用此包进行 分发，修改配置文件，启动 如果需要积分或者校验码，可以去百度网盘中下载，地址如下： 链接：https://pan.baidu.com/s/1BA3ZRcfjj4-tVVZNUIw9Bw 提取码：...
Apache Doris 技术调研
09-26
两横分别是指支持半结构化数据，类似Elasticsearch的功能，以及拥抱云原生，如Snowflake和Databricks的架构，支持存算分离和大数据查询。 Doris 的优势包括实时和离线导入、高并发查询支持、MySQL协议兼容、多种...
doris-flink-connector
03-25
官网没有提供下载编译好的 connector ，需要自己编译，我将编译好的上传，供大家下载。 flink 版本1.13.5； <scala.version>2.12 <flink.version>1.13.5 <libthrift.version>0.13.0 <arrow.version>5.0.0 ...
Doris基础使用手册.pdf
06-21
Doris基础使用手册.pdf
Apache Doris 2.0.0 特性分析
howard_shooter的博客
08-17 1750
doris可以查询外部表，包括： Hive、Iceberg、Hudi、Elasticsearch、JDBC、Paimon 早期版本中，FE通过BE节点查询外部表，并且在BE节点内执行join、sort、agg等计算， 这些BE节点同时也负责doris的内部表的存储和计算， 新版本改造了BE节点，通过修改配置，它可以仅用于查询外表时的计算，内部表数据不会存到它上面， 这种BE称为“计算节点”，而既存储内部表数据又执行计算的BE节点称为“混合节点”。上面冷热分层的逻辑，也可以只作用于分区数据。
ClickHouse/Doris vs Elasticsearch谁更胜一筹？
禹鼎侯的博客
01-21 2224
我之前在ClickHouse vs Doris 读写性能比较一文中，初步做了一下ClickHouse和Doris的读写性能比较，但由于数据样本比较小，且未发挥出所有硬件资源的性能，因此进行了第二轮压测。新加入了Elasticsearch搜索引擎ClickHouse和Doris均采用多并发写入，发挥最大性能本轮测试得到了飞轮科技多位技术专家的指导，对Doris进行了一定的参数调优环境准备（硬件机器配置同上一篇文章）clickhouse集群节点IP分片编号副本编号ck9311ck941。
10分钟掌握Doris，超越Hive、Elasticsearch和PostgreSQL
u013643074的博客
12-26 656
介绍Apache Doris作为数据仓库的升级，提高数据处理效率和查询能力。
大数据之实时数据分析之Apache Doris数据库
企业实战系列集 ●●● https://ximenjianxue.blog.csdn.net
06-15 9552
Apache Doris是一款现代 MPP (Massively Parallel Processing大规模并行处理)的分布式 SQL 分析数据库，所谓分析数据库就是将其数据集分布在许多机器或节点上，以处理大量数据，采用 Apache 2.0认证授权。它的前身是原百度 Palo，由百度在2017年开源，2018年进入 Apache 孵化器。Apache Doris它可以提供亚秒级查询和高效的实时数据分析。凭借其分布式架构，将支持高达 10PB 级别的数据集，并且易于操作。................
Apache Doris (Incubating) 原理与实践
热门推荐
360技术
07-18 1万+
奇技指南近日，我们邀请到百度高级研发工程师李超勇前来360，分享百度开源数据库Apache Doris 的原理与实践。Apache Doris简介Doris（原百度 Pa...
【遇见Doris】4.13线下开发者沙龙分享--Doris主创团队
ucanuup_的博客
04-23 504
这次的Apache Doris (incubating) 0.10.0开发者沙龙在中关村国际会议中心圆满结束，各位嘉宾都带来了干货满满的分享。近期小...
从 Elasticsearch 到 Apache Doris，10 倍性价比的新一代日志存储分析平台
ytp552200ytp的博客
05-15 1614
从 Elasticsearch 到 Apache Doris，10 倍性价比的新一代日志存储分析平台
Apache Doris1.1.2(ES & MySQL)
一名假的程序猿
11-06 1077
Apache Doris ES MySQL
Apache Doris可以替换elasticsearch嘛
06-08
Apache Doris和Elasticsearch是两个不同的产品，各有其适用的场景和优势。Apache Doris是一个高性能的分布式SQL数据仓库，主要应用于OLAP场景，支持实时查询和交互式分析。而Elasticsearch则是一个全文搜索引擎，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值