ES+PrestoDB

最新推荐文章于 2023-09-19 15:09:11 发布
最新推荐文章于 2023-09-19 15:09:11 发布
阅读量921 收藏
点赞数
文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_37714753/article/details/118581897
版权

ES + PrestoDB

主题目的

  • Elastic Stack架构概要与应用场景
  • PrestoDB架构概要与应用场景
  • 搭建PrestoDB运行环境
  • ES与Presto混搭使用

Elastic Stack 架构概要

  • Beats以轻量化方式收集、解析和传输数据。

  • Elasticsearch 分布式、RESTful 风格的搜索和分析及存储。

  • Kibana 实现数据可视化。在 Elastic Stack 中进行导航。

  • Logstash 采集、转换、充实，然后输出。

    在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

Elastic Stack 应用场景

  • 全文检索
  • 日志分析
  • 指标监控
  • 大数据查询/分析/计算
  • 数据库查询加速
  • 机器学习

ElasticSearch的安装

略，已专门单独总结 ES集群搭建

Head插件谷歌浏览器版本的安装

  • 在谷歌浏览器的扩展程序里搜索“ElasticSearch Head”，安装添加插件即可。也可其他方式安装。
  • 在浏览器插件程序里点击ElasticSearch Head图标，在打开的页面里对启动的ES进行连接。

在这里插入图片描述

DBEAVER 数据库客户端管理器

DBEAVER 下载及安装

  • 官网下载最新版本 https://dbeaver.io/

  • 绿色版，解压即可，然后点击dbeaver.exe。

DBEAVER连接ES
  • 新建连接，找到ES，进行连接配置。如启动ES的虚拟机IP为192.168.173.129。则配置如下：

在这里插入图片描述

DBEAVER连接连接presto
  • 新建连接，找到prestoDB，进行连接配置，注意用户名默认输入presto。

在这里插入图片描述

PrestoDB

PrestoDB说明
  • Presto技术栈 PrestoDB 严格意义上不算数据库，因为不存储数据，更是文件查询器，可连接几十种数据源，数据MPP架构。如下图可以从ES中提取数据而不一定是HDFS。
PrestoDB架构概要

在这里插入图片描述

PrestoDB核心概念
  • coordinator 协调节点
  • worker 计算节点
  • connector 数据源连接器
  • mpp 大规模并行计算执行方式
PrestoDB应用场景
  • OLAP分析
  • Adhoc查询
  • Jdbc轻度并行查询
  • 支持多种数据源
presto下载安装：

官网下载：https://prestodb.io/download.html

安装及说明参考：（官网有详细的安装介绍）

https://blog.csdn.net/qq_33884969/article/details/108284558

https://zhuanlan.zhihu.com/p/111054577

准备工作。

CentOS7，JDK8。

创建prestodb文件夹

  • root用户下创建文件夹prestodb，并将prestodb的安装包如presto-server-0.253.tar.gz拖拽至此。

  • 解压presto-server-0.253.tar.gz

    [root@localhost prestodb]# tar -zxvf presto-server-0.253.tar.gz

  • 将解压后的文件夹改名

    [root@localhost prestodb]# mv presto-server-0.253 presto-8080

  • 创建日志文件路径及数据文件路径

    [root@localhost prestodb]# mkdir data-8080
[root@localhost prestodb]# mkdir logs-8080

  • 执行完毕如下：

[root@localhost prestodb]# ls
data-8080  logs-8080  presto-8080  presto-cli-0.253-executable.jar  presto-jdbc-0.253.jar  presto-server-0.253.tar.gz

此图为讲解时用到，内容仅供参考

在这里插入图片描述

PrestoDB配置文件的添加
新建etc文件夹
  • 在上一步解压后的文件夹presto-8080下新建etc文件夹
[root@localhost presto-8080]# mkdir etc
新建node.properties
  • 在etc文件夹下新建node.properties
[root@localhost etc]# vim node.properties

node.environment=production
node.id=data-8080
#数据目录
node.data-dir=/prestodb/data-8080
新建jvm.config
  • 在etc文件夹下新建jvm.config
[root@localhost etc]# vim jvm.config

注意 -Xmx的取值等，需时虚拟机配置而定。

-server
-Xmx4G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:+ExitOnOutOfMemoryError
#默认参数增加
-Djdk.attach.allowAttachSelf=true
新建 config.properties
  • 在etc文件夹下新建config.properties
[root@localhost etc]# config.properties

coordinator=true
#启用内部work职责
node-scheduler.include-coordinator=true
http-server.http.port=8080
query.max-memory=2GB
query.max-memory-per-node=1GB
query.max-total-memory-per-node=2GB
discovery-server.enabled=true
discovery.uri=http://localhost:8080
PrestoDB的启动
  • 切换到bin目录下
[root@localhost etc]# cd ..
[root@localhost presto-8080]# ls
bin  etc  lib  NOTICE  plugin  README.txt
[root@localhost presto-8080]# cd bin
[root@localhost bin]#
  • 执行启动命令 ./launcher run --verbose
[root@localhost bin]# ./launcher run --verbose
  • 启动成功后访问ui地址

http://192.168.173.135:8080/ui/

在这里插入图片描述

  • 利用DBeaver连接PrestoDB，上面已做介绍

在这里插入图片描述

  • 执行语句查看系统库下的schema

    show schemas from "system"

在这里插入图片描述

PrestoDB 连接ES

创建catalog文件夹

  • 在上一步创建的etc文件夹下创建catalog文件夹

    [root@localhost etc]# mkdir catalog

  • 进入catalog目录,配置ES数据源,以为例（其它数据源配置请参考官方文档）

    在catalog下创建 elasticsearch-7.11.1.properties

    [root@localhost catalog]# vim elasticsearch-7.11.1.properties

    connector.name=elasticsearch
elasticsearch.host=192.168.173.129
elasticsearch.port=9200
elasticsearch.default-schema-name=default

    [root@localhost catalog]# mv elasticsearch-7.11.1.properties es01.properties
重启PrestoDB
[root@localhost bin]# ./launcher run --verbose

执行多表查询

可以执行多表查询及字段不再大小写敏感

select a.flightnum, b.flightnum
from 
es01.default.kibana_sample_data_flights as a,
es01.default.kibana_sample_data_flights as b

在这里插入图片描述

the_Alix
关注
presto联合查询mysql和ES_presto-mysql、presto-elasticsearch、关联查询、java-presto-jdbc入门实战....
weixin_30905039的博客
01-27 893
本文简单记录一次实践使用过程，涉及presto-mysql,presto-elasticsearch，及关联查询1 下载安装 presto-0.228<1>下载服务端客户端相关jar官方文档：<2>安装：1> 解压tar -zxvf presto-server-0.228.tar.gz2>创建配置目录 etc etc/catalogcd presto-serv...
Siren Federate - Elasticsearch (join)增强插件初探
热门推荐
点火三周的专栏
11-12 1万+
文章目录用户对于es join的热切需求Siren Federate 插件带来的扩展能力Siren Federate的安装外部数据源的虚拟映射支持的外部数据源MySQL测试创建远程数据源步骤创建远程数据源对象Siren Federate join 与 Elasticsearch joinSiren Federate的分布式join半连接（semi join）内联接（inner join）Siren Federate的分布式join的特点及限制虚拟索引和普通索引的jion?总结 最近在Elastic官网blo
大数据查询引擎 PrestoDB
07-01 378
原文链接 http://www.oschina.net/p/facebook-presto Presto是Facebook最新研发的数据查询引擎，可对250PB以上的数据进行快速地交互式分析。据称该引擎的性能是 Hive 的 10 倍以上。 PrestoDB 是 Facebook 推出的一个大数据的分布式 SQL 查询引擎。可对从数 G 到数 P...
Prestodb概述及性能测试
valder fields
02-14 691
概述内容 （1）简介 （2）Hive and Prestodb, comparison of functionality （3）Hive and Prestodb, comparison of performance   （1）简介 Presto是由facebook开发的一个分布式SQL查询引擎， 它被设计为用来专门进行高速、实时的数据分析。它支持标准的ANSI SQL，包括复杂查...
presto-elasticsearch connector
weixin_34408624的博客
07-01 2026
elasticsearch搜索功能强劲，就是查询语法复杂，presto提供了非常open的plugin机制，我改进了下原有的presto-elasticsearch connector，现发布于github 功能改进点 自动加载elasticsearch schema 支持分片数据加载 predication pushdown,注意由于presto spi接口的原因，目前只支持and类型的过...
prestodb安装
07-10 686
1.建用户 [root@localhost ~]# useradd presto [root@localhost ~]# passwd presto 2.安装jdk8 [presto@localhost ~]$ cat .bash_profile 。。。。。。 export PATH=$PATH:$HOME/jdk1.8.0_291/bin [presto@localhost ~]$ 3.下载prestodbhttps://prestodb.io/ https://repo1.maven.o...
Presto全攻略-部署+ES和MySQL集成+Spring Boot集成使用+分页查询+SQL性能优化
影子是时光的心
11-06 5627
Presto使用说明 一、Presto介绍 1.1 Presto 官方文档地址 https://prestodb.io/docs/0.255/index.html 注：此为 Presto-0.255 版本官方文档，若想参考其它版本，将“255”换成对应的版本号即可。 1.2 Presto 架构示意 1.2.1 Presto采用典型的master-slave模型： coordinator(master)负责meta管理,worker管理，query的解析和调度； worker则负责计算和读写； disc
完美避坑！记一次Elasticsearch集群迁移架构实战
代码界的扛把子
08-24 585
当有新的带有数据角色节点加入集群或者离开集群，集群会默认启动自动平衡机制，索引分片会在数据节点之间平衡漂移，达到平均分布之后停止，频繁的集群节点加入或者下线会严重影响集群的IO，影响集群响应速度，所以要尽量避免此情况发生。其余的是备选管理节点，只是同步集群元数据信息，不参与协调管理。旧集群已经有5个管理节点，其中一个是工作主节点，其余4个是备选节点，因为Elastic版本是6.5.X，原有的集群脑裂因子设置是3=（5/2+1），当启动新集群的管理节点，若网络出现短暂通信问题，集群脑裂因子设置会无效。
完美避坑记一次Elasticsearch集群迁移架构实战
代码界的扛把子
05-15 352
当有新的带有数据角色节点加入集群或者离开集群，集群会默认启动自动平衡机制，索引分片会在数据节点之间平衡漂移，达到平均分布之后停止，频繁的集群节点加入或者下线会严重影响集群的IO，影响集群响应速度，所以要尽量避免此情况发生。其余的是备选管理节点，只是同步集群元数据信息，不参与协调管理。旧集群已经有5个管理节点，其中一个是工作主节点，其余4个是备选节点，因为Elastic版本是6.5.X，原有的集群脑裂因子设置是3=（5/2+1），当启动新集群的管理节点，若网络出现短暂通信问题，集群脑裂因子设置会无效。
presto配置mysql,ES，clickhose,redis踩坑
MRzhenglea的博客
05-06 1339
https://prestodb.io/docs/current/connector/kafka-tutorial.html //根据参考文档配置，简单的不说了 连接redis 面临的问题是 .json文件映射问题 首先只能映射String和hash 第二hash的存放规则 你要 hset 数据库名：表名：test1 age 1 这样存才能映射（就是说 json映射文件中 ，key的值是 数据库名：表名：test1 value的值是 age 1）hash说实话就是<key,map>类型，
OSTC2015-京东吕信-prestoDB在京东的应用实践 - V3.0
09-22
主题：PrestoDB在京东的应用实践 演讲人：吕信，京东商城集团运维部数据库工程师 演讲介绍：PrestoDB的基础架构和原理、PrestoDB与Hive在实际业务中的性能对比、京东集团对PrestoDB所做的改造、优化以及PrestoDB在京东的应用实践。
prestoDB在京东的应用实践
12-11
prestoDB在京东的应用实践
初识PB级数据分析利器Prestodb
大数据星球-浪尖
12-26 6366
初始PB级数据分析利器Prestodb什么是prestodbprestodb整体架构物理执行计划什么是prestodbprestodb,是facebook开源的一款sql on hadoop系统，是facebook的工程师对hive的查询速度忍无可忍后，下决心开发的一款高性能查询引擎，基于java8编写，其基于page的pipeline技术，使其具有高效的交互式查询性能，并可以高效的控制GC；而其
presto联合查询mysql和ES_presto-mysql/elasticsearch6.0.0安装部署测试，异种数据源关联查询入门实践...
weixin_39901404的博客
01-27 523
本文简单记录一次实践使用过程，涉及presto-mysql,presto-elasticsearch，文中参数未做注释，请参考官方文档，希望能帮到大家1 下载安装 presto-0.228<1>下载服务端客户端相关jar<2>安装：1> 解压tar -zxvf presto-server-0.228.tar.gz2>创建配置目录 etc etc/catalog...
PrestoSQL, PrestoDB 和 Trino
最新发布
云满笔记
09-19 1241
PrestoSQL, PrestoDB 和 Trino
es 查询总数_深入理解Presto中的Group By查询
weixin_39603622的博客
11-27 695
在Presto中的分组聚合查询流程中介绍了Presto中的HashAgg的大体流程，本文对Presto中的Agg再次进行更进一步的介绍。Group By操作是分析型数据库中非常重要的一个操作，在分布式计算系统中又有着特殊的实现，这和数据入库后的存储方式有着非常大的关系，首先来看比较流程的shared disk存储架构，这种架构比较典型和流行的就是HDFS，在MapReduce框架下，groupby...
prestodb安装配置 —参考prestodb官方文档配置
wulantian的专栏
02-26 8837
# prestodb安装配置 —参考prestodb官方文档配置 # by coco # 20160225 目前prestodb最新版本已经到了0.139，但是官方给出的配置文档还是0.100的，所以就选取了0.100版本的进行配置测试。 1. 安装环境 操作系统：CentOS release 6.2 (Final) hadoop集群：CDH-5.5.1-1 JDK版
（四）PrestoDB源码解析(一)
Sunhighlight的博客
06-15 1654
presto-cli模块 概要 该模块主要负责查询SQL的客户端功能，利用RESTful请求实现SQL语句的查询。 PrestoDB可以通过presto-cli客户端和JDBC连接这两种方法实现SQL的查询。 presto-cli模块查询流程：通过用户输入SQL将语句组装成一个RESTful请求，发送给Coordinator执行该SQL,并启动查询方法，分批查询结果，不断返回给客户端并在前端显示...
linux安装presto，客户端连接Elasticsearch
qq_33884969的博客
08-28 1849
presto 前言：不同版本的presto，连接数据源配置属性有区别且不兼容。目前版本的 Presto 也没有提供完整的具备分页功能的 Limit 语法, 所以如果业务上有分页需求, 就只能在业务层拿到数据后自己做分页功能, 但相比业务层实现, 由 Presto 提供不仅仅在于减少数据平台的开发成本, 还在于更少的数据传输和内存压力等优势。 例如： 0.228 （没有host、port的配置项） connector.name=elasticsearch elasticsearch.default-schem
ElasticSearch+SpringBoot实现通用搜索系统搭建教程
资源摘要信息:"基于ElasticSearch+RestHighLevelClient+SpringBoot搭建的通用搜索系统" **知识点一：ElasticSearch的版本与特性** 在本节中，我们将介绍ElasticSearch的版本7.3.2的特性及其在构建通用搜索系统中的...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值