Trino
关注
分享
扫一扫
文章平均质量分 80
Presto (Distributed SQL Query Engine for Big Data) 是一个 <font color="#FF0000">开源</font> 的 分布式 SQL查询引擎，用户查询分布在一个或多个异构数据源上的大型数据集，数据量支持 GB 到 PB
@TangXin
路漫漫其修远兮，吾将上下而求索。
展开
-
Trino学习总结
文章目录1.Trino与Spark SQL的区别分析2.Trino与Spark SQL解析过程对比3.Trino基本概念4.Trino架构5.Trino SQL执行流程6.Trino Task执行流程相关参考：1.Trino与Spark SQL的区别分析2.Trino与Spark SQL解析过程对比TrinoSpark SQL3.Trino基本概念4.Trino架构5.Trino SQL执行流程6.Trino Task执行流程任务调度：1.分配多少个任务？2.每原创 2021-01-21 17:40:57 · 11059 阅读 · 4 评论 -
Trino(Presto345) on Hive知识总结及TPC-DS测试
文章目录1.PrestoSQL更名Trino2.PrestoSQL-345 与 Hive-3.1.0 的操作2.1 Presto连接Hive配置2.2 基础配置介绍2.2.1 在 Ambari 集群中操作 Hive 组件2.2.2 在 Presto 集群客户端操作2.2.3 Presto支持Hive的分区表操作2.3 优化，提高查询性能2.4 分区操作2.5 特殊列2.6 特殊表2.7 操作示例 Examples2.7.1 create schema（schema相当于MySQL中的数据库名称）2.7.2原创 2020-12-31 14:04:31 · 8047 阅读 · 18 评论 -
PrestoSQL-345集群连接TPC-DS
文章目录1.配置2.查询1.配置cd /opt/presto-server-345vim etc/catalog/tpcds.propertiesconnector.name=tpcdsbin/launcher restart2.查询原创 2020-11-19 17:36:26 · 606 阅读 · 5 评论 -
PrestoSQL-345可视化Client yanagishima22.0部署
文章目录1.介绍2.安装 Gradle3.安装 Node.js4.下载源码编译5.修改配置文件6.启动7.访问1.介绍yanagishima 是 presto 的一个客户端 web 工具。在 PrestoSQL 集群的 manager.presto 节点进行编译，编译环境：jdk11。CentOS7环境下部署PrestoSQL-345版本三节点集群详细过程2.安装 Gradle# 注意：该步骤可以跳过，因为在编译yanagishima的过程中，会下载 gradle。cd /opt# 如果下载原创 2020-11-19 16:14:26 · 1309 阅读 · 15 评论 -
PrestoSQL-345集群连接Elasticsearch7.3.2
文章目录1.ES集群环境部署2.Presto 配置3.ES 中导入数据4.Presto 执行操作1.ES集群环境部署ES集群正常运行。2.Presto 配置vim etc/catalog/elasticsearch.propertiesconnector.name=elasticsearchelasticsearch.host=manager93.bigdataelasticsearch.port=9200elasticsearch.default-schema-name=elastics原创 2020-11-18 10:17:24 · 1501 阅读 · 8 评论 -
PrestoSQL-345集群连接Phoenix5.0.0-HBase2.0.0-未成功
文章目录1.Phoenix/HBase服务启动2.Presto 配置1.Phoenix/HBase服务启动Ambari部署HBase组件之后，可以安装 PHOENIX QUERY 服务器。把 hbase-site.xml 从 Ambari 集群下载到 Presto 集群节点 /opt/hadoopConfig/hbase-site.xml。2.Presto 配置vim etc/catalog/phoenix.propertiesconnector.name=phoenixphoenix.co原创 2020-11-18 09:25:40 · 922 阅读 · 3 评论 -
PrestoSQL-345集群连接Redis5.0.5
文章目录1.Redis服务启动2.Presto 配置3.Redis操作4.Presto 查询1.Redis服务启动PrestoSQL-345版本 不支持Redis集群 模式。2.Presto 配置只支持 Redis string 和 hash 类型；set 和 zset 不支持。presto connector 支持 Redis 2.8.0 及以上版本。vim etc/catalog/redis.propertiesconnector.name=redisredis.table-names原创 2020-11-17 15:42:06 · 586 阅读 · 0 评论 -
PrestoSQL-345集群连接Kafka2.2.1
文章目录1.Ambari 集群环境2.Kafka 导入数据3.Presto 配置4.执行数据查询操作5.添加 topic 描述文件6.将kafka topic中所有值映射到列上1.Ambari 集群环境部署Kafka组件，zookeeper组件，并启动。2.Kafka 导入数据在Ambari集群节点执行：下载：curl -o kafka-tpch https://repo1.maven.org/maven2/de/softwareforge/kafka_tpch_0811/1.0/kafka_t原创 2020-11-17 14:24:47 · 800 阅读 · 0 评论 -
PrestoSQL-345集群连接Hive3.1.0
文章目录1.概述2.支持的文件类型3.Avro类型Metastore配置4.支持表类型5.配置6.操作6.1 hive6.2 Presto1.概述Presto 只使用：hive中的 data 和 metadata（hive Metastore）。不使用HiveQL或Hive执行环境的任何部分。2.支持的文件类型Hive connector 支持以下文件类型：ORCParquetAvroRCText (RCFile using ColumnarSerDe)RCBinary (RCFile原创 2020-11-17 09:34:08 · 1101 阅读 · 0 评论 -
PrestoSQL-345集群连接MySQL5.7
文章目录1.MySQL connector 配置2.重启 Presto server3.查询 MySQL4.支持聚合函数下推5.不支持PrestoSQL 集群环境搭建，请参考：CentOS7环境下部署PrestoSQL-345版本三节点集群详细过程1.MySQL connector 配置vim /opt/presto-server-345/etc/catalog/mysql.propertiesconnector.name=mysqlconnection-url=jdbc:mysql://1原创 2020-11-16 16:47:24 · 639 阅读 · 0 评论 -
CentOS7环境下部署PrestoSQL-345版本三节点集群详细过程
文章目录1.环境设置1.1 创建用户（所有节点）1.2 关闭防火墙（所有节点）1.3 设置hosts（所有节点）2.设置用户资源（所有节点）3.安装jdk（所有节点）4.安装presto-server（所有节点）5.配置5.1 创建日志保存目录（所有节点）5.2 创建etc用于存放配置文件（所有节点）5.3 配置Node（所有节点）5.4 配置JVM（所有节点）5.5 配置Config（节点角色不同，配置不同）5.6 配置日志级别（所有节点）6.客户端下载（自定义节点）7.启动（所有节点）1.环境设置原创 2020-11-13 19:47:51 · 1765 阅读 · 2 评论