使用Presto实现Hive动态分区

置顶 已于 2022-03-15 16:41:29 修改
阅读量1.4k 收藏
点赞数
分类专栏： 大数据前沿技术 大数据动物园 Presto 文章标签： hive presto
于 2021-09-01 14:37:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Dr_Guo/article/details/120039019
版权

Presto和Impala、Spark SQL都是SQL查询引擎，也都是基于内存运算。但是Presto支持多种数据源，比如Hive、TiDB、Redis、Kafka、ES、Oracle等等，可以跨数据源连表查，既快又方便。
在这里插入图片描述
不过多介绍了，下面进入正题。
Hive 动态分区使用方法见下：

set hive.exec.dynamic.partition=true;  #开启动态分区，默认是false
set hive
了解本专栏 订阅专栏 解锁全文 超级会员免费看
光于前裕于后
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 5
    评论
专栏目录
订阅专栏
【大数据】通过 docker-compose 快速部署 Presto（Trino）保姆级教程
匠人精神，持之以恒！
05-14 1178
Presto是一个快速的分布式查询引擎，最初由Facebook开发，目前归属于 Presto Software Foundation（由 Facebook、Teradata 和其他公司共同支持）。Presto的核心特点是支持远程数据访问，可以查询包括Hadoop、Cassandra、Relational databases、NoSQL databases在内的多个数据源。Presto支持标准的SQL语法，同时提供了一些扩展功能，如分布式查询、动态分区、自定义聚合和分析函数等。
Presto架构及原理、安装及部署
weixin_33701564的博客
01-27 1851
2019独角兽企业重金招聘Python工程师标准>>> ...
Presto简介、部署、原理和使用介绍
最新发布
wt334502157的博客
02-28 1665
​ Presto是由Facebook开发的一款开源的分布式SQL查询引擎，最初于2012年发布，并在2013年成为Apache项目的一部分；Presto 作为现在在企业中流行使用的即席查询框架，已经在不同的领域得到了越来越多的应用。Presto官方网站：https://prestosql.io/​ Presto被广泛用作即席查询引擎，用户可以使用标准的SQL语句向Presto提交查询，并且能够在几秒钟或更短的时间内获取结果。
【转】Presto Split 详解
见端而知末
02-26 2827
文章目录 Split加载TableScanNode中获取TableLayoutConnectorSplitManager通用接口使用BackgroundHiveSplitLoader加载SplitsloadSplits()加载splitsloadPartition()加载pa...
大数据技术之-presto
我睡觉的时候不困
08-04 4597
Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节Presto的设计和编写完全是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题。注意：虽然Presto可以解析SQL，但它不是一个标准的数据库。不是MySQL、Oracle的替代品，也不能用来处理在线事务（OLTP）...
Presto的优化
Markble
09-27 6015
目录 一、Presto优化之数据存储 二、Presto优化之查询SQL 三、注意事项 一、Presto优化之数据存储 -- 合理设置分区 与Hive类似，Presto会根据元数据信息读取分区数据，合理的分区能减少Presto数据读取量，提升查询性能。 -- 使用列式存储 Presto对ORC文件读取做了特定优化，因此在Hive中创建Presto使用的表时，建议采用ORC格式存储。相对于Parquet，Presto对ORC支持更好。 -- 使用压缩 数据压缩可以减少节点间数据传输对IO带.
Trino（Presto）插入hive表，小文件优化使用到的session参数
SKY_02的博客
10-05 1800
Trino（Presto）插入hive表，小文件优化使用到的session参数
Presto查询Hive表最大分区数的两种方式
欲望以提升热忱 毅力以磨平高山
08-15 4321
环境说明 PRESTO VERSION 0.207 查询方式 使用SQL直接查询 ---- 客户端查询 presto --server localhost:8888 --catalog hive --schema default select max(pt) FROM hive.ods."ods_parents_df$partitions"; _col0 ------------ 2020-08-14 (1 row) ----JDBC查询 select max(pt) FROM ods."od
大数据之Presto
weixin_47884711的博客
03-18 402
大数据之Presto 文章目录大数据之Presto第1章 Presto1.1 Presto简介1.1.1 Presto概念1.1.2 Presto架构1.1.3 Presto优缺点1.1.4 Presto、Impala性能比较1.2 Presto安装1.2.1 Presto Server安装1.2.2 Presto命令行Client安装1.2.3 Presto可视化Client安装1.3 Presto优化之数据存储1.3.1 合理设置分区1.3.2 使用列式存储1.3.3 使用压缩1.4 Presto优化之
presto和hive的使用区别
11-27
Hive是把一个查询转化成多个MapReduce任务，然后一个接一个执行。...然而，Presto没有使用MapReduce，它是通过一个定制的查询和执行引擎来完成的。它的所有的查询处理是在内存中，这也是它的性能很高的一个主要原因。
hive 和 presto sql的对比
04-21
hive 和 presto sql的对比， 常见函数的写法区别和坑点
yanagishima:Trino，Presto，Hive，Elasticsearch，SparkSQL的Web UI
04-28
Yanagishima是Presto，Hive，Elasticsearch和Spark的开源Web应用程序。 访问以获取更多信息。 建造要求 Java 11 Node.js 快速开始 git clone https://github.com/yanagishima/yanagishima.git cd yanagishima git ...
presto-hive-0.67.zip
10-12
presto.zip,presto-hive连接presto分布式大数据sql查询引擎的官方主页
php presto 操作 hive 类
08-23
用法： $presto = new PrestoClient(); $data = $presto->querySql('select count(user_id) from xx.xx'); //库名.表名 var_dump($data);die();
MapReduce Input Split（输入分/切片）详解
热门推荐
光于前裕于后的博客
04-14 3万+
看了很多博客，感觉没有一个说的很清楚，所以我来整理一下。 Hadoop 2.x默认的block大小是128MB，Hadoop 1.x默认的block大小是64MB，可以在hdfs-site.xml中设置dfs.block.size，注意单位是byte。 分片大小范围可以在mapred-site.xml中设置，mapred.min.split.size mapred.max.split.size，minSplitSize大小默认为1B，maxSplitSize大小默认为Long.MAX_VALUE = 92
Zookeeper启动失败（java.net.BindException: 地址已在使用）
光于前裕于后的博客
06-13 3万+
[hadoop@DEV22 ~]$ opt/zookeeper-3.4.8/bin/zkServer.sh start ZooKeeper JMX enabled by default Using config: /home/hadoop/opt/zookeeper-3.4.8/bin/../conf/zoo.cfg Starting zookeeper ... STARTED [hadoop@D
Hive差集运算详解
光于前裕于后的博客
04-18 3万+
我们先来了解一下什么是差集 差集定义：一般地,设A,B是两个集合,由所有属于A且不属于B的元素组成的集合,叫做集合A减集合B(或集合A与集合B之差),类似地,对于集合A.B,我们把集合{x/x∈A,且x￠B}叫做A与B的差集,记作A－B记作A－B(或A\B),即A－B＝{x|x∈A,且x ￠B}(或A\B＝{x|x∈A,且x ￠B} B－A＝{x/x∈B且x￠A} 叫做B与A的差集
Hadoop与MongoDB整合（Hive篇）
光于前裕于后的博客
06-17 2万+
1.背景公司希望使用MongoDB作为后端业务数据库，使用Hadoop平台作为数据平台。最开始是先把数据从MongoDB导出来，然后传到HDFS，然后用Hive/MR处理。我感觉这也太麻烦了，现在不可能没有人想到这个问题，于是就搜了一下，结果真找到一个MongoDB Connector for Hadoop2.MongoDB简介–摘自邹贵金的《mongodb》一书NoSQL数据库与传统的关系型数据库
Flume常见错误整理（持续更新ing...）
光于前裕于后的博客
08-12 2万+
进来看！
presto支持动态分区吗
06-09
在Presto中，可以使用INSERT语句插入数据到表中的动态分区。例如，以下示例将数据插入到名为my_table的表中，其中日期作为分区键： ``` INSERT INTO my_table SELECT * FROM my_temp_table WHERE date = '2021-10-...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

光于前裕于后

您的打赏将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值