【解决】hive跑批后presto未同步源数据的问题

最新推荐文章于 2023-09-28 09:45:15 发布
最新推荐文章于 2023-09-28 09:45:15 发布
阅读量3.4k 收藏 1
点赞数 1
分类专栏： Hive 文章标签： presto
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kwu_ganymede/article/details/69398114
版权

【解决】hive跑批后presto未同步源数据的问题


hive在跑批完，新增的分区，在presto无法立即获取。


解决方法配置

etc/catalog/hive.properties

增加两行

hive.metastore-cache-ttl=0s
hive.metastore-refresh-interval=1s


kwu_ganymede
关注
专栏目录
PrestoHive整合原理与代码实例讲解
程序员光剑
05-30 1075
Presto-Hive整合原理与代码实例讲解 1.背景介绍 在大数据时代,数据分析和处理已经成为企业和组织的核心需求之一。Apache Hive作为建立在Hadoop之上的数据仓库工具,为结构化数据的查询和分析提供了强大的SQL支持。然而,随着数据量的不断增长和查询需求的复杂性提
【SQL】hive和presto的常规操作（一）
weixin_44411175的博客
10-29 1315
hive和presto的常规操作sql语句，从性能、字段类型转换、日期格式转换、解析url，这4个方面展示他们的区别...
深入探讨 Presto 中的缓存
最新发布
09-28 797
Presto是一种流行的开源分布式SQL引擎，使组织能够在多个数据源上大规模运行交互式分析查询。缓存是一种典型的提高 Presto 查询性能的优化技术。它为 Presto 平台提供了显着的性能和效率改进。
presto和hive的使用区别
11-27
Hive是把一个查询转化成多个MapReduce任务，然后一个接一个执行。执行的中间结果通过对磁盘的读写来同步。然而，Presto没有使用MapReduce，它是通过一个定制的查询和执行引擎来完成的。它的所有的查询处理是在内存中，这也是它的性能很高的一个主要原因。
使用presto查询同步到hive的hudi数据
从大数据到人工智能的博客
09-27 1980
要完成如下任务，请确保已经使用其他方法将hudi数据同步到hive中。 如果没有同步hive数据，可参考文章：使用flink SQL Client将mysql数据写入到hudi并同步到hive，并且，以下内容中的presto查询，即是基于上述参考文章所同步的hive表进行查询的，建议可先阅读上述参考文章。 以下presto安装以单节点为例。 presto 0.261下载 下载presto-server和presto-cli mkdir /data mkdir /data/presto-cli cd /dat
tableau查询出来的数据和presto hive不一致
weixin_43792309的博客
11-21 836
为什么同一段代码在tableau跑出来的结果跟presto不一样 字段的名字 是 date time这样的比较有争议的名字，可以尝试换成 select cast(time as varchar(20)) as date1 time最好用一下引号，限制一下长度
表结构更改后或新增加数据后同步到表中
weixin_33851429的博客
08-14 154
select 'insert into mtx_system_module(module_id,module_code,module_name,module_note,create_date,version)values('+cast(moduleid as varchar(10))+','''+ObjectID+''','''+Name+''','''+isnull(Note,'')+''',N...
超详细CDH-5.13.1+Presto-0.216完全离线部署
Fantasy
09-20 678
​ CDH-5.13.1完全离线安装 安装准备 安装环境 | 系统 | vCPU | 内存/GB | 系统盘/GB | 数据盘/GB | JDK | CDH | Presto | | — | — | — | — | — | — | — | — | | CentOS-7.4 | 16 | 32 | 60GB | 500GB | jdk1.8.0_261 | 5.13.1 | 0.216 | 集群规划 | IP | 主机名 | 角色 | | — | — | — | | 10.0.0.1 | cdh01
presto集成Kerberos的hive
duanbaba的博客
06-23 599
目录 安装 下载安装包 解压presto-server包 创建etc目录 在etc目录创建需要配置文件 1. 创建config.propertie 2. 创建jvm.config 3. 创建log.properties 4. 创建node.properties 在etc目录下创建catlog目录 在catalog目录下配置数据源 1. 配置mysql数据源 2. 配置hive数据源（没权限） 客户端配置 测试 集成kerberos 生成persto主体
Presto知识点总结
默主归沙的博客
03-27 1420
一、Presto的概述 1.1 Presto的简介 官网：https://prestodb.io/ Presto是facebook的一个开源，并完全基于内存的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。presto的架构由关系型数据库的架构演化而来。presto之所以能在各个内存计算型数据库中脱颖而出，在于以下几点： 具有良好的清晰的体系架构，是一个能够独立运行的系统，不依赖于任何其他外部系统。 例如调度，presto自身提供了对集群的监控，可以根据监控信息完成调度。
Presto查询优化（数据分析）
记录
07-06 2693
用户： 1、大表查询将数据拆分（表数据非实时） （1）如公司内部有人直接上亿甚至几十亿条数据的表（或者几百TB级别的表）直接进行报表制作，这种情况，建议搞个定时任务，每天把要统计的数据放到小表里去，报表制作只查小表。 （2）报表数据来自表某个为json的大字段，用户直接用json解析函数获取，这种情况也建议将字段拆分平铺成一张表在进行解析。 2、Hive表小文件比较多，导致查询慢。把hive表文件合并性能会大大提高。 3、优化sql。 系统： 1、提供缓存设置，诸如T+1的数据，用户可以设
RaptorX: 将 Presto 性能提升十倍
过往记忆大数据
12-05 3143
存储计算分离是整个行业的发展趋势，这种架构的存储和计算可以各自独立发展，它帮助云提供商降低成本。Presto 原生就支持这样的架构，数据可以从 Presto 服务器之外的远程存储节点传输过...
Hive安装配置指北（含Hive Metastore详解）
mojolang
05-06 1761
本文介绍Hive安装配置的整个过程，包括MySQL、Hive及Metastore的安装配置，并分析了Metastore三种配置方式的区别。网上有很多介绍Hive Metastore三种配置方式的文章，但是理解都不对，给读者造成了很多误导。本人详细阅读Apache和CDH官方文档中关于Hive Metastore的部分，并经过实践，终于填好各种坑，安装配置成功，遂记录下本文，供大家参考。 1.
Presto
浪子huang
12-13 917
Presto 1、简介 Hadoop提供了大数据存储和计算一套解决方案，完美地解决了大数据的存储和计算问题。但是Hadoop提供的Map-Reduce计算框架，适用于大数据量的离线和批量计算，它关注的吞吐量不是计算效率，在大数据量快速实时Ad-Hoc查询计算上表现很不友好。继Hive后，facebook公司在2012年开始开发Presto，与2013年正式开源，给Ad-Hoc查询带来了一股清凉的春...
Hive 优化参数
热门推荐
知识的力量
03-13 1万+
HIVE优化参数 hive> set; _hive.hdfs.session.path=/tmp/hive/root/bd4f450f-2f3f-460d-8539-5ee573701e59 _hive.local.session.path=/tmp/root/bd4f450f-2f3f-460d-8539-5ee573701e59 _hive.tmp_table_space=/t
Hive Metastore 初探
星.云计算
07-30 890
1. What is Hive Metastore? The Hive metastore service stores the metadata for Hive tables and partitions in arelational database, and provides clients (including Hive) access to thisinformation via...
Hive Metastore原理及配置
代码人的自白
07-04 6914
一、Hive存储概念 1、Hive用户接口： 命令行接口（CLI）:以命令行的形式输入SQL语句进行数据数据操作 Web界面：通过Web方式进行访问。　　　　　 Hive的远程服务方式：通过JDBC等方式进行访问。　　 2、元数据存储 　将元数据存储在关系数据库中（MySql、Derby），元数据包括表的属性、表的名称、表的列、分区及其属性以及表数据所在的目录等。 3、解...
如何挖掘闲置硬件资源的潜力-PrestoDB缓存加速实践小结
Alluxio的博客
05-09 875
以前使用PrestoSql的时候，遇到过同步缓存的线程死锁，原因是同步元数据的代码里有获取其他元数据实体缓存的逻辑，比如loadPartitionByName会先调用getTable方法，如果表缓存过期了且同步线程用满了就可能发生死锁。实现基于guava cache，将hive metastore的表，分区等元数据信息缓存在内存中，通过刷新时间，过期时间和缓存实体的上限数的配置来控制数据的有效性和容量上限。所以我们需要严格保证元数据有效性的集群，比如做批任务数据质量校验的，就不开启元数据缓存。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值