Presto随笔

最新推荐文章于 2024-06-11 18:58:27 发布
最新推荐文章于 2024-06-11 18:58:27 发布
阅读量4k 收藏 5
点赞数
分类专栏： 数据库 文章标签： presto 大数据分析 大数据工具 hive 数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xinjianwuhen1991/article/details/51511571
版权

解决了什么问题

快读的交互式查询

presto 和hive到底什么关系

http://www.mutouxiaogui.cn/blog/?p=395
和hive在一个层级，都是基于hdfs的。但是presto可以借助hive的元信息找到hdfs上的节点。
presto现在已经可以连接 MySQL postgre hive等了

presto为什么那么快

http://tech.meituan.com/presto.html
计算时数据不落地

presto注意事项

http://chuansong.me/n/2311397
http://prestodb-china.com/docs/current/migration/from-hive.html

hive并不h是严格遵循sql92标准，hiveql和presto有很多区别，尤其是表连接上的区别，导致两者之间的sql不通用

presto 不足

  1. presto的分析函数不足，这里再次感叹hive函数的丰富，甚至包含了xpath这种对半结构化语言脚本进行解析的函数。
  2. 还有一个hive中的表格生成函数
    .数组拆分成多行：explode
    Map拆分成多行：explode
    还有其对于一个单元格用都好隔开分成多行这种情况官网上说用cross join
    但是其类型是array 但是现实就是我们的数据经常是 xx，yy，zz类型。
    这一点也让我
酒中仙1225
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Presto与Hive的优缺点比较
禅与计算机程序设计艺术
06-15 413
Hadoop作为大数据领域的重要基础设施,为大数据存储和分析提供了强大的支持。Hadoop生态圈包含了一系列开源工具和框架,如HDFS分布式文件系统、MapReduce分布式计算框架、Hive数据仓库工具、HBase列式数据库等。这些工具相互配合,构建了一个完整的大数据处理平台。
presto入门（单机部署和简单使用）
yqd的博客
04-10 1562
发送
Presto入门介绍
热门推荐
cakexuexi的专栏
06-26 4万+
1，Presto基本认识1.1 定义Presto是一个分布式的查询引擎，本身并不存储数据，但是可以接入多种数据源，并且支持跨数据源的级联查询。Presto是一个OLAP的工具，擅长对海量数据进行复杂的分析；但是对于OLTP场景，并不是Presto所擅长，所以不要把Presto当做数据库来使用。和大家熟悉的Mysql相比：首先Mysql是一个数据库，具有存储和计算分析能力，而Presto只有计算分析...
presto-python-client:Presto 的 Python DB-API 客户端
05-30
介绍 这个包提供了一个客户端接口来查询分布式 SQL 引擎。 它支持 Python 2.7、3.5、3.6、3.7 和 pypy。 安装 $ pip install presto-python-client 快速开始 使用DBAPI接口查询Presto： import prestodb conn = prestodb . dbapi . connect ( host = 'localhost' , port = 8080 , user = 'the-user' , catalog = 'the-catalog' , schema = 'the-schema' , ) cur = conn . cursor () cur . execute ( 'SELECT * FROM system.runtime.nodes' ) rows = cur .
pypresto:python中的prestodb客户端协议实现
04-28
PyPresto PyPresto是客户端协议实现 。 Presto是用于大数据的分布式SQL查询引擎。 该客户端实现异步调用，并对结果集进行基本配置。 很抱歉缺少文档，以后我会尝试制作一个更全面的版本。 要求 Python 2.7或更高版本 安装 pip install pypresto (DID NOT PUT pip YET) 或者，从源目录执行 python setup.py install Client（）参数 hostnames A list of optional hostnames to connect to, currently a random hostname is used from the list per query port Port to connect to (default: 8080) user
深入理解Presto(1) : Presto的架构
马云雷的专栏
10-12 8431
简介Presto是一个facebook开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。presto的架构由关系型数据库的架构演化而来。presto之所以能在各个内存计算型数据库中脱颖而出，在于以下几点： 清晰的架构，是一个能够独立运行的系统，不依赖于任何其他外部系统。例如调度，presto自身提供了对集群的监控，可以根据监控信息完成调度。 简单的数据结构，列式存储，逻辑行
深入理解Presto
02-24
Presto是一个facebook开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。presto的架构由关系型数据库的架构演化而来。presto之所以能在各个内存计算型数据库中脱颖而出，在于以下几点：清晰的...
presto-oracle
04-01
Presto OraclePlugin This is a plugin for Presto that allow you to use Oracle Jdbc Connection Presto-Connectors Member Connection Configuration Create new properties file inside etc/catalog dir: ...
presto_jdbc
04-04
【Presto JDBC 快速入门】 Presto是一个开源的分布式SQL查询引擎，设计用于处理大规模的数据。它适用于交互式分析，支持多种数据源，包括Hive、Cassandra、MySQL等。Presto JDBC（Java Database Connectivity）是...
presto热加载
09-06
presto热加载catalog下的配置，无须重启presto，实时更新配置
presto和hive的使用区别
11-27
Hive是把一个查询转化成多个MapReduce任务，然后一个接一个执行。执行的中间结果通过对磁盘的读写来同步。然而，Presto没有使用MapReduce，它是通过一个定制的查询和执行引擎来完成的。它的所有的查询处理是在内存中，这也是它的性能很高的一个主要原因。
python连接presto
前方的路在刚开始
08-24 732
presto-python-client（官方版本，值得信赖）spark查询30G数据要6分钟（3台机器）内存差点搞爆。presto查询只用了30秒，只用了6G内存。
【Presto基础】01 基础知识
baidu_34170531的博客
07-09 198
目录 1. 概述 1.1. Trino 1.1.1. 概述 2. 数据类型 2.1. 日期类型 2.1.1. 类型 2.1.2. 日期函数 3. 开发 3.1. 类型 3.1.1. 原生容器类型（Native container type） 3.2. 自定义函数 3.2.1. 注解 3.2.2. 自定义标量函数 1. 概述 参考: 深入浅出Presto：PB级OLAP引擎–知乎 Trino学习总结–SparkSQL比较 1.1. Trino 1.1.1
Presto数据查询引擎入门分享（PPT+Q&A）
Coding Space
03-23 984
PPT的内容是去年在部门内部做的关于Presto入门分享，主要涉及的内容如下图所示： 由于CSDN不支持嵌入iframe，所以具体的内容放在腾讯文档上面了： Presto数据查询引擎入门分享 Presto中有很多的基本概念，只有理解好这些基本概念，我们才能更好的理解Presto，下面是我梳理的各种概念的脑图： 接下来的部分是关于当时分享后的一些Q&A： 1.Presto的task是...
presto/trino 入门介绍实战
EverythingAtOnce的博客
01-15 2029
facebook开源的prestodb是一个分布式的sql引擎，支持多种数据源接入，采用统一的sql语句进行查询。内部实现也类似spark，将这个查询分为分析、优化、阶段划分、执行这些步骤。Presto是由Facebook开发的分布式sql查询引擎，用来进行高速、实时的数据查询Presto的产生是为了解决Hive的MapReduce模型太慢且不能通过BI等工具展现HDFS的问题Presto是一个计算引擎，它不存储数据，通过丰富的connector获取第三方服务的数据，并支持扩展。
Python使用presto
118路司机的博客
06-23 3377
1 使用pyhive 官网: https://github.com/dropbox/PyHive pip install pyhive ​import pandas as pd from sqlalchemy.engine import create_engine from pyhive import hive engine = create_engine('presto://$ip:$port/$catalog') # 准备语句 sql = "select * from $schema.$table"
Presto基础知识
最新发布
Yuhang.Pei 's blog
06-11 855
引入Presto缓存之前 BackgroundHiveSplitLoader 使用底层的文件系统直接进行数据的读写；引入Presto缓存机制之后，底层的文件系统被被CachingFileSystem 代理一层CachingFileSystem 有两个子类，根据你选用的底层缓存引擎的不同可能会是下面的两个之一:AlluxioCachingFileSystem /əˈluːʒ(ə)n/: 在Presto Worker本地利用磁盘进行了数据的缓存。
pandas库中concat()、merge()、groupby()、pivot_table()相关用法
zhangmary的博客
03-21 759
#!/usr/bin/env python # -*- coding:utf-8 -*- import pandas as pd import numpy as np import datetime def main(): dates = pd.date_range("20180301", periods=8) df = pd.DataFrame(np.random.randn(...
Presto资源组配置详解与示例
"本文将详细解释Presto中的资源组配置，包括如何在Nacos上配置租户和资源组，以及`resource-groups.properties`和`resource-groups.json`两个关键配置文件的内容。通过设置不同的资源组，可以有效地管理Presto查询的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值