融合了大数据、搜索引擎及SQL的敏捷大数据方案bigdata 3.0：Presto+Elasticsearch

最新推荐文章于 2024-05-16 15:26:10 发布
最新推荐文章于 2024-05-16 15:26:10 发布
阅读量1w 收藏 8
点赞数 2
分类专栏： 技术心得 大数据 SQL Hadoop 系统架构 HPLSQL 存储过程 Presto bigdata elasticsearch facebook 文章标签： 大数据 Elasticsearch Presto Connector BI
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/china_world/article/details/50651824
版权

融合了大数据、搜索引擎及SQL的敏捷大数据方案bigdata 3.0：Presto+Elasticsearch


一、大数据现状

 在bigdata 1.0时代，以hadoop为代表的大数据技术在企业数据仓库架构中起到的只是配角作用，只是完成数据批处理，处理好的数据还是放入传统的RDBMS中，由BI完成展示。这称为混合架构。对即时的数据流，提供了kafka+Storm的解决方案。既无法实现BI和bigdata的无缝对接，也无法进行流数据和大数据关联分析。这应该是一种不得已而为之的方案。


 当很多用户刚开始对bigdata 1.0有所了解的时候，bigdata 2.0已经迅速到来。bigdata 2.0主要就是实现了SQL on bigdata，这样就不再需要混合架构，BI可以直接连接bigdata了。听起来很美好，Presto、Impala、Drill、spark sql等，这些都是SQL on Bigdata方案。其中，以Presto最早，功能最全，支持SQL 2003。国内，最早使用和大力推广Presto的是京东。


 无论是bigdata 1.0，还是2.0都没有解决大数据的包容性、敏捷性和易用性问题。

 所谓包容性，是指大数据目前主要存的是结构化数据，对需要做语义解析的文本数据,无论是Hive，还是SQL on bigdata都无能为力。

 所谓敏捷性，是指目前的大数据都太笨重了，用户哪管你是头大象还是一只豹子呢。就像如今的一台笔记本可能都比当年的小型机性能不知道强了多少倍。所以，敏捷性也是大数据发展的一个重要方向。

 所谓易用性，这点大数据需要向商业软件学习的地方还太多。如目前SQL on bigdat还不支持函数和过程，还无法和BI无缝对接等。

 这些可能都要在bigdata 3.0中才能解决。

二、大数据总体分析

 目前的大数据总体来说说，都是先在某些点上突破了传统的极限，如数据库的存储极限，单一服务器的计算极限等，制约大数据发展的网络IO也将很快被突破。这些点突破还没有形成面突破，所以现在的大数据才存在以下问题：

1、架构复杂；

2、组件众多；

3、实施难度大

三、大数据3.0

 

 我们认为大数据3.0要能带来如下优势：

1、统一性：结构化数据和非结构化数据不再割裂开来，统一存放；

2、敏捷性：系统具有自管理性，可以快速部署和实施；

3、易用性：可以使用成熟的BI和挖掘工具进行开发和无缝集成。

四、大数据3.0方案

 在大数据3.0中，数据统一由Elasticsearch存储，SQL由Presto来实现，语义分析有Kibana实现。使用Elasticsearch具有如下好处：

1、集群管理简单，易扩展；

2、基于检索技术，可以提供语义分析和查询能力，满足性能要求；

 使用Presto具有如下好处：

1、集群管理简单，易扩展；

2、强大的分布式SQL执行引擎；

3、支持SQL2003标准；

3、灵活的Connector开发能力；


 当然，该方案也存在如下技术难点：

1、Elasticsearch for presto Connector开发；

2、Flume实现DB、file到ES的问题；

3、Presto JDBC驱动和BI的集成问题；

4、复杂业务逻辑的SQL实现等


五、进展及展望

 1、Elasticsearch for presto Connector

        经过2015年9月以来的跟踪和研究，在ES实现分布式SQL难度极大，Elastic官方提供的解决方案是Elasticsearch hadoop，终于发现了Presto Connector for Elasticsearch 开源版本：

https://github.com/albertocsm/presto/tree/master/presto-elasticsearch

      进展：

2016.3.6 完成presto-elasticsearch编译打包


2、Presto Web GUI

https://github.com/airbnb/airpal

https://github.com/wyukawa/yanagishima

3、Java数据库客户端

Squirrel

https://sourceforge.net/projects/squirrel-sql/files/latest/download?source=files

4、BI集成

      因为Presto JDBC驱动的原因，和BI的集成还有问题。可以采用Prestogres，也可以采用PostgreSQL Data Forigen Warper实现。

5、复杂业务逻辑的SQL实现，这块需要实际项目验证。

      可参考HPLSQL。HPL/SQL –Procedural SQL on Hadoop，并且在未来的Hive的版本（2.0）中，会将该模块集成进来。该解决方案不仅支持Hive，还支持在SparkSQL，其他NoSQL，甚至是RDBMS中使用类似于Oracle PL/SQL的功能，这将极大的方便数据开发者的工作，Hive中很多之前比较难实现的功能，现在可以很方便的实现，比如自定义变量、基于一个结果集的游标、循环等等。官方网站是：http://www.hplsql.org

 我们选择了一条Presto+Elastic的大数据之路，前途也许荆棘丛生，但也许是柳暗花明。“不积跬步，无以至千里；不积小流，无以成江海”。让我们拭目以待！



山水佳音
关注
  • 2
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Presto大数据查询引擎是用于大数据的分布式SQL查询引擎
04-27
Presto大数据查询引擎环境要求： Mac OS X或Linux Java 8 Update 151或更高版本（8u151 +），64位。支持Oracle JDK和OpenJDK。 Maven 3.3.9+（用于建筑） Python 2.4+（用于与启动脚本一起运行） Presto大数据查询...
Linkis 0.11.0 发布，新增 ElasticSearch 与 Presto 引擎
peace唠叨
01-22 604
大家期待已久的ElasticSearch引擎和Presto引擎来啦！ Linkis 0.11.0 是由微众银行和MobTech团队作为主要贡献者的一个重要版本。这是基于Linkis 0.10.0的下一个发行版本。此版本新增了Presto引擎、Es引擎、以及Spark引擎on cluster模式进行了实现，并对0.10.0版本前的多个Bug进行了修复。 特性增强 1. 新增了ElasticSearch引擎，支持通过Linkis-Client提交esql和ejson脚本; 2. 新增 Presto.
Apache Calcite整合异构数据源查询 以csv、ES、内存表为例
imsugar的博客
07-28 4164
Apache Calcite接入不同数据源demo 1. 准备工作 1.1 maven引入依赖 在maven项目的根目录pom.xml的标签中写入下列依赖 <!-- calcite核心包 --> <dependency> <groupId>org.apache.calcite</groupId> <artifactId>calcite-core</artifactId> <version>1.20.0
大数据工具——Presto
最新发布
麦当当的博客
05-16 1261
Presto是一款分布式SQL查询引擎, Presto可以独立提供计算分析操作, 不需要依赖于其他的计算引擎。
基于Calcite Elasticsearch实现的SQL ON ES方案设想
热门推荐
笑看云飞处 - 专注于:互联网 电子商务 大数据 欢迎来访!
04-13 1万+
Elasticsearch是搜索的王者，其强大的DSL不让SQL，但缺少SQL的关键特性，如Join。ES的策略是紧紧拥抱Hadoop/Hive，Spark，有个ES-hadoop方案。Hadoop本身就很笨重，这和轻快的ES是背道而驰的。ES的主要方向目前还在搜索上，SQL也不是它的主要关注点。所以，可预见的一段时间内，SQL on ES只能通过开发或集成第三方软件来完成，如通过Presto或Drill的插件来实现。我们已经测试了Presto Elasticsearch Connector。我们认为，基于
presto配置mysql,ES，clickhose,redis踩坑
MRzhenglea的博客
05-06 1030
https://prestodb.io/docs/current/connector/kafka-tutorial.html //根据参考文档配置，简单的不说了 连接redis 面临的问题是 .json文件映射问题 首先只能映射String和hash 第二hash的存放规则 你要 hset 数据库名：表名：test1 age 1 这样存才能映射（就是说 json映射文件中 ，key的值是 数据库名：表名：test1 value的值是 age 1）hash说实话就是<key,map>类型，
linux安装presto，客户端连接Elasticsearch
qq_33884969的博客
08-28 1776
presto 前言：不同版本的presto，连接数据源配置属性有区别且不兼容。目前版本的 Presto 也没有提供完整的具备分页功能的 Limit 语法, 所以如果业务上有分页需求, 就只能在业务层拿到数据后自己做分页功能, 但相比业务层实现, 由 Presto 提供不仅仅在于减少数据平台的开发成本, 还在于更少的数据传输和内存压力等优势。 例如： 0.228 （没有host、port的配置项） connector.name=elasticsearch elasticsearch.default-schem
Presto大数据分布式SQL查询引擎的官方主页——prestodb/ Presto
01-27
Presto is a distributed SQL query engine for big data. See the for deployment instructions and end user documentation. Requirements Mac OS X or Linux Java 8 Update 151 or higher (8u151+), 64-bit. Both...
Presto大数据查询引擎-其他
06-12
Presto是用于大数据的分布式SQL查询引擎。 环境要求： Mac OS X或Linux Java 8 Update 151或更高版本（8u151 +），64位。支持Oracle JDK和OpenJDK。 Maven 3.3.9+（用于建筑） Python 2.4+（用于与启动脚本一起运行...
Presto大数据查询引擎 v0.245
12-28
为您提供Presto大数据查询引擎下载，Presto是用于大数据的分布式SQL查询引擎。环境要求：Mac OS X或LinuxJava 8 Update 151或更高版本（8u151 +），64位。支持Oracle JDK和OpenJDK。Maven 3.3.9+（用于建筑）Python ...
beihu-bigdata:大数据
05-11
Beihu-Bigdata 人人会点大数据！ 本项目内容主要以笔记为主，后期如果涉及相关BigData代码，会在个人Github账号中给到Demo. 如果你觉得写得差强人意，麻烦给一个小星星！ 简单分类： 数据采集：Flume、Kafka、Scribe...
SQL.on.Big.Data.Technology.Architecture.and.Innovation
11-23
Learn various commercial and open source products that perform SQL on Big Data platforms. You will understand the architectures of the various SQL engines being used and how the tools work internally in terms of execution, data movement, latency, scalability, performance, and system requirements. This book consolidates in one place solutions to the challenges associated with the requirements of speed, scalability, and the variety of operations needed for data integration and SQL operations. After discussing the history of the how and why of SQL on Big Data, the book provides in-depth insight into the products, architectures, and innovations happening in this rapidly evolving space. SQL on Big Data discusses in detail the innovations happening, the capabilities on the horizon, and how they solve the issues of performance and scalability and the ability to handle different data types. The book covers how SQL on Big Data engines are permeating the OLTP, OLAP, and Operational analytics space and the rapidly evolving HTAP systems. You will learn the details of: Batch Architectures ―an understanding of the internals and how the existing Hive engine is built and how it is evolving continually to support new features and provide lower latency on queries Interactive Architectures―an understanding of how SQL engines are architected to support low latency on large data sets Streaming Architectures ―an understanding of how SQL engines are architected to support queries on data in motion using in-memory and lock-free data structures Operational Architectures―an understanding of how SQL engines are architected for transactional and operational systems to support transactions on Big Data platforms Innovative Architectures―an exploration of the rapidly evolving newer SQL engines on Big Data with innovative ideas and concepts Table of Contents Chapter 1: Why SQL on Big Data? Chapter 2: SQL-on-Big-Data Challenges & Solutions Chapter 3: Batch SQL—Architecture Chapter 4: Interactive SQL—Architecture Chapter 5: SQL for Streaming, Semi-Structured, and Operational Analytics Chapter 6: Innovations and the Road Ahead
Presto最新版集成到Ambari
12-15
Presto最新版集成到Ambari，包含脱机安装。presto-server-rpm-0.191.rpm，presto-cli-0.190.gar
SQL on Big Data Technology Architecture and Innovation pdf 0分
11-22
SQL on Big Data Technology Architecture and Innovation 英文pdf
Druid/Impala/Presto/Spark SQL/Kylin/Elasticsearch功能对比
Knight
08-07 1478
Druid Druid:是一个实时处理时序数据的OLAP数据库，因为它的索引首先按照时间分片，查询的时候也是按照时间―去路由索引。 Kylin kylin:核心是Cube，Cube是一种预计算技术，基本思路是预先对数据作多维索引，查询时只扫描索引而不访问原始数据从而提速。 Presto Presto:它没有使用MapReduce，大部分场景下比Hive快一个数量级，其中的关键是所有的处理都在内存中完成。 lmpala lmpala:基于内存运算，速度快，支持的数据源没有Presto多。 Spark SQL.
presto联合查询mysql和ES_presto-mysql、presto-elasticsearch、关联查询、java-presto-jdbc入门实战....
weixin_30905039的博客
01-27 837
本文简单记录一次实践使用过程，涉及presto-mysql,presto-elasticsearch，及关联查询1 下载安装 presto-0.228<1>下载服务端客户端相关jar官方文档：<2>安装：1> 解压tar -zxvf presto-server-0.228.tar.gz2>创建配置目录 etc etc/catalogcd presto-serv...
Calcite-[3]-Adapters
hjw199089的博客
12-10 1820
原文：http://calcite.apache.org/docs/adapter.html Schema adaptersPermalink A schema adapter allows Calcite to read particular kind of data, presenting the data as tables within a schema.
PrestoSql、Trino链接elasticsearch使用DSL语法查询
weixin_42260124的博客
07-19 1806
普通查询很简单： select * from elasticsearch."default".test_table; 使用es的DSL语法进行查询，网上基本查询不到太多的资料，例子更查询不到，现添加记录； 查询Trino官网资料，支持ES的DSL语法查询，结果存储到单字段的result字段中： Elasticsearch 连接器允许您在 SQL 查询中嵌入任何使用Elasticsearch Query DSL 的有效 Elasticsearch查询。 然后可以在任何 SQL 语句中使用结果，.
大数据应用解决方案完整版.pptx
11-14
Flink等)云主机租用(IO、CPU、磁盘带宽)应用服务快速开发解决方案调度器/集中式管理/计算模型部署部署目标架构应用部署管理脚本分发资源应用程序配置分发管理监控设备分布式关系数据库分布式计算处理框架大数据与...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值