孙元浩-基于Spark的SQL查询引擎

最新推荐文章于 2022-07-26 10:21:23 发布
最新推荐文章于 2022-07-26 10:21:23 发布
阅读量895 收藏
点赞数
文章标签： spark 数据分析 数据挖掘 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chengying332/article/details/41547859
版权

孙元浩-基于Spark的SQL查询引擎


大数据分析应用迫切需要发展具有我国自主知识产权的大数据处理平台。本报告将介绍星环科技如何一步步改进和重构Spark以满足企业对交互式数据分析、批量数据处理和数据挖掘的需求，并在此基础上开发和构建一个高性能的SQL引擎以及基于R语言的统计挖掘引擎与平台，形成一站式大数据分析处理平台。


详细解读 和小伙伴们一起来吐槽

chengying332
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
基于spark sql引擎的即席查询服务
UFO的博客
05-07 3623
项目地址 IQL，多多支持，欢迎star IQL 参考 spark sql在喜马拉雅的使用之xql的load、select、save语法实现了一套基于spark的即席查询服务 优雅的交互方式，支持多种datasource/sink spark常驻服务，基于zookeeper的引擎自动发现 负载均衡，多个引擎随机执行 多session模式实现并行查询 基于spark的动态资源分配，...
基于Spark可视化大数据挖掘平台_李文.pdf
01-15
基于Spark可视化大数据挖掘平台，
基于Spark on Yarn的淘宝数据挖掘平台
独家记忆
07-27 2540
pdf
Spark SQL演示与分布式SQL查询引擎
灿若星辰丶的博客
08-07 824
（1）通过sparksql访问mysql中的数据 bin/spark-submit \ --class bigdata.spark.sql.test.DFTest \ --master local \ ./FirstSparkPro.jar （2）SparkSQL与Hive结合（类似的有Hive中处理SQL，直接用MapReduce计算处理） 使用SparkSQL访问Hive 将hive安...
​spark计算引擎之SPARK详解
ITSM/ITIL/网络安全/IT运维
02-28 2924
Spark SQL的前世今生Shark是一个为Spark设计的大规模数据仓库系统，它与Hive兼容。Shark建立在Hive的代码基础上，并通过将Hive的部分物理执行计划交换出来。这个方法使得Shark的用户可以加速Hive的查询，但是Shark继承了Hive的大且复杂的代码使得Shark很难优化和维护，同时Shark依赖于Spark的版本。随着我们遇到了性能优化的上限，以及集成SQL的一些复杂的分析功能，我们发现Hive的MapReduce设计的框架限制了Shark的发展。
Interactive SQL query on HBase (孙元浩)
05-08
Interactive SQL query on HBase (孙元浩)Interactive SQL query on HBase (孙元浩)
星环CTO孙元浩：技术解析TranswarpInceptor是怎样炼成的
03-03
星环科技从2013年6月开始研发基于Spark的SQL执行引擎，在2013年底推出TranswarpInceptor1.0，并落地了国内首个7x24小时的商用项目。经过1年多的持续创新与改进，星环已经在国内落地了数十个Inceptor的商用项目。这是...
Hadoop如何推动现代数据仓库技术的变革
02-26
在2016Hadoop技术峰会的主题演讲上，星环科技创始人孙元浩深入浅出的阐述了Hadoop是如何推动数据仓库技术进行深刻变革。今年大会的主题是Hadoop十年。2006年雅虎等团队开始研发Hadoop技术至今已整整十年。在此之间...
Baidu基于Spark SQL构建即席查询平台
08-10
Baidu基于Spark SQL构建即席查询平台
Spinach: 使用Spark SQL进行即席查询 [session]
OReillyData
05-26 1643
讲师：Daoyuan Wang (Intel), 李元健 (百度) 13:10–13:50 Friday, 2017-07-14 Spark及更多发展 (Spark & beyond) 地点： 紫金大厅B 观众水平：中级 必要预备知识 观众需要了解Spark SQL或了解数据查询相关知识，最好能够了解Spark SQL的data source API。 您将学到什么 使用分布式索引
数仓即席查询–Druid
01-07
Druid简介 Druid是一个快速的列式分布式的支持实时分析的数据存储系统;它在处理PB级数据,毫秒级查询,数据实时处理方面,比传统的OLAP系统有了显著的性能改进 官网:http://druid.io/ ps:阿里巴巴也有一个项目叫Druid,但是它是一个数据库连接池项目 Druid特点 1.列式存储格式 Druid使用面向列的存储,它只需要加载特定查询所需的列,查询速度快 2.可扩展的分布式系统 Druid通常部署在数十到数百台服务器的集群中,并且提供数百万条/秒的摄取率,保留数百万条记录,以及压秒级到几秒钟的查询延迟 3.大规模的并行处理 Druid可以再整个集群中进行大规模的并行查询
使用Spark SQL构建交互式查询引擎
allwefantasy的专栏
07-09 2128
StreamingPro目前已经涵盖流式/批处理，以及交互查询三个领域，实现配置和SQL化 前言 StreamingPro 原来仅仅是用来作为Spark Streaming的一个配置化+SQL封装，然而不经意间，已经涵盖了批处理，交互式查询等多个方面。今天就讲讲如何使用StreamingPro构建一个交互式查询引擎。 准备工作 下载Streaming...
Spark SQL 查询引擎Catalyst分析
u012137473的博客
12-12 557
Spark SQL 查询引擎Catalyst分析 Catalyst整体架构图Catalyst执行流程 ) Catalyst整体架构图 Catalyst执行流程 catalyst是spark sql的调度核心，遵循传统数据库查询解析步骤，对sql进行解析，转换为逻辑查询计划，物理查询计划，最终转化为Spark的DAG后在执行，下图为Catalyst的执行流程。 SqlParser将SQL语句转换...
CDH集群使用spark作为hive查询引擎（实时查询）
前方的路在刚开始
07-26 1642
Hive我们用来搭建数仓，对于大量数据以及离线数仓，可以满足，但是他不能满足实时查询的情况，如果这次客户来了个需求，不在我们统计分析的指标内。那你单独写SQL，然后通过mr底层，就不能立刻出结果，运行sql和统计将消耗大量时间。当然有多种方案（impala+kudu)(presto)都可以。我在CDH上使用，自己的虚拟机测试，避免搭建与启动内存过大，所以采用了spark。...
基于Spark SQL在生产环境中实现即席查询
04-30 585
大数据的核心是处理大量的数据，然后分析，挖掘。大数据火的本质原因是互联网的兴起带动大量用户使用，由此产生大量数据，这么多数据是以前的单台机器无法在规定时间内处理完的，由此产生了需要用多台...
Spark2.11下连接星环Inceptor(hive2)连接不上
play~man的编程历程
05-13 3488
问题描述： spark2.11与星环Inceptor的jar包合并进行开发，连接hive2的时候报错 错误内容 org.apache.thrift.TApplicationException: Required field 'client_protocol' is unset! Struct:TOpenSessionReq(client_protocol:null) 解决 删...
大数据架构图及主要技术简介
知止不殆
02-17 7126
大数据架构图常见的技术简介： HBase：是一个分布式的、面向列的开源数据库。其设计理念源自谷歌的 BigTable，用 Java 语言编写而成。 MongoDB：是目前非常流行的一种非关系型(NoSQL)数据库 YARN：这是新一代的 MapReduce 计算框架，简称 MRv2，它是在第一代 MapReduce 的基础上演变而来的 Spark：是一个基于内存计算的开源的集群计算系统，其目的在于，
多模数据处理破茧成蝶 大数据“卡脖子”成为过去！
中国软件网
05-27 1820
大数据的的确确正在改变我们的世界。作者 |刘学习@中国软件网 出品在这场出人意料的新冠疫情之下，中国的大数据技术展现了惊人的威力：追踪流动人口，极速公布各地疫情报告，覆盖所有人群的健康...
星环科技大数据产品解决方案
最新发布
02-13
星环科技是中国领先的大数据基础软件开发商，致力于构建世界领先的大数据引擎。该公司成立于2013年，是全国最早自主研发大数据基础软件的企业之一，也是Gartner认可的全球六大（中国唯一）Hadoop发行版厂商之一。星...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值