[23]Presto
文章平均质量分 80
hjw199089
从事大数据
(1)查询引擎开发-presto深度开发-hive开发-自研查询引擎开发
(2)大数据用户行为分析
(3)spark、sparkstreaming、storm、druid开发应用经验
(4)数据仓库开发
展开
-
[7]-Presto Security
原文:https://prestodb.io/docs/current/security.html原创 2017-12-20 23:09:24 · 393 阅读 · 0 评论 -
[18]-接口
接口StatementResource、Query、Stage、TaskStatementResource接口构建查询@Path("/v1/statement") createQuery(...) {构建一个Query异步获取结果asyncQueryResults(...)}分批Get结果@Path("/v1/statement/{queryId}/{token}")g...原创 2018-08-04 21:00:01 · 169 阅读 · 0 评论 -
[19]-Query
StatementResource::createQuery()中构建一个Query public void createQuery( String statement, //查询SQL @Context HttpServletRequest servletRequest, @Context UriInfo uriInf...原创 2018-08-04 21:01:59 · 219 阅读 · 0 评论 -
[20]-QueryQueueManager_QueryQueueExecution
QueryQueueManagerSqlQueryQueueManagerInternalResourceGroupManagerNoOpResourceGroupManager(ResourceGroupManager)SqlQueryQueueManager 涉及QueueKey、QueryQueue、QueryQueueRule,待细看 根据队列规则提交QueryExec...原创 2018-08-04 21:04:36 · 224 阅读 · 0 评论 -
[21]-Presto Hive view Query
参考Add Support for Compatible Hive Views #9031修改以下类,支持简单hive view的query与createHiveMetadata.javaHiveUtil.javaThriftHiveMetastore.javaMetadataManager.javaLocalQueryRunner.javaConnectorViewDefini...原创 2018-08-04 21:12:22 · 2956 阅读 · 0 评论 -
[22] LogicalPlanner
PlannerPlanNode执行计划节点类型@JsonSubTypes({ @JsonSubTypes.Type(value = OutputNode.class, name = "output"), @JsonSubTypes.Type(value = ProjectNode.class, name = "project"), @...原创 2018-08-18 15:04:28 · 350 阅读 · 0 评论 -
[5]IDEA本地debug coordinator和worker
Run/Debug Configuration中添加两个Applicationcoordinatorapplicationname:coordinatormain class: com.facebook.presto.server.PrestoServerVM options: -ea -XX:+UseG1GC -XX:G1HeapRegionSize=100M -XX:+U...原创 2018-08-21 20:04:01 · 466 阅读 · 0 评论 -
[23] Analyzer
NodeRef 是Node的引用Scope Scope本身是一个链表 解析公式的类型 Optional<Scope> parent RelationId 是Node RelationType 是Node的类型(数据类型) FieldId是解析出来的ResolvedField的index信息AnalyzerAnalyzer{...原创 2018-09-01 23:00:31 · 844 阅读 · 0 评论 -
[24]Task调度
Task调度 主要有Sourcestage的Source task、FixedStage的Fixed task:(1)Source task SourcePartitionedScheduler(2)Fixed task FixedCountScheduler FixedSourcePartitionedScheduler Source task(Sou...原创 2018-09-10 22:34:50 · 523 阅读 · 0 评论 -
[25]Task执行
Task创建、更新、执行Client端Resource端RemoteTaskpublic interface RemoteTask{ //启动task void start(); //更新task,主要给task更新输入(splits), 对于sourcetask splits是数据源split,对于fixedtask splits是上游stag...原创 2018-09-15 11:17:45 · 504 阅读 · 0 评论 -
[27]Presto Event Listener Plugin开发简述
一、Event Listenerpresto事件监听器Event Listener,作为plugin监听以下事件:Query creation查询建立相关信息Query completion (success or failure)查询执行相关信息,包含成功查询的细节信息,失败查询的错误码等信息Split completion (success or failure)split执行...原创 2018-12-22 14:01:00 · 1394 阅读 · 0 评论 -
[26]Presto函数开发简述
一、Presto函数注册Presto function通过FunctionRegistry注册,FunctionRegistry在MetadataManager中初始化1.1 MetadataManager@Inject public MetadataManager(FeaturesConfig featuresConfig, TypeManager type...原创 2018-12-18 20:48:25 · 1727 阅读 · 0 评论 -
Presto join enumeration笔记
原文:presto-join-enumerationQuery improvementsIncorporating join enumeration into Presto means that your queries can automatically run faster without manual adjustments. Such manual adjustments are ...转载 2019-03-03 14:37:21 · 584 阅读 · 0 评论 -
Introduction to Presto Cost-Based Optimizer笔记
原文:introduction-to-presto-cost-based-optimizerIntroductionTheCost-Based Optimizer (CBO)we havereleased just recentlyachievesstunning results in industry standard benchmarks(and not only in b...转载 2019-03-03 15:02:03 · 701 阅读 · 0 评论 -
[28]Presto 强制类型相关
HiveCoercionPolicyCoercerExpressionAnalyzer::getOperatorTypeRegistry::public Optional<Type> coerceTypeBase(Type sourceType, String resultTypeBase)原创 2019-04-28 14:07:56 · 1056 阅读 · 1 评论 -
[29]Presto window function
presto:default> select id, name, sum(age) as age_num, sum(sum(age) ) over (partition by name) from mysql.dbtest_1.student group by name,id; id | name | age_num | _col3----+------------+----...原创 2019-04-29 21:03:00 · 599 阅读 · 0 评论 -
[30]Presto Blog
Presto BlogEven Faster ORCEven Faster ORC-2转载 2019-05-16 12:48:51 · 181 阅读 · 0 评论 -
[31]Web UI for Presto
yanagishima github原创 2019-05-28 13:54:49 · 481 阅读 · 0 评论 -
[17]-Console提交查询过程
Console提交查询过程 Console::executeCommand()直接提交sql Console::process(),包装Query,启动查询 QueryRunner::startQuery,启动查询 构造QueryQuery query = queryRunner.startQuery(finalSql),来构建StatementClient Statem...原创 2018-07-25 20:54:28 · 395 阅读 · 0 评论 -
[6]-JDBC Driver 简介与Demo测试
官方文档 2.3. JDBC Driver1-JDBC jar 或maven Presto支持JDBC driver访问,下载 presto-jdbc-0.191.jar,添加到应用程序的 class path 中,同时也可以通过Maven中心仓库连接:<dependency> <groupId>com.facebook.presto</...原创 2017-12-20 23:06:04 · 2732 阅读 · 0 评论 -
[8]-Presto Administration-web interface
原文4. Administration4.1. Web Interface提供 web interface 用于监控和管理queries, web interface位于coordinator,通过HTTP访问。HTTP port number 在coordinator Config Properties.主页中列举queries信息,如query ID, query text, q...翻译 2017-12-21 00:36:07 · 319 阅读 · 0 评论 -
[1]-Concepts
原文:https://prestodb.io/docs/current/overview/concepts.html其他参考:https://www.cnblogs.com/sorco/p/7060166.html Server Types两种类型:coordinators、 workers.Coordinator主要负责:parsing statements, pla...翻译 2017-12-17 21:36:10 · 418 阅读 · 0 评论 -
[9]-Administration-Tuning Presto & Properties Reference
原文https://prestodb.io/docs/current/admin/tuning.htmlTuning Presto默认的配置在大多数工作负载下均可正常执行,如果遇到一些特殊集群性能问题吗,下面的信息将有所帮助Config PropertiesSee Properties Reference. JVM Settings下面内容将有助于帮助诊断GC...翻译 2017-12-21 21:38:02 · 1153 阅读 · 0 评论 -
[10]-Administration-Spill to Disk
原文https://prestodb.io/docs/current/admin/queue.htmlOverview 对于内存敏感型的operations,Presto允许将中间结果卸载到磁盘。这样保障内存消耗大的查询可以正常执行,一些特性配置见: Spilling Properties.Memory Management and Spill默认Presto会kill掉超...翻译 2017-12-21 21:43:34 · 743 阅读 · 0 评论 -
[11]-Administration-Resource Groups
原文https://prestodb.io/docs/current/admin/resource-groups.htmlResource groups默认不生效,需要设置experimental.resource-groups-enabled=true 以组(可嵌套)的形式管理查询,组织排队情况manager来配置resource groups和相关的角色选择,并且这是plugg...翻译 2017-12-21 21:45:12 · 658 阅读 · 0 评论 -
[12]-Syntax-EXPLAIN
原文https://prestodb.io/docs/current/sql/explain.html学习EXPLAIN,可用于执行cost评估和合法性检测 SynopsisEXPLAIN [ ( option [, ...] ) ] statementwhere option can be one of: FORMAT { TEXT | GRAPHVIZ }...翻译 2017-12-22 21:17:58 · 374 阅读 · 0 评论 -
[14]-Function
Functions原文https://prestodb.io/docs/current/develop/functions.html Plugin Implementation为实现新的function,必须写一个plugin,返回从getFunctions()返回更多的函数:public class ExampleFunctionsPlugin impl...翻译 2017-12-24 15:29:27 · 602 阅读 · 0 评论 -
[2]-Installation-Deploying Presto and Command Line Interface
Installing Presto现在压缩包presto-server-0.191.tar.gz,Presto需要一个文件夹存日志logs,etc,建议在安装问价外部新建一个文件夹,便于升级 Configuring Presto在安装文件夹下建立一个etc文件夹,存如下配置文件:Node Properties: 每个node的环境配置 JVM Config: comman...翻译 2017-12-17 22:46:48 · 350 阅读 · 0 评论 -
[15]-源码阅读-1
Presto-[15]-源码阅读-1presto-cli包Presto类是presto-cli/target/presto-cli-*-executable.jar或者CLI客户端的主入口代码public final class Presto{ private Presto() {} public static void main(String[] args)原创 2017-12-29 19:11:05 · 322 阅读 · 0 评论 -
[4]-单机配置查询Hive
一、已安装hive、myql、初步安装配置Presto具体参考: Presto-[3]-单机安装_配置查询Mysql Mac安装Mysql_解决中文乱码_JDBC访问操作 Mac-单机Hive安装与测试 Hive常见问题汇总二、修改配置文件(1)config.properties datasources=mysql,hive(2)添加配置文件 etc/catalog...原创 2017-12-20 00:52:20 · 534 阅读 · 0 评论 -
presto资料
presto资料官方文档官方文档阅读笔记Quick Start tutorialTutorial pdf文档原创 2018-01-02 20:57:18 · 590 阅读 · 0 评论 -
[5]Running in IDEA
准备已经成功安装单机presto(没有安装也可以),配置过hive.catalog文件参考:Presto-[4]-单机配置查询Hivegit clone master分支gihub:https://github.com/prestodb/presto1-Building Presto在根目录执行,会下载依赖至 (~/.m2/repository),这会一并执行测试部分,时间...原创 2017-12-20 21:07:07 · 1275 阅读 · 5 评论 -
[3]-单机安装_配置查询Mysql
1-Installing Presto现在压缩包presto-server-0.191.tar.gz,Presto需要一个文件夹存日志logs,etc,建议在安装问价外部新建一个文件夹,便于升级文件目录如下:~/Documents/software/Presto$ lsCLI data presto-server-0.191CLI中下载 presto-cli-0....原创 2017-12-19 13:57:16 · 1278 阅读 · 0 评论 -
[16]-Presto UDFs开发-插件注入式
Presto UDFs开发示例GitHub presto-udfs开发支持了一部分HIVE UDFs,多谢分享,在此基础上进行我们的UDF开发学习。git代码presto-udfs,新建一个测试udf, UdfTest输入一个字符串str,返回str_hjwpackage com.qubole.presto.udfs.udfLearn;import com.faceboo...原创 2018-02-11 16:27:12 · 1551 阅读 · 4 评论 -
[13]-Connectors
ConnectorsConnectors是Presto queries的’数据源’,即便查询数据源中没有table表,只要实现Presto所需的API,也可以查询数据。ConnectorFactoryplugin调用getConnectorFactory()–&amp;amp;amp;gt;得到ConnectorFactory–&amp;amp;amp;gt;建立Connector实例:ConnectorMetadata...原创 2018-07-25 20:50:47 · 416 阅读 · 0 评论 -
[32] Presto存活监控脚本
一、服务存活监控脚本建立服务存活监控脚本/usr/local/presto/mointer-presto-restart.sh,chomd +x ./mointer-presto-restart.sh,脚本每20s循环检测PrestoServer进程,若进程挂掉,自动拉起并在/usr/local/presto/log.txt中打点记录本次重启时间。#!/bin/bashinterval=20...原创 2019-07-02 22:49:32 · 926 阅读 · 0 评论