2021年03月_爱学大树锯

11月 10月 09月 08月 04月 03月 02月 01月

原创大数据技术之复习篇

大数据技术之复习篇文章目录前言前言本文为课程笔记，本着“只有亲身实践过并整理成体系才属于自己真正掌握的知识” 的理念写出本篇文章，后续每天更新，持续关注，欢迎留言讨论~。简述个人情况：实习三个月刚刚结束，目前0offer。三月中旬离职，三月下旬准备自己的毕业论文，现在还在修改，说不慌是假的，但也没办法，慌也没用。静下心来，好好反思自己哪一块还存在欠缺，不做无用功，你学的越多，面试失败的可能性越大，针对简历上的东西，面试官之前问到的知识点查漏补缺，尤其是算法这块，自己真的是此次掉进坑里，爬不

2021-03-29 19:58:29 236

原创 2021-03-11

[3] R. Sethi, M. Traverso, D. Sundstrom, D. Phillips, W. Xie, Y. Sun, N. Yigitbasi, H. Jin, E. Hwang, N. Shingte, and C. Berner. Presto: SQL on everything. In IEEE 35th Int. Conf. on Data Eng. (ICDE), pages 1802–1813, 2019.[4] IOANNIDIS,Y.AND KANG, Y. 199

2021-03-11 01:17:48 105

原创 k8s常用命令

k8s常用命令一，kubectl 命令行的语法如下： kubectl [command] [TYPE] [NAME] [flags]上面的命令是： kubectl命令行中，指定执行什么操作（command），指定什么类型资源对象（type），指定此类型的资源对象名称（name）,指定可选参数（flags）,后面的参数就是为了修饰那个唯一的对象属于典型的英文语法，比如你是老师，你说，小明（kubectl）买（command）方便面（type）老坛酸菜方便面（name）桶装的（flag）。命令的根

2021-03-10 10:27:21 9877

原创 presto-Hive connector storage caching

Hive连接器存储缓存对于Trino，使用Hive连接器查询对象存储是一个非常常见的用例。它通常涉及大量数据的传输。这些对象是由多个工作程序从HDFS或任何其他受支持的对象存储中检索的，并在这些工作程序上进行处理。具有不同参数的重复查询，或者甚至来自不同用户的不同查询，经常访问并因此传输相同的对象。好处启用缓存可以带来很多好处：减少对象存储的负载每个检索和缓存的对象都避免在后续查询中从存储重复检索。结果，对象存储系统不必一次又一次地提供对象。例如，如果您的查询从存储访问100MB的对

2021-03-05 23:03:47 603 1

原创 2021-03-05

lk:default> EXPLAIN SELECT comment FROM tpch.sf1.nation WHERE nationkey > 3;- Output[comment] => [[comment]] Estimates: {rows: 22 (1.69kB), cpu: 6148.25, memory: 0.00, network: 1734.25} - RemoteExchange[GATHER] => [[comment]]

2021-03-05 12:57:51 75

原创 Presto（Trino）动态过滤与优化器

动态过滤动态筛选优化通过避免读取将被联接条件过滤的数据，从而显着提高了具有选择性联接的查询的性能。考虑以下查询，该查询捕获事实表store_sales与过滤后的维度表date_dim结合的常见模式：从store_sales联接date_dim中选择count（*）ON store_sales.ss_sold_date_sk = date_dim.d_date_sk WHERE d_following_holiday ='Y’AND d_year = 2000;如果没有动态过滤，Trino会将维表的谓

2021-03-03 18:34:26 2809 2

原创《Presto系列文章-CHAPTER 4 Presto Architecture》

Presto（暂译：普雷斯托）系列文章目录-CHAPTER 4 Presto Architecture文章目录Presto（暂译：普雷斯托）系列文章目录-CHAPTER 4 Presto Architecture前言CHAPTER 4 Chapter 4: Presto Architecture集群中的协调节点和工作节点协调节点发现服务workers体系结构SPICatalogs, Schemas, and Tables目录，架构和表查询执行模型Query PlanningParsing and An

2021-03-02 22:21:46 521

转载《跟我学算法系列文章——一文学会数据结构套路》

《一文学会数据结构套路》关键词：数据结构 LRU Tree 文章目录《一文学会数据结构套路》前言3.1 手写 LRU 算法一、LRU 算法描述二、LRU 算法设计三、代码实现3.2 手撸 LFU 算法一、算法描述二、思路分析三、代码框架四、LFU 核心逻辑3.3 二叉搜索树操作集锦**一、在 BST 中查找一个数是否存在****二、在 BST 中插入一个数****三、在 BST 中删除一个数****四、最后总结**3.4 如何计算完全二叉树的节点数一、思路分析二、复杂度分析3.

2021-03-02 18:12:55 614

原创《Presto（Trino）——The Definitive Guide》CHAPTER 6 Connectors Advanced CHAPTER 7 Connector Examples

Presto（暂译：普雷斯托）系列文章目录-CHAPTER 6 ConnectorsThis book provides a great introduction to Presto and teaches you everythingyou need to know to start your successful usage of Presto.—Dain Sundstrom and David Phillips, Creators of the PrestoProjects and Found

2021-03-01 23:52:46 601