2016年12月_Aegeaner

12月 11月 03月

原创 Structred Streaming之Streaming Query分析

Structred Streaming之Streaming Query分析在用户的应用程序中，用户会调用DataStreamWriter.start()方法发起一个Streaming query。在DataStreamWriter中，会调用df.sparkSession.sessionState.streamingQueryManager.startQuery方法开始查询。StreamingQ

2016-12-28 10:41:52 1886

原创 HDFS中的TransactionsSinceLastCheckpoint

TransactionsSinceLastCheckpoint = getEditLog().getLastWrittenTxId() - getFSImage().getStorage().getMostRecentCheckpointTxId();SecondaryNamenode上有checkpointThread，其主要的工作循环在void doWork()函数。判断是否做Ch

2016-12-28 10:41:25 1287

转载 Flink 原理与实现：架构和拓扑概览

架构要了解一个系统，一般都是从架构开始。我们关心的问题是：系统部署成功后各个节点都启动了哪些服务，各个服务之间又是怎么交互和协调的。下方是 Flink 集群启动后架构图。当 Flink 集群启动后，首先会启动一个 JobManger 和一个或多个的 TaskManager。由 Client 提交任务给 JobManager，JobManager 再调度任务到各个 TaskM

2016-12-24 10:24:21 848

原创 Spark GC调优笔记

Spark GC调优笔记传统GCParalledl GC：高吞吐量，离线分析 CMS GC：低延迟，实时响应Java堆内存划分为两个区域：Young和Old，Young存储短期对象，Old存储长期对象。Young代进一步划分为三个区域：Eden，Survivor1，Survivor2GC调优的目标只有长期对象存储在老年代，新生代有充分的大小短期对象。调优方法如果老年代接近满，降低spark

2016-12-12 19:59:43 2110

Flink DAG编译和优化1. 创建ProgramPlan。class ExecutionEnvironment：public Plan createProgramPlan()；Plan描述了所有的数据源，所有Sink，所有操作，可以在PlanExecutor中作为独立单元执行。2. 编译。class Optimizer：private OptimizerPostPass getPostPass

2016-12-07 14:57:08 2432

原创 Hive执行SQL语句

org.apache.hadoop.hive.ql.Driver类public int execute(boolean deferClose) 方法1. 从Plan中统计MR/Tez/Spark Task数量 int mrJobs = Utilities.getMRTasks(plan.getRootTasks()).size(); int jobs = mrJobs

2016-12-02 22:29:51 2015

原创 Hive编译SQL语句

org.apache.hadoop.hive.ql.Driver类public int compile(String command, boolean resetTaskIds, boolean deferClose)方法1. 语法分析。 ParseDriver pd = new ParseDriver(); ASTNode tree = pd.parse(command,

2016-12-02 22:28:45 933

原创 YARN应用生命周期

RM: Resource ManagerAM: Application MasterNM: Node ManagerClient向RM提交应用，包括AM程序及启动AM的命令。RM为AM分配第一个容器，并与对应的NM通信，令其在容器上启动应用的AM。AM启动时向RM注册，允许Client向RM获取AM信息然后直接和AM通信。AM通过资源请求协议，为应用协商容器资源。如容器分配成功，AM要求

2016-12-01 23:28:16 1037 1

The Architecture of Open Source Applications

讲开源软件架构的书。 Contents Introduction Amy Brown and Greg Wilson ix 1. Asterisk Russell Bryant 1 2. Audacity James Crook 15 3. The Bourne-Again Shell Chet Ramey 29 4. Berkeley DB Margo Seltzer and Keith Bostic 45 5. CMake Bill Hoffman and Kenneth Martin 67 6. Eclipse Kim Moir 77 7. Graphite Chris Davis 101 8. The Hadoop Distributed File System Robert Chansler, Hairong Kuang, Sanjay Radia, Konstantin Shvachko, and Suresh Srinivas 111 9. Continuous Integration C. Titus Brown and Rosangela Canino-Koning 125 10. Jitsi Emil Ivov 139 11. LLVM Chris Lattner 155 12. Mercurial Dirkjan Ochtman 171 13. The NoSQL Ecosystem Adam Marcus 185 14. Python Packaging Tarek Ziadé 205 15. Riak and Erlang/OTP Francesco Cesarini, Andy Gross, and Justin Sheehy 229 16. Selenium WebDriver Simon Stewart 245 17. Sendmail Eric Allman 271 18. SnowFlock Roy Bryant and Andrés Lagar-Cavilla 291 19. SocialCalc Audrey Tang 303 20. Telepathy Danielle Madeley 325 21. Thousand Parsec Alan Laudicina and Aaron Mavrinac 345 22. Violet Cay Horstmann 361 23. VisTrails Juliana Freire, David Koop, Emanuele Santos, Carlos Scheidegger, Claudio Silva, and Huy T. Vo 377 24. VTK Berk Geveci and Will Schroeder 395 25. Battle For Wesnoth Richard Shimooka and David White 411 Bibliography Making Software

2011-09-17

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

Aegeaner的专栏

原创 Structred Streaming之Streaming Query分析

原创 HDFS中的TransactionsSinceLastCheckpoint

转载 Flink 原理与实现：架构和拓扑概览

原创 Spark GC调优笔记

原创 Flink DAG编译和优化

原创 Hive执行SQL语句

原创 Hive编译SQL语句

原创 YARN应用生命周期

The Architecture of Open Source Applications

高精度计算源码

Learning the Unix OS

Inside C++ Object Model

Effective C++(中文版）

C++高级参考手册

C++标准库，Boost简介

空空如也