自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Aegeaner的专栏

in every possible way

  • 博客(8)
  • 资源 (9)
  • 收藏
  • 关注

原创 Structred Streaming之Streaming Query分析

Structred Streaming之Streaming Query分析在用户的应用程序中,用户会调用DataStreamWriter.start()方法发起一个Streaming query。在DataStreamWriter中,会调用df.sparkSession.sessionState.streamingQueryManager.startQuery方法开始查询。StreamingQ

2016-12-28 10:41:52 1885

原创 HDFS中的TransactionsSinceLastCheckpoint

TransactionsSinceLastCheckpoint = getEditLog().getLastWrittenTxId() - getFSImage().getStorage().getMostRecentCheckpointTxId();SecondaryNamenode上有checkpointThread,其主要的工作循环在void doWork()函数。判断是否做Ch

2016-12-28 10:41:25 1287

转载 Flink 原理与实现:架构和拓扑概览

架构要了解一个系统,一般都是从架构开始。我们关心的问题是:系统部署成功后各个节点都启动了哪些服务,各个服务之间又是怎么交互和协调的。下方是 Flink 集群启动后架构图。当 Flink 集群启动后,首先会启动一个 JobManger 和一个或多个的 TaskManager。由 Client 提交任务给 JobManager,JobManager 再调度任务到各个 TaskM

2016-12-24 10:24:21 848

原创 Spark GC调优笔记

Spark GC调优笔记传统GCParalledl GC:高吞吐量,离线分析 CMS GC:低延迟,实时响应Java堆内存划分为两个区域:Young和Old,Young存储短期对象,Old存储长期对象。Young代进一步划分为三个区域:Eden,Survivor1,Survivor2GC调优的目标只有长期对象存储在老年代,新生代有充分的大小短期对象。调优方法如果老年代接近满,降低spark

2016-12-12 19:59:43 2110

原创 Flink DAG编译和优化

Flink DAG编译和优化1. 创建ProgramPlan。class ExecutionEnvironment:public Plan createProgramPlan();Plan描述了所有的数据源,所有Sink,所有操作,可以在PlanExecutor中作为独立单元执行。2. 编译。class Optimizer:private OptimizerPostPass getPostPass

2016-12-07 14:57:08 2431

原创 Hive执行SQL语句

org.apache.hadoop.hive.ql.Driver类public int execute(boolean deferClose) 方法1. 从Plan中统计MR/Tez/Spark Task数量 int mrJobs = Utilities.getMRTasks(plan.getRootTasks()).size(); int jobs = mrJobs

2016-12-02 22:29:51 2013

原创 Hive编译SQL语句

org.apache.hadoop.hive.ql.Driver类public int compile(String command, boolean resetTaskIds, boolean deferClose)方法1. 语法分析。 ParseDriver pd = new ParseDriver(); ASTNode tree = pd.parse(command,

2016-12-02 22:28:45 933

原创 YARN应用生命周期

RM: Resource ManagerAM: Application MasterNM: Node ManagerClient向RM提交应用,包括AM程序及启动AM的命令。RM为AM分配第一个容器,并与对应的NM通信,令其在容器上启动应用的AM。AM启动时向RM注册,允许Client向RM获取AM信息然后直接和AM通信。AM通过资源请求协议,为应用协商容器资源。如容器分配成功,AM要求

2016-12-01 23:28:16 1036 1

The Architecture of Open Source Applications

讲开源软件架构的书。 Contents Introduction Amy Brown and Greg Wilson ix 1. Asterisk Russell Bryant 1 2. Audacity James Crook 15 3. The Bourne-Again Shell Chet Ramey 29 4. Berkeley DB Margo Seltzer and Keith Bostic 45 5. CMake Bill Hoffman and Kenneth Martin 67 6. Eclipse Kim Moir 77 7. Graphite Chris Davis 101 8. The Hadoop Distributed File System Robert Chansler, Hairong Kuang, Sanjay Radia, Konstantin Shvachko, and Suresh Srinivas 111 9. Continuous Integration C. Titus Brown and Rosangela Canino-Koning 125 10. Jitsi Emil Ivov 139 11. LLVM Chris Lattner 155 12. Mercurial Dirkjan Ochtman 171 13. The NoSQL Ecosystem Adam Marcus 185 14. Python Packaging Tarek Ziadé 205 15. Riak and Erlang/OTP Francesco Cesarini, Andy Gross, and Justin Sheehy 229 16. Selenium WebDriver Simon Stewart 245 17. Sendmail Eric Allman 271 18. SnowFlock Roy Bryant and Andrés Lagar-Cavilla 291 19. SocialCalc Audrey Tang 303 20. Telepathy Danielle Madeley 325 21. Thousand Parsec Alan Laudicina and Aaron Mavrinac 345 22. Violet Cay Horstmann 361 23. VisTrails Juliana Freire, David Koop, Emanuele Santos, Carlos Scheidegger, Claudio Silva, and Huy T. Vo 377 24. VTK Berk Geveci and Will Schroeder 395 25. Battle For Wesnoth Richard Shimooka and David White 411 Bibliography Making Software

2011-09-17

高精度计算源码

强大的hugecalc!

2007-08-30

Learning the Unix OS

(ebook-chm) O'Reilly Learning the Unix OS

2007-08-30

Inside C++ Object Model

经典..Inside C++ Object Model

2007-08-30

Effective C++(中文版)

经典经典经典经典经典

2007-08-30

C++高级参考手册

C++高级参考手册C++高级参考手册

2007-05-24

C++标准库,Boost简介

Addison.Wesley.Beyond.the.C.plus.plus.Standard.Library.An.Introduction.to.Boost

2007-05-20

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除