2018年11月_KLordy

12月 11月 10月 09月 08月

原创 mongodb分片+副本集集群搭建

搭建集群前，先熟悉集群中的几个概念：路由、分片、副本集、配置服务器。路由负责指挥外部来的请求到集群的哪台机器上去，指挥官的作用；分片属于数据库的物理层面的划分，将一个之前在一台机器上无法支撑的大的库或是集合进行划分，得到若干个分片，每个分片存储部分数据；副本集则是为了进行容错而产生的，因为集群环境下机器很容易出问题，对此需要对数据多在不同的机器上进行备份存储几份，从而如果其中一台出问题，其它的...

2018-11-29 19:17:06 989

原创 Spark Streaming每个批次完毕后的清道夫工作分析

本文目标：搞明白每个批次作业运行完毕后，是如何进行清理工作的。回到提交作业的地方，即JobGenerator的generateJobs这里，沿着这条线顺藤摸瓜找到清理任务的入口，可以看到任务生成成功后会提交任务运行，摸瓜路线：JobGenerator.generateJobs() --> jobScheduler.submitJobSet() --> JobHandler.r...

2018-11-22 18:27:07 955

原创 Spark Streaming之Block生成和存储源码解析

这篇文章我们要搞明白的问题有：Block数据是如何生成的Block是如何存储的上一篇文章已经介绍了Receiver是如何启动的，以及在Executor和Driver运行的ReceiverSupervisor、Receiver、ReceiverTracker之间的劳作关系，但是关于Receiver接收到数据，然后和ReceiverSupervisor之间配合BlockManager...

2018-11-20 01:00:52 366

原创 Spark Streaming的Receiver的那些事儿！

这篇文章主要讲解Spark Streaming启动后，在StreamingContext中启动的ReceiverTracker以及这位大哥管理的Receiver的生成以及发布详细过程。我们先介绍Spark Streaming启动ReceiverTracker的过程，然后再提出一些问题，围绕这些问题对Receiver进行进一步的探索。 Spark Streaming启动时通过JobSched...

2018-11-18 20:14:32 620

原创 Spark Streaming批处理job生成流程解析

本篇文章继续上篇关于启动流程分析后进行，上篇中主要介绍了启动流程中主要涉及的JobScheduler和DStreamGraph在启动时的工作，已经知道启动起来之后，主要支撑运作的应该是JobScheduler-&gt;JobGenerator-&gt;Timer，通过定时器的形式每一个批次进行一次处理，那么每个批次开始定时器发布任务后，一直到当前批次处理完成，中间主要经历了哪些事前呢？对此，本...

2018-11-18 15:35:12 812

原创 Spark Streaming启动&DStreamGraph源码分析

在github上看到一个十分好的总结：https://github.com/lw-lin/CoolplaySpark，对Spark Streaming整体的设计思想讲的算是个人见过十分好的了，看完之后有种原来如此,看完之后对整体的架构有了较为清晰的认识，不过由于篇幅问题，这个项目文档中是偏总结和思想的灌输，没有过于追究一些细节内容，本文以及后续将在此基础上进行源码的阅读，对细节进行更多的研究...

2018-11-15 19:20:21 303

原创 JVM之GC原理解析

1. GC ROOT 首先要说的还应该是垃圾回收首先要做的一件事情：判断一个对象是否已经GG需要被回收？垃圾回收时是依据这一步判断哪些对象是否需要回收来继续进行的，现在主流的JVM用的基本都是可达性分析算法，即所谓的GC ROOT。该算法的核心思想是通过某些初始化的对象节点(GC-ROOTS)开始，将任意两个有关联的对象之间建立建立连接，最终通过这些初始节点开始向下不断延伸，最终得到类似于一个...

2018-11-14 01:01:12 284

原创 Scala闭包

由于需要看Spark源码，发现其中用到了许多闭包的地方，所以很有必要搞明白闭包这玩意儿的用法。网上对scala闭包最多的解释就是通过闭包，可以在超过局部变量作用域的地方仍然能够使用局部变量的值，这话反正我一开始读起来是似懂非懂的，看起来好像是类似于扩充了局部变量的使用范围，但是这又是如何实现的呢？带着疑问，看了一些资料后，发现还是直接用代码好解释一些。直接上测试代码：object C...

2018-11-13 11:06:57 155

原创 Spark Streaming任务调优实录记载

/bin/spark-submit --name jobname --driver-cores 2 --driver-memory 8g --num-executors 20 --executor-memory 18g --executor-cores 3 --conf spark.default.parallelism=120 --conf "spark.executor.extraJa...

2018-11-12 10:12:45 797

原创 Hadoop脚本启动之Start-all.sh脚本流程解析

自己的虚拟机环境中部署了一套自己测试用的hadoop环境，平时为了方便启动都是直接调用start-all.sh脚本直接启动，那么这个脚本中的执行流程是如何的，脚本是如何配置参数然后启动集群中各个服务进程的呢？之前只是知道用start-all.sh偷懒，有时间刚好看了一遍这个脚本的整体流程，以start-all.sh作为出发，了解整个脚本启动的流程对于理解集群配置还是有一定帮助的，起码可以了解bin...

2018-11-05 02:44:07 10992