- 博客(5)
- 收藏
- 关注
RSS订阅原创 spark源码阅读-spark-submit任务提交流程(local模式)
从spark启动任务源头 $SPARK_HOME/bin/spark-submit 开始阅读spark源码。一、脚本阶段提交任务命令，先使用local模式spark-submit --master local --class com.lof.main.SparkPi /Users/user/Desktop/SparkPi.jarsparkPi代码：public class SparkP...
2020-03-27 11:10:14
1596
原创 java LinkedHashMap实现LRU缓存
LRU算法LRU缓存来源于LUR算法，即最近最不常用算法。在操作系统中页面置换算法有使用。（题外话，页面置换算法即内存管理中，当产生缺页异常时，会从硬盘读取，此时内存不够用时，会将一部分页面放入硬盘中，将要使用的内存从硬盘加载到内存，即页面置换。）LRU缓存LRU缓存，即将最近最少使用的缓存数据删除，从而添加新数据。设想设一个缓存功能由于数据量较小，使用redis、memche等又...
2020-03-23 22:59:30
596
原创 spark 源码阅读 源码环境准备(mac)
题记：在有spark一定使用经验后再阅读源码，更易理解spark阅读，带有目的的阅读源码事半功倍。例如，想知道spark是如何完成spark-submit任务的，如何进行配置文件加载。源码环境工具环境OSmacjava1.8scala2.11maven3.5hadoop2.7.3spark2.3.2源码下载本次阅读选择spa...
2020-03-23 22:09:06
284
原创 SpringBoot启动过程源码解析(二)--------------- listener.starting及监听模式的实现
上一篇讲了SpringBoot启动过程中， SpringApplication实例化之后，现在正式进入到 SpringApplication.run 方法中，看一看启动过程中，SpringBoot到底做了些什么。本篇博客先讲到 listener.starting() ， 通过这个方式 讲一讲 监听器设计模式。先看，Run方法public ConfigurableApplicatio...
2019-03-11 23:30:20
511
原创 SpringBoot启动源码解析(一) ————SpringApplication 构造函数解析
**SpringApplication 构造函数解析:**众所周知的springboot入口程序 main函数public static void main(String[] args) { SpringApplication.run(TestspringbootApplication.class, args); }springboot的启动调用SpringAp...
2019-03-02 22:25:03
413
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人