- 博客(14)
- 收藏
- 关注
RSS订阅原创 Apache BookKeeper
目录简介背景架构组件介绍Ledger核心详解主要api相关参考目录简介A scalable, fault-tolerant, and low-latency storage service optimized for real-time workloads。BookKeeper 的定位是一个可用于实时场景下的高扩展性、强容错、低延迟的存储服务，它相当于把底层...
2020-06-08 21:34:12
503
原创 LevelDB初探
目录目录背景简介描述整体架构内存Log文件SST文件Manifest文件Current文件Lock文件多路归并性能比对实践背景 对比内存存储： Redis 是一个纯内存的数据库，Redis 之所以高性能是因为它的纯内存访问特性，而这也成了它致命的弱点 —— 内存的成本太高。所以在绝大多数场合，它比较适合用来做缓存，长期不被访问的冷数...
2020-02-21 20:21:50
288
原创 如何写单元测试？
目录结论零.为什么要做单测？一.明确价值二.验证方式三.单测质量评估四.单测自动化五.单测编写流程六.单测工具统一七.Junit测试代码编写规范八.覆盖率统计九.单测有效性检查十.Demo补充十一.自动生成单测十二.推进计划附录：参考文档（提高意识）结论注：最终会以工程Demo给出，所有的「？」指标确认需要每个服务的负责人根据实际...
2020-02-21 20:20:15
1510
转载 java性能诊断工具
https://docs.oracle.com/javase/8/docs/technotes/tools/unix/index.html
2018-09-15 15:38:37
462
翻译 Apache Hadoop Yarn
翻译自：https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html YARN的基本思想是将资源管理和作业调度/监控的功能分解为单独的守护进程，主要是有一个全局的ResourceManager（RM）和每个应用程序的ApplicationMaster（AM），应用程序可以是单个作业，也可以是DAG...
2018-06-27 11:18:48
388
原创 Spark源码分析 - SparkContext创建之SparkEnv
1.核心代码如下： // This function allows components created by SparkEnv to be mocked in unit tests: private[spark] def createSparkEnv( conf: SparkConf, isLocal: Boolean, listenerBus: Liv...
2018-06-24 00:15:14
200
原创 Spark源码分析 - SparkContext介绍
实例代码，主要实现一个本地文件的单词数量的简单统计：import org.apache.spark.{SparkConf, SparkContext}object SparkTextDemo { def main(args: Array[String]): Unit = { var conf=new SparkConf().setAppName("sparkTest") co...
2018-06-23 22:02:49
484
原创 Intellj IDEA编码状态光标变粗，back键无法删除内容
解决方法如下：打开-Preferences搜索Plugins将IdeaVim的插件勾选掉点击apply-->ok后，重启Idea，问题解决
2018-06-14 14:25:36
2762
1
原创 java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable
maven+scala创建的spark报以下问题Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayOps; 于是google相关错误信息：https://stackoverflow...
2018-06-13 20:54:22
6976
原创 Mac环境下安装spark
由于spark是由scala编写，而scala又是基于jvm环境的变成语言，所有首先要保证你的环境已经安装了JDK81.安装scala环境brew install scala安装完成后检查scala -version查看是否安装成功2.安装spark环境http://spark.apache.org/downloads.html下载最新的spark包解压安装包tar -zxvf spark-2.3...
2018-06-02 21:20:18
6301
2
原创 sessions should be nested with care, unset $TMUX to force
Mac终端下面创建tmux session:tmux new-session -s work 报错如下：sessions should be nested with care, unset $TMUX to force按错误提示执行命令：需要使用命令 unset tmux 再次执行 tmux attach 问题解决...
2018-05-15 11:26:27
3106
原创 2018年书单
外物之味，久则可厌，读书之味，愈久愈深。 —— 程颐基础技术篇： 揭秘Java虚拟机：JVM设计原理与实现 https://item.jd.com/12095193.html深入理解linux内核：https://item.jd.com/10100237.htmlTensorFlow机器学习实战指南 https://item.jd.com/12191637.html数据算法：Hadoop/Sp...
2018-02-28 21:33:16
505
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人