- 博客(26)
- 收藏
- 关注
RSS订阅原创 Antlr4学习2-Java开发
Antlr4学习2-Java开发0x00 系列文章目录Antlr4学习1-基本概念和入门示例Antlr4学习2-Java开发0x01 摘要本文主要讲下使用Java来围绕Antlr开发和应用。0x02 简单例子2.1 Maven依赖在pom.xml里加入以下依赖： <dependency> <groupId>or
2018-09-30 15:15:03
7474
原创 Elasticsearch学习-Doc与Segment原理
Elasticsearch学习-Doc与Segment原理0x00 系列文章目录Elasticsearch学习-关于倒排索引、DocValues、FieldData和全局序号Elasticsearch学习-搜索调优Elasticsearch学习-Doc原理0x01 摘要本文主要讲下ES中Doc（文档）和Segment（段）的底层原理。0x02 Doc概念2.1 术语介绍首先...
2018-09-29 18:16:59
10561
2
转载 Java 9~Java11的七大新特性
（转）Java 9~Java11的七大新特性转载声明本文原文为英文，作者Benjamin。本文内容转自高可用架构，由方圆翻译。请大家关注公众号【高可用架构 】，尊重作者的辛苦付出。本文转载只是为了方便学习。如给原作者带来不便，请联系我删除。0x01 摘要Java11 发布了，然而很多公司还在用Java 8 ，本文会简要介绍Java 9 -11 引入的新语法和API。0x02 本地...
2018-09-29 13:23:41
401
转载 一文读懂Java 11的ZGC为何如此高效
（转）一文读懂Java 11的ZGC为何如此高效转载声明本文原文为英文，作者Sadiq Jaffer& Richard Warburton。本文内容转自高可用架构，由方圆翻译。请大家关注公众号【高可用架构 】，尊重作者的辛苦付出。本文转载只是为了方便学习。如给原作者带来不便，请联系我删除。0x01 摘要GC是大部分现代语言内置的特性，Java 11 新加入的ZGC号称可以达到...
2018-09-29 13:22:05
651
1
原创 Flink学习3-API介绍
Flink学习3-API介绍0x00 系列文章目录Flink系列1-基础概念Flink系列2-安装和启动Flink系列3-API介绍0x01 摘要本文主要是介绍Flink的不同层次(level)API抽象，学习怎么通过API高效处理有状态性的计算无界和有界的数据流。0x02 基本概念在Flink流式处理框架中，有几个很重要的概念即streams,state,time。 下面我...
2018-09-29 00:28:26
4661
原创 Elasticsearch学习-搜索调优
Elasticsearch学习-搜索调优0x00 系列文章目录Elasticsearch学习-关于倒排索引、DocValues、FieldData和全局序号Elasticsearch学习-搜索调优0x01 摘要本文会讲讲es中的4种搜索模式以及该如何选择，还会说一些常用的搜索调优选项。本文基于ES-2.3.30x02 search_type2.1 QUERY_THEN_FET............
2018-09-28 18:15:41
1730
原创 Kafka-常见问题
Kafka-0.8.2.1常见问题Consumer报错问题描述：WARN [console-consumer-23149_hadoop2-1476872289945-6edaec5e-leader-finder-thread], Failed to add leader for partitions [filelog_v3_json_test_1019,13],....; will ...
2018-09-28 15:57:03
7075
原创 Flink学习2-安装、启动和配置
Flink系列2-安装和启动0x00 系列文章目录Flink系列1-基础概念Flink系列2-安装和启动0x01 摘要本篇文章主要讲解Flink下载、安装和启动的步骤。0x02 下载关于下载的更多信息可参考Flink官网如果是用的MacOS X，可以直接用Homebrew安装：brew install apache-flink当前最新稳定的版本是v1.6.1。Flink...
2018-09-28 15:26:18
11088
原创 关于i.e. e.g. etc. aka
关于i.e. e.g. etc.0x01 摘要最近看英文文档，经常出现i.e. e.g. etc.这样的字眼，印象中以前上学的时候英文老师有时候会写出这样的缩写词，但已经分不清到底哪个是哪个了，也没有深究过。今天终于下决心要研究下这三个家伙到底啥意思。0x02 i.e.2.1 含义i.e.是拉丁文的id est的缩写，意思是： ‘即’，‘也就是’。我的记忆路线图是:i.e. -&gt...
2018-09-28 11:27:53
700
原创 Flink学习1-基础概念
Flink系列1-基础概念0x00 系列文章目录Flink系列1-基础概念Flink系列2-安装和启动0x01 摘要本文是作者学习Flink的一些文档整理、记录和心得体会，希望与大家共同学习探讨。0x02 Flink简介2.1 概念Apache Flink是一个开源的分布式流式处理框架，他有强大的流式和批处理能力。流式处理方面，Flink能对有界、无界数据流做有状态的计算（s...
2018-09-28 00:44:55
4624
转载 Redis学习-FAQ
Redis FAQ转载声明本文内容大量转自Java技术栈、 菜鸟架构 ，再加自己的理解有少许改动。请大家关注公众号【Java技术栈 】【 菜鸟架构 】，尊重作者的辛苦付出。本文只是为了方便学习。如给原作者带来不便，请联系我删除。0x00 目录0x01 摘要考虑到绝大部分写业务的程序员，在实际开发中使用 Redis 的时候，只会 Set Value 和 Get Value ...
2018-09-27 23:15:57
553
原创 个人博客写作模板
个人博客写作模板0x00 系列文章目录源码走读-Yarn-ResourceManager01-基础概念源码走读-Yarn-ResourceManager08-总结0x01 摘要摘要正文0x02 正文2.1 二级标题2.1.1 三级标题我简要说几点：第一点第二点第三点0xFE 总结这是一个总结0xFF 参考文档baichoufei90的博客...
2018-09-27 12:35:24
2352
原创 Hadoop Streaming介绍
Hadoop Streaming介绍0x01 基础概念1.1 简介用户可以使用Hadoop Streaming来用任意语言（如python）来编写、运行MR作业，下面是一个官方示例：$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming.jar \ -input myInputDirs \ -output myO...
2018-09-27 00:37:00
5521
原创 Antlr4学习1-基本概念和入门示例
0x01 摘要ANTLR (ANother Tool for Language Recognition) 是一个强大的解析器的生成器，可以用来读取、处理、执行或翻译结构化文本或二进制文件。他被广泛用来构建语言，工具和框架。ANTLR可以从语法上来生成一个可以构建和遍历解析树的解析器。Hive和Spark中使用antlr来生成词法和语法的解析器。 Antlr官网0x02 安装ANT...
2018-09-20 21:01:31
22140
10
原创 Spring-SpringMVC-全局异常处理
SpringMVC-全局异常处理0x01 摘要SpringMVC全局异常处理有好几种方式，每种都有自己的应用场景，在这里做一个整理，仅供参考。 0x02 error-code方式2.1 web.xml配置方式有两种，都是在web.xml中配置。可以通过匹配http错误代码，来进行相应的处理：直接配置异常界面 <error-page>
2018-09-15 21:12:15
3645
原创 源码走读-Yarn-ResourceManager01-基础概念
0x01 基础概念Yarn作为一款热度颇高的开源资源调度器，对他的源码分析有助于大家理解其内部执行机制。本文基于2.6.0-cdh5.8.2，仅供参考。 第一章我们先了解下Yarn的一些基本概念，读完这一章可以了解Yarn的基本的框架和流程，以便更快更好的阅读理解后面章节。1.1 Yarn是什么Yarn，英文全名是 Yet Another Resource Negotiator，...
2018-09-14 17:58:30
1620
原创 源码走读-Yarn-ResourceManager08-总结
0xFD 单元测试下面说下调试的时候的一些单元测试： hadoop-2.6.0-cdh5.8.2/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-resourcemanager/src/test/java/org/apache/hadoop/yarn/server/resourcemanager/sc...
2018-09-13 00:13:03
390
原创 源码走读-Yarn-ResourceManager07-ShutdownHookManager
0x07 ShutdownHookManager在yarn代码中可以看到很多地方都使用了以下代码来添加自己的ShutdownHook:ShutdownHookManager.get().addShutdownHook( new CompositeServiceShutdownHook(resourceManager), SHUTDOWN_HOOK...
2018-09-13 00:08:17
497
原创 源码走读-Yarn-ResourceManager06-MR任务提交-服务端分析
0x06 RM调度-MR任务提交-服务端分析上文我们提到过，Yarn中Client和RM交互的协议是ApplicationClientProtocol，我们已经分析过这一协议在客户端的实现ApplicationClientProtocolPBClientImpl，这一章节我们就从分析这一协议服务端的实现ClientRMService开始。6.1 获取JobID6.2.1 Clien...
2018-09-12 22:52:17
1195
原创 源码走读-Yarn-ResourceManager05-MR任务提交-客户端侧分析
0x05 RM调度-MR任务提交-客户端侧分析5.1 mapreduce.joborg.apache.hadoop.mapreduce.Job我们都知道,MR任务的一般结尾会有一句话是job.waitForCompletion(true)，这行代码意思是提交任务并等待结束。我们的分析就从这里入手：public boolean waitForCompletion(boolean ...
2018-09-12 22:50:50
936
原创 源码走读-Yarn-ResourceManager04-RM调度之FairScheduler
0x04 RM调度之FairSchedulerRM对NM的调度分为心跳触发调度和持续调度，我们先从心跳调度开始讲。因为本文的主题是讲RM，这里就不讲NM启动过程了，放在另一篇文章里分析。我们直接从AsyncDispatcher讲起。4.1 AsyncDispatcherAsyncDispatcher的内部类GenericEventHandler会处理一个EventType: NODE_...
2018-09-12 22:47:13
571
原创 源码走读-Yarn-ResourceManager03-RM的启动之RM详解
0x03 RM的启动之RM详解3.1 ResourceManager的继承关系3.1.1 ResourceManager第一印象我们先来看看这个类：/** * The ResourceManager is the main class that is a set of components. * "I am the ResourceManager. All your r...
2018-09-12 22:45:06
1562
5
原创 源码走读-Yarn-ResourceManager02-RM的启动-脚本
0x01 摘要Yarn作为一款热度颇高的开源资源调度器，对他的源码分析有助于理解其内部执行机制。本文基于2.6.0-cdh5.8.2，仅供参考。 0x02 RM启动过程-Shell脚本2.1 RM启动命令启动RM命令为yarn-daemon.sh start resourcemanager使用的脚本文件如下： hadoop-2.6.0-cdh5.8.2/ha...
2018-09-12 22:37:14
684
原创 Linux与Mac时间、日期处理
Linux与Mac时间、日期处理0x01 摘要有时候我们需要对时间或者日期进行格式转换，本文描述了一些常见用法，仅供参考。 0x02 Linux用法日期格式化示例1：输入：date -d "2018-08-22 16:39:00" +"%Y/%m/%d %H:%M:%S"输出：2018/08/22 16:39:00示例2：输入：...
2018-09-12 22:31:36
754
原创 Java-并发-自己实现阻塞队列
并发学习-自己实现阻塞队列0x01 摘要其实BlockingQueue简单来说就是一个put锁，一个take锁，还有一个放入的元素形成的Node队列。这篇文章，我们通过写代码实现一个简易的阻塞队列来进一步加深对阻塞队列的印象和理解。 0x02 CustomBlockingQueue在这里，我们通过代码简单实现了一个阻塞队列的基本功能： /** * Cr...
2018-09-12 22:20:27
1211
原创 Elasticsearch学习-关于倒排索引、DocValues、FieldData和全局序号
Elasticsearch为什么这么快0x01 摘要我们都知道Elasticsearch是高效的搜索神器，为什么他会这么快呢？本文浅谈ES几点基本的设计理念，相信会对ES为什么这么快有进一步的认识。仅供参考。注意，本文档适用于ES 2.x 0x02 倒排索引2.1 原理ES数据存储底层使用了Lucene，其中最重要的一个设计就是倒排索引。一个倒排索引由doc中...
2018-09-12 21:59:39
6324
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人