2018年12月_库昊天

原创 Antlr4 ---入门介绍

Antlr4是什么？ Antlr4是一款开源的语法分析器生成工具，能够根据语法规则文件生成对应的语法分析器。现在很多流行的应用和开源项目里都有使用，比如Hadoop、Hive以及Pig等都在使用ANTLR来做语法分析。使用步骤Step1：编写语法规则文件按照Antlr4规范编写特定语言的语法规则文件（绝大部分语言的都已提供，详见语法库）；Step2：生成解析器运行ANTLR工...

2018-12-28 22:35:37 9381

原创非托管类获取Spring容器信息

非托管类：不受Spring容器管理的类；获取bean@Componentpublic class SpringUtil implements ApplicationContextAware { private static ApplicationContext applicationContext; public static ApplicationContext get...

2018-12-27 14:06:06 425

原创获取本地IP工具类

方式一：InetAddress工具类public static String getLocalIP() { try { return InetAddress.getLocalHost().getHostAddress(); } catch (UnknownHostException e) { throw new RuntimeException(e...

2018-12-26 22:54:40 263

原创 Flink ---窗口机制

背景在流计算中，数据流是无限的，无法直接进行计算，因此Flink提出了window的概念（若干元素的集合）作为流计算的基本单元进行数据处理。窗口机制窗口机制实质上是Flink的算子operator对数据流的处理过程：数据流如何被拆分成window，何时触发计算逻辑等，如下图所示。处理过程：当数据流中的元素到达算子operator后，首先由WindowAssigner决定将该元...

2018-12-22 10:12:38 805

原创 Flink---WaterMark机制

背景使用Event time时间模型时，由于网络或传输等原因，事件被Flink处理的顺序不一定是事件产生的顺序（乱序），可能会存在两方面影响：当前窗口不知道何时停止，开始计算结果；影响窗口计算结果的准确性，见示例；WaterMark机制 WaterMark本质上是一个带有时间戳的特殊event，当Flink中的运算符接收到水印时，它明白（假设）它不会看到比该时间戳更早的消息。 ...

2018-12-20 09:53:39 952

原创 Flink---时间模型

时间模型 Flink提供了3种时间模型如下图所示，常用的为Processing time和Event time;Event time含义：事件产生的时间，反映了事件产生的先后顺序；注意：Event time是指产生事件的外部设备的时间，并非Flink机器上的时间；Event time需要从事件数据的特定字段获取；由于传输或网络的原因，Flink处理事件的顺序不一定与事件产...

2018-12-19 20:43:19 480

原创 Flink---基本概念

流分类Unbounded streams：有起点没终点的数据流，对应的处理操作称为流计算；Bounded streams：有始有终的数据流，对应的处理操作称为批处理；TimeEvent Time：事件产生的时间；Ingestion time：事件进入Flink的时间；Processing Time：Flink开始处理事件的时间；Windows窗口大小窗...

2018-12-18 13:58:32 284

原创 Flink---基本介绍

Flink介绍 Flink是Apache开源的一款流式计算框架，具有高吞吐、低延时、容错性好（能保障Exactly Once语义），以及能同时支持流处理和批处理的特点；Flink not only provides real-time streaming with high throughput and exactly-once guarantees, but it’s also an e...

2018-12-17 23:15:04 196

原创 MAC使用教程

常用快捷键复制：command + C粘贴：command + V剪切：command + X撤销：command + Z全选：command + A保存：command + S删除：command + Delete切换应用：command + Tab关闭当前窗口：command + W（相当于点击左上角红色❌）参考：http://www.ctoutiao.com...

2018-12-17 13:59:26 691

原创常用框架面试大纲

Hystrix　　简介： Hystrix防雪崩利器，能够在依赖的第三方服务出现故障时，进行自我保护，避免级联故障。　　原理： Hystrix核心思想是全链路形成闭环，出口处通过线程\信号量隔离策略进行自我保护，入口处基于熔断器实现Fail-Fast机制，如下图所示： ...

2018-12-17 13:59:12 235

原创 SpringMVC@NotEmpty等注解不生效

现象表单数据对应的Java Bean属性上添加的诸多校验注解不生效，如下示例：@NotEmpty(message = "规则不能为空", groups = {AppConfigGroup.Add.class,AppConfigGroup.Update.class})@Size(max = 200,groups= {AppConfigGroup.Add.class,AppConfigGro...

2018-12-09 12:51:01 20153

原创 HIVE HA方案

HA方案 HiveServer2集群依赖ZK实现了高可用，客户端先连接到ZK获取HiveServer2的地址，然后再与该地址建立连接，流程如下：优点：高可用（解决单点问题）；负载均衡（ZK集群随机选择HiveServer2）；缺点：无法自动故障恢复（当某台HS2宕机时，与其相连的client的session会丢失，需要依赖client的自动断连重试机制）；参考：http...

2018-12-03 11:27:25 1031

04stone37