2020年05月_九师兄

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载【ST4】Java 中的模板引擎 StringTemplate

1.概述StringTemplate是一种基于java的模板引擎库，类似于velocity，FreeMarker。可以用于生成源代码、web页面、电子邮件等多种样式的文本。选择StringTemplate的原因是因为相较于其他的模板引擎，他的功能更加强大。2.使用使用maven添加依赖或从http://www.stringtemplate.org下载<dependency> <groupId>org.antlr</groupId> <artifac.

2020-05-31 18:53:54 4591

转载【Guava】对Guava类库的注释类型 VisibleForTesting的理解

1.背景有一次问同事：除了用JAVA Reflection 来测试私有方法外，还有什么好的方法可以更简单的测试私有方法。同事回答，可以用Guava的VisibleForTesting。于是看了看这个注释的用法。这个注释的接口定义如下：@GwtCompatiblepublic @interface VisibleForTestingAnnotates a program element that exists, or is more widely visible than otherwise .

2020-05-29 17:29:03 11138

转载【Flink】Flink Table 基于Processing Time、Event Time的多种Window实现

Flink Table 基于Processing Time、Event Time的多种Window实现Flink 提供了Table Api，用来统一批流入口，使用Flink Table Api，直接处理流，会特别的简洁，易用。下面来看下使用Flink Table Api实现 Tumble Window（翻滚窗口）、Slide Window（滑动窗口）、Session Window(会话)。一、基于Processing Time的Window实现示例代码public class SqlTumbleWi.

2020-05-25 22:56:19 1423

转载【Siddhi】Siddhi的window操作

1.概述fxjwindSiddhi CEP Window机制https://docs.wso2.com/display/CEP400/SiddhiQL+Guide+3.0#SiddhiQLGuide3.0-Windowhttps://docs.wso2.com/display/CEP400/Inbuilt+Windows#InbuiltWindowshttp://wso2.com/library/articles/2013/06/understanding-siddhi-powers-wso2-.

2020-05-25 22:11:37 1119

转载【JVM】三色标记法与读写屏障

关于垃圾回收算法，基本就是那么几种：标记-清除、标记-复制、标记-整理。在此基础上可以增加分代（新生代/老年代），每代采取不同的回收算法，以提高整体的分配和回收效率。无论使用哪种算法，标记总是必要的一步。这是理算当然的，你不先找到垃圾，怎么进行回收？标记出哪些对象是存活的，哪些是垃圾（可回收）；进行回收（清除/复制/整理），如果有移动过对象（复制/整理），还需要更新引用。本文着重来看下标记的部分。

2020-05-24 10:54:22 6153 7

转载【Hadoop】HDFS Short Circuit Local Reads（HDFS短路读取）

详解HDFS Short Circuit Local ReadsHadoop的一大基本原则是移动计算的开销要比移动数据的开销小。因此，Hadoop通常是尽量移动计算到拥有数据的节点上。这就使得Hadoop中读取数据的客户端DFSClient和提供数据的Datanode经常是在一个节点上，也就造成了很多“Local Reads”。最初设计的时候，这种Local Reads和Remote Reads（DFSClient和Datanode不在同一个节点）的处理方式都是一样的，也就是都是先由Datanode读.

2020-05-20 12:06:58 1026

转载【Java】MANIFEST.MF是什么

1.概述常常在网上看到有人询问：如何把 java 程序编译成 .exe 文件。通常回答只有两种，一种是制作一个可执行的 JAR 文件包，然后就可以像.chm 文档一样双击运行了；而另一种是使用 JET 来进行编译。但是 JET 是要用钱买的，而且据说 JET 也不是能把所有的 Java 程序都编译成执行文件，性能也要打些折扣。所以，使用制作可执行 JAR 文件包的方法就是最佳选择了，何况它还能保持 Java 的跨平台特性。下面就来看看什么是 JAR 文件包吧：2. JAR 文件包JAR 文件就是.

2020-05-19 23:24:32 7859

转载【Kubernetes】mac 安装minikube

1.一官网安装官网： https://minikube.sigs.k8s.io/搜了下网上如何通过Mac 安装看网上文章很多，但是受限于国内网络环境，很多都不行，各种下载失败。如果你有VPN，那么官方的步骤就容易走通：$ brew install kubectl $ brew install minikube $ brew install docker-machine-driver-hyperkit$ sudo chown root:wheel /usr/local/opt/d.

2020-05-19 22:41:20 2763

转载【Spring】Spring Bean 定义继承

Spring Bean 定义继承bean 定义可以包含很多的配置信息，包括构造函数的参数，属性值，容器的具体信息例如初始化方法，静态工厂方法名，等等。子 bean 的定义继承父定义的配置数据。子定义可以根据需要重写一些值，或者添加其他值。Spring Bean 定义的继承与 Java 类的继承无关，但是继承的概念是一样的。你可以定义一个父 bean 的定义作为模板和其他子 bean 就可以从父 bean 中继承所需的配置。当你使用基于 XML 的配置元数据时，通过使用父属性，指定父 bean 作为.

2020-05-16 17:46:30 1005

转载【JVM】JVM-codecache内存区域介绍

1.概述转载：https://leokongwq.github.io/2016/10/12/maven-test.html2.JVM-codecache内存区域介绍大家都知道JVM在运行时会将频繁调用方法的字节码编译为本地机器码。这部分代码所占用的内存空间成为CodeCache区域。一般情况下我们是不会关心这部分区域的且大部分开发人员对这块区域也不熟悉。偶然的机会我们线上服务器Down了，在日志里面看到 java.lang.OutOfMemoryError code cache。通过查找资料来详细了.

2020-05-16 12:40:18 1447

转载【Maven】maven 插件 maven-surefire-plugin

1.maven-surefire-plugin简介转载：https://leokongwq.github.io/2016/10/12/maven-test.htmlMaven本身并不是一个单元测试框架，它只是在构建执行到特定生命周期阶段的时候，通过插件来执行JUnit或者TestNG的测试用例。这个插件就是maven-surefire-plugin，也可以称为测试运行器(Test Runner)，它能兼容JUnit 3、JUnit 4以及TestNG。在默认情况下，maven-surefire-pl.

2020-05-16 12:27:55 20651

转载【java】java的unsafe

1.概述转载：https://leokongwq.github.io/2016/12/31/java-magic-unsafe.htmlJava是一个安全的编程语言，它能最大程度的防止程序员犯一些低级的错误（大部分是和内存管理有关的）。但凡是不是绝对的，使用Unsafe程序员就可以操作内存，因此可能带来一个安全隐患。这篇文章是就快速学习下sun.misc.Unsafe的公共API和一些有趣的使用例子。2.Unsafe 实例化在使用Unsafe之前我们需要先实例化它。但我们不能通过像Unsafe .

2020-05-15 19:34:42 1283 2

转载【java】java中内存映射文件和IO

对大多数Java开发人员来说，Java中的内存映射文件都是一个新的概念，即使它早在JDK1.4时已经被添加到包java.nio中了。在引入NIO和内存映射文件后，Java中拥有了非常快的IO操作能力，这也是为什么高性能Java应用程序使用内存映射文件来持久化数据的主要原因。它已经在高频交易系统中非常流行了，其中电子交易系统需要超快速，并且单向交换的延迟必须在亚微秒级别上。IO一直是性能敏感的应用程序中需要关注的，内存映射文件允许你通过使用直接和非直接字节缓冲区直接从内存读取和写入内存。

2020-05-15 12:05:45 1029

转载【Spark】Spark 3.0 支持 event logs 滚动

1.概述spark学习-58-Spark的EventLoggingListener这篇文章讲了Spark 2.0 相关的代码，主要是Event-log是怎么生成的。这里要看看Spark 3.0 做了什么优化？相信经常使用 Spark 的同学肯定知道 Spark 支持将作业的 event log 保存到持久化设备。默认这个功能是关闭的，不过我们可以通过 spark.eventLog.enabled 参数来启用这个功能，并且通过 spark.eventLog.dir 参数来指定 event log 保存.

2020-05-14 19:53:55 1004

原创【janino】janino 加载自定义函数报错CompileException Expression "bytesIn" is not an rvalue

1.背景代码如下@Test public void janinoPerformanceTest4() throws Exception { String rule = "(inValues(appProtocol, \"http,https\") " + "&& inValues(direction, \"10,00\")) " + "&& (destHostName != nu.

2020-05-14 10:10:58 1739

原创【Scala】scala ':' or newline expected \u200b

1. 背景拷贝了网上一段代码，发现报错如下这个是因为不可见字符，引起的，全局替换一下就好了。参考：【IDEA】IDEA报错 illegal character U+00A0异常解决

2020-05-14 09:18:07 1585 5

转载【Spark】扩展Spark Catalyst，打造自定义的Spark SQL引擎

1.概述转载自：扩展Spark Catalyst，打造自定义的Spark SQL引擎Apache Spark是大数据处理领域最常用的计算引擎之一，被应用在各种各样的场景中，除了易用的API，稳定高效的处理引擎，可扩展性也是Spark能够得到广泛应用的一个重要原因。Spark中最常见的扩展就是基于DataSource API添加对新数据源的支持，除了Spark内置的HDFS，S3，Kafka等数据源，Parquet，Orc，Avro等数据类型，还有很多第三方的DataSource Plugin使得Spa.

2020-05-14 09:13:05 1447

转载【Janino】Janino框架初识与使用教程

1.概述转载：https://blog.csdn.net/inrgihc/article/details/104399439/一、 Janino简介Janino 是一个极小、极快的开源Java 编译器（Janino is a super-small, super-fast Java™ compiler.）。Janino 不仅可以像 JAVAC 一样将 Java 源码文件编译为字节码文件，还可以编译内存中的 Java 表达式、块、类和源码文件，加载字节码并在 JVM 中直接执行。Janino 同样可.

2020-05-13 20:37:05 3202

转载代码生成（Code Generation）表达式编译

代码生成（Code Generation）技术广泛应用于现代的数据系统中。代码生成是将用户输入的表达式、查询、存储过程等现场编译成二进制代码再执行，相比解释执行的方式，运行效率要高得多。尤其是对于计算密集型查询、或频繁重复使用的计算过程，运用代码生成技术能达到数十倍的性能提升。当我们谈论代码生成时我们在谈论什么很多大数据产品都将代码生成技术作为卖点，然而事实上他们往往谈论的不是一件事情。比如，之前就有人提问：Spark 1.x 就已经有代码生成技术，为什么 Spark 2.0 又把代码生成吹了一番？其中

2020-05-13 20:13:21 3701

转载【Janino】Janino介绍

1.概述Janino 是一个超级小但又超级快的 Java™ 编译器. 它不仅能像 javac 工具那样将一组源文件编译成字节码文件，还可以对一些 Java 表达式，代码块，类中的文本(class body)或者内存中源文件进行编译，并把编译后的字节码直接加载到同一个 JVM 中运行.Janino 不是一个开发工具, 而是作为运行时的嵌入式编译器，比如作为表达式求值的翻译器或类似于 JSP 的服务端页面引擎；Janino 还被整合到 Apache Commons JCL 项目和 JBoss Rules.

2020-05-13 17:12:50 3055

原创【java】CPU飙高系统反应慢怎么排查？

CPU飙高系统反应慢怎么排查？首先CPU是整个系统的核心计算资源，对一个应用来说，cpu的最小执行单元是线程，导致CPU飙高的原因有以下几种。CPU上下文切换过多，对CPU来说，同一个时刻下，每个CPU只能运行一个线程，如果有多个线程要去运行，CPU只能通过上下游切换的方式，来执行调度不同的线程。上下文切换需要做两件事情。这两个过程，需要cpu执行内核级的指令，去实现状态的保存和恢复，如果较多的上下文切换，会占据大量的cpu资源，从而使得cpu无法执行用户进程中的真正指令，导致响应速度下降。

2020-05-13 17:03:57 524

原创【janino】janino自定义函数报错A method named "xx" is not declared in any enclosing class nor through a static

1.背景想测试janino的自定义函数，但是不知道怎么做，随便写一下报错 @Test public void janinoPerformanceTest2_1() throws Exception { String rule = "containsIgnoreCase(requestUrl,\"/ls5/forum.php\")"; IExpressionEvaluator evaluator = CompilerFactoryFactory.getDefa.

2020-05-13 15:46:06 1844

原创【aviator】aviator 报错 Syntax error:Unexpect token 'OR' Parsing expression

1.背景做aviator 报错 @Test public void aviatorPatternPerformanceStringTest() throws Exception { String rule = "appProtocol == 'http' OR appProtocol == 'https' "; AviatorEvaluator.setOptimize(AviatorEvaluator.EVAL); Expression co.

2020-05-13 13:44:04 1378

原创【Kafka】Kafka创建Topic的时候提示WARNING: Due to limitations in metric names, topics with a period ('.')

1.概述新建一个topic结果发现出了一个warn信息(base) lcc@lcc kafka_2.11-1.1.0$ bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic topic_controlWARNING: Due to limitations in metric names, topics with a period ('.') or u.

2020-05-12 12:16:53 2414

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

hadoop 2.x 版本概要讲解，HA搭建指南

Eclipse Formatter 模板 Formatter.xml

Drools-复杂事件处理

excel操作包

eclipse的hadoop插件

hadoop学习文档

hadoop单结点

hadoop单结点配置

native_32位

s2sh整合配置，非常适合初学者，明白配置流程

打飞机代码

空空如也