自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 【Flink】Flink 流处理 Sum操作 Table is not an append-only table. Use the toRetractStream() in order to hand

1.背景 flink Flink 流处理 Sum操作 报错 @Test def sumTest(): Unit = { val env = StreamExecutionEnvironment.getExecutionEnvironment val dataSet = env...

2020-05-26 20:49:24 11 0

原创 【Flink】flink流处理不支持limit TableException: Cannot generate a valid execution plan for the given query

2.概述 流处理不支持Limit /** * 流处理 不支持 Limit */ @Test def limitTest(): Unit = { val env = StreamExecutionEnvironment.getExecutionEnvironment ...

2020-05-26 20:37:52 17 0

原创 【Flink】The class WC is an instance class, meaning it is not a member of a toplevel object

1.背景 Flink SQL 官方例子,拿出来进行测试,报错如下 package org.apache.flink.sql import org.apache.flink.api.scala.{ExecutionEnvironment, _} import org.apache.flink.ta...

2020-05-26 19:21:56 19 0

原创 【Flink】Too many fields referenced from an atomic type

1.背景 写了一段flink sql的代码如下 @Test def mainTest(): Unit = { val settings = EnvironmentSettings.newInstance.inStreamingMode.build val env = Strea...

2020-05-26 18:20:20 23 0

原创 【Flink】java.lang.NumberFormatException: Not a version: 9

1.背景 写了一个flink 1.10的程序,测试ProcessAllWindowFunction方法,运行的时候报错 package org.apache.flink.streaming.examples.window import org.junit.Test import org.apac...

2020-05-26 14:02:43 23 0

原创 【Java】 定时任务Timer与ScheduledExecutorService的区别

1.背景 起因是我在Flink Operator中,open方法中添加了一个调度任务,但是采用定时任务ScheduledExecutorService发现不可以 import org.apache.flink.runtime.execution.Environment; import org.ap...

2020-05-26 12:11:59 25 0

转载 【Flink】Flink Table 基于Processing Time、Event Time的多种Window实现

Flink Table 基于Processing Time、Event Time的多种Window实现 Flink 提供了Table Api,用来统一批流入口,使用Flink Table Api,直接处理流,会特别的简洁,易用。下面来看下使用Flink Table Api实现 Tumble Win...

2020-05-25 22:56:19 43 0

原创 【Flink】Flink CEP 案例

1.案例 我们先产生一个输入流,这个输入Event流由Event对象和event time组成,那么要使用EventTime,除了指定TimeCharacteristic外,在Flink中还要assignTimestampsAndWatermarks,其中分别定义了Eventtime和WaterM...

2020-05-25 22:14:20 38 0

转载 【Siddhi】Siddhi的window操作

1.概述 fxjwind Siddhi CEP Window机制 https://docs.wso2.com/display/CEP400/SiddhiQL+Guide+3.0#SiddhiQLGuide3.0-Window https://docs.wso2.com/display/CEP400...

2020-05-25 22:11:37 42 0

原创 【Flink】Rowtime timestamp is null. Please make sure that a proper TimestampAssigner is defined and th

1.背景 写了一个flink程序报错 @Test public void windowSumHavingTest() throws Exception { // 获取 environment StreamExecutionEnvironment env = ...

2020-05-25 21:59:08 39 0

原创 【Flink】SqlValidatorException: Column xxx not found in any table

1.背景 Flink写了如下代码,运行报错 @Test public void windowSumHavingTest() throws Exception { // 获取 environment StreamExecutionEnvironment en...

2020-05-25 21:55:23 39 0

原创 【JVM】JVM 调优之 -XX 参数

1.概述 1.1 查看初始参数 (base) lcc@lcc ~$ java -XX:+PrintCommandLineFlags -version -XX:InitialHeapSize=134217728 -XX:MaxHeapSize=2147483648 -XX:+PrintCommand...

2020-05-24 11:16:18 56 0

原创 【JVM】G1垃圾回收器

1.概述 G1(Garbage First)垃圾收集器是当今垃圾回收技术最前沿的成果之一。早在JDK7就已加入JVM的收集器大家庭中,成为HotSpot重点发展的垃圾回收技术。同优秀的CMS垃圾回收器一样,G1也是关注最小时延的垃圾回收器,也同样适合大尺寸堆内存的垃圾收集,官方也推荐使用G1来代替...

2020-05-24 11:07:34 51 0

转载 【JVM】三色标记法与读写屏障

1.概述 首先:CMS和G1都使用了三色标记法 关于垃圾回收算法,基本就是那么几种:标记-清除、标记-复制、标记-整理。在此基础上可以增加分代(新生代/老年代),每代采取不同的回收算法,以提高整体的分配和回收效率。 无论使用哪种算法,标记总是必要的一步。这是理算当然的,你不先找到垃圾,怎么进行回收...

2020-05-24 10:54:22 44 0

原创 【JVM】GC Roots 根可达

1.概述 提到垃圾回收,顾名思义,就是把已经分配出去的,但却不再使用的内存回收回来。对于JVM来说,垃圾指的是在堆中死亡的对象所占据的内存空间。 那么自然而然的,我们就能够提出一个问题:怎么知道对象死没死?由这个问题让我们引出俩个比较有名的思路: 1.引用计数法 引用计数法是一个颇为古老的方式,原...

2020-05-24 09:27:25 54 0

原创 【JVM】CMS垃圾回收器(不推荐使用的垃圾回收器)

1.概述 CMS全称Concurrent Mark Sweep(并发标记清除),是一款以获取最短回收停顿时间为目标的 老年代收集器,适合基于B/S的服务器上,系统停顿时间短,用户体验较好。 另外,CMS也是一款真正意义上的并发收集器,能够与用户线程同时进行。虽然,并发回收过程中也有几个阶段需要St...

2020-05-24 09:14:57 54 0

原创 【JVM】垃圾回收器

1.概述 下图是10种垃圾回收器,左边的是分代垃圾回收,右边是 不分代的垃圾回收。 JDK 1.8 建议直接用G1,前面的不考虑了 垃圾回收器的发展路线,是随着内存越来越大的过程而演进 从分代算法演化到不分代算法 Serial算法几十兆 Parallel算法几个G CMS几十个G -承上启下,...

2020-05-23 23:20:20 54 0

原创 【Flink】flink消费kafka报错 KafkaConsumer.assign Ljava/util/List

1.概述 flink消费kafka上数据时报错: Caused by: java.lang.NoSuchMethodError: org.apache.kafka.clients.consumer.KafkaConsumer.assign(Ljava/util/List;)V 错误原因: Fli...

2020-05-23 21:00:34 61 0

原创 【Kafka】nable to write to standard out, closing consumer Console consumer process hangs on SIGINT

1.背景 这是一个bug原文:https://issues.apache.org/jira/browse/KAFKA-3501 有时,当在管道中运行“ kafka-console-consumer”脚本并尝试使用“ SIGINT”(“ ctrl + c”)将其停止时,该过程不会停止。 ubuntu...

2020-05-22 14:37:47 67 0

原创 【MySQL】MySQL USE 库的时候报错 Reading table information for completion of table and column names

1.背景 mysql -A不预读数据库信息(use dbname 更快) —Reading table information for completion of table and column names You can turn off this feature to get a quick...

2020-05-21 19:56:27 111 0

原创 【MySQL】MySQL删除数据库的时候卡死

1.背景 MySQL删除数据库时无响应解决办法 删除远程主机上MySQL中的一个数据库时,远程主机一直在响应,无法正常删除。 这个问题的解决办法如下: 在远程主机上登录MySQL,执行 show full processlist; 观察state和info两列,查看有哪些线程在运行。经过查询发...

2020-05-21 19:53:11 84 0

转载 【Kafka】kafka命令kafka-console-consumer.sh

1.概述 kafka-console-consumer.sh 脚本是一个简易的消费者控制台。该 shell 脚本的功能通过调用 kafka.tools 包下的 ConsoleConsumer 类,并将提供的命令行参数全部传给该类实现。 注意:Kafka 从 2.2 版本开始将 kafka-top...

2020-05-21 16:14:36 102 0

原创 【NATS streaming】NATS streaming 简介与安装

1.概述 市面上常见到的和Nats功能类似的消息通信系统有: ActiveMQ、KafKa、RabbitMq、Nats(之前是Ruby编写现已修改为Go)、Redis(C语言编写)、Kestrel(Scala编写不常用)、NSQ(Go语言编写),这些消息通信系统在Broker吞吐量方面的比较: ...

2020-05-20 23:14:28 111 0

原创 【OSGI】The Provide-Capability with namespace ${provide.capability} is not a symbolic name

1.背景 git下载项目:siddhi-test-suite 然后运行里面的测试类报错 Error:osgi: [siddhi.test.suite] Invalid value for DynamicImport-Package, ${dynamic.import.package} does ...

2020-05-20 22:21:14 91 0

原创 【OSGI】Error osgi xx Invalid value for DynamicImport-Package dynamic.import.pack

1.背景 git下载项目:siddhi-test-suite 然后运行里面的测试类报错 Error:osgi: [siddhi.test.suite] Invalid value for DynamicImport-Package, ${dynamic.import.package} does ...

2020-05-20 22:19:00 83 0

原创 【Siddhi】Siddhi 组件架构

1.概述 Siddhi使用来自各种事件源的事件,根据定义的Siddhi应用程序处理事件,并向订阅的事件接收器生成结果。Siddhi可以从内存表或外部数据存储(如RDBMS、MongoDB、Hazelcast内存网格等)中存储和使用事件。)。Siddhi还允许应用程序和用户通过其存储查询API查询S...

2020-05-20 18:08:26 120 0

原创 【Siddhi】SiddhiQL Guide 3.x

1.Siddhi查询语言简介 Siddhi查询语言(SiddhiQL)旨在处理事件流以识别复杂的事件发生。 下表提供了Siddhi查询语言中几个术语的定义。 术语 定义 查询 通过组合现有流来派生新流的逻辑构造。 查询包含一个或多个输入流,用于修改这些输入流的处理程序以及用于发布其...

2020-05-20 17:59:28 68 0

原创 【Flink】Flink CEP 案例

1.概述 我们先产生一个输入流,这个输入Event流由Event对象和event time组成 那么要使用EventTime,除了指定TimeCharacteristic外,在Flink中还要assignTimestampsAndWatermarks,其中分别定义了Eventtime和WaterM...

2020-05-20 16:25:12 119 0

原创 【Hadoop】Hadoop SocketChannelImpl UnresolvedAddressException

1.背景 一段代码如下,运行的时候报错如下 BucketingSink<String> sink = new BucketingSink<>("hdfs://" + hdfsProp.getProperty("hdfsPath", ...

2020-05-20 12:18:42 72 0

转载 【Hadoop】HDFS Short Circuit Local Reads(HDFS短路读取)

详解HDFS Short Circuit Local Reads Hadoop的一大基本原则是移动计算的开销要比移动数据的开销小。因此,Hadoop通常是尽量移动计算到拥有数据的节点上。这就使得Hadoop中读取数据的客户端DFSClient和提供数据的Datanode经常是在一个节点上,也就造成...

2020-05-20 12:06:58 72 0

原创 【Hadoop】the short-cricuit local reads feature cannnot be use because UNIX Domain sockets are not ava

1.背景 报错 【Flink】UnsatisfieldlinkError : org.apache.hadoop.util.NativeCrc32 的时候,在上面还有一个warn。 the short-cricuit local reads feature cannnot be use becau...

2020-05-20 12:03:09 77 0

原创 【Hadoop】Bad connect ack with firstBadLink as ×.×.×.×:50010

【Hadoop】Bad connect ack with firstBadLink as ×.×.×.×:50010

2020-05-20 11:19:18 85 0

原创 【Siddhi】Siddhi的语法关键字

1.CEP The pattern is a state machine implementation that detects event occurrences from events arrived via one or more event streams over time. It ca...

2020-05-20 11:16:03 93 0

转载 【Java】MANIFEST.MF是什么

1.概述 常常在网上看到有人询问:如何把 java 程序编译成 .exe 文件。通常回答只有两种,一种是制作一个可执行的 JAR 文件包,然后就可以像.chm 文档一样双击运行了;而另一种是使用 JET 来进行 编译。但是 JET 是要用钱买的,而且据说 JET 也不是能把所有的 Java 程序都...

2020-05-19 23:24:32 62 0

转载 【Kubernetes】mac 安装minikube

1.一 官网安装 官网: https://minikube.sigs.k8s.io/ 搜了下网上如何通过Mac 安装看网上文章很多,但是受限于国内网络环境,很多都不行,各种下载失败。如果你有VPN,那么官方的步骤就容易走通: $ brew install kubectl $ brew in...

2020-05-19 22:41:20 156 0

原创 【Kubernetes】Error: Cask minikube is unavailable No Cask with this name exists

1.概述 从Mac OS Catalina开始,Kubernetes文档中提供的方法不起作用了,并且Brew cask似乎也没有minikube。 # 这里可以看到好像没有minikube了 ==> Updated Casks 4k-stogram ...

2020-05-19 21:58:36 85 0

原创 【Flink】A Typical reason for AskTimeOutException is that the recipientactor

1.概述 Flink报错这个 这个是我本地调试的时候发现报错这个的

2020-05-19 18:25:42 81 0

原创 【Flink】UnsatisfieldlinkError : org.apache.hadoop.util.NativeCrc32

1.背景 在idea和eclipse中调试hadoop中hdfs文件,之前好好的,结果突然就出现java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(...

2020-05-19 15:31:29 91 0

原创 【Siddhi】Error:osgi: [siddhi-execution-string] Manifest file ${_include} missing OSGi facet

1.背景 下载siddhi 自定义函数的代码:https://github.com/lccbiluox2/siddhi-execution-string.git 然后运行测试类报错 org.wso2.extension.siddhi.execution.string.ContainsFunctio...

2020-05-19 13:05:07 82 0

原创 【Siddhi】Flink Siddhi房间温度上升5度报警案例

1.概述 想测试一个流 如果房间的温度在10分钟内升高5度,此查询将发送警报。 /** * 测试一个流 * 如果房间的温度在10分钟内升高5度,此查询将发送警报。 * * 测试结果: 测试未通过 * * {"deviceId&q...

2020-05-19 10:38:10 125 0

提示
确定要删除当前文章?
取消 删除