- 博客(213)
- 资源 (15)
- 收藏
- 关注
RSS订阅
原创 HikariPool-1 - Failed to validate connection com.mysql.cj.jdbc....Possibly consider using a shorter
今天使用springboot遇到了这样的问题：springboot项目启动开始可以访问数据库，但是几分钟之后就会报错idea报错信息：HikariPool-1 - Failed to validate connection com.mysql.cj.jdbc.ConnectionImpl@18e7d21c (No operations allowed after connection cl...
2020-04-01 22:41:13
40317
3
原创 GBN,SR,TCP区别
GBN：回退N(go back N),如果某个报文段没有被正确的接收，那么从这个报文段到后面的报文段都要重新发送，返回的ACK采用剋及确认的机制，也就是说如果GBN返回的ACK=3，也就是说3报文段和3 之前的报文段都被正确地接收了SR：接收方设置缓冲区，为每个报文段设置计时器，如果某个报文段没有被正确接收但是后面的报文段被正确接收了，那么就只需要重发这一个报文段，在接收方整理排序之后就????了，...
2019-10-05 14:46:14
11493
5
原创 关于CS模式和P2P模式分发文件速度的思考
看到这里我首先想到是“难道不是NF/us + F/min(di)吗，然后我想了一会：分发文件并不是先上传再下载，而是一个报文一个报文的上传再一个报文一个报文的下载，也就是说，这边刚上传第一个报文，另一边就开始下载，所以几乎是同时开始上传和下载，这种情况下使用的时间必然受到速度慢的哪一方的影响，也就是瓶颈的影响，所以结果是上图那个...
2019-09-20 21:39:42
10438
3
原创 flink-note笔记：flink-window模块中SessionWindow解析
flink-note笔记：flink-window模块中SessionWindow解析
2022-06-13 15:36:47
139
原创 flink-note笔记：flink-window模块中SlidingWindow解析
flink-note笔记：flink-window模块中SlidingWindow解析
2022-06-13 14:44:13
146
原创 flink-note笔记：flink-window模块中TumblingWindow解析
flink-note笔记：flink-window模块中windows/keyed/TumblingWindow.java运行结果解析
2022-06-12 18:25:07
185
原创 flink-note笔记：flink中的窗口函数（window function）
flink-note笔记：flink中的窗口函数（window function）
2022-06-11 12:12:00
200
原创 flink state backend状态后端
flink在从v1.12到v1.14的改版当中，其状态后端也发生了变化。今天想学习一下flink中的状态后端，发现网上的博客都是基于老版本的状态后端讲解的，也就是`{MemoryStateBackend, FsStateBackend, RocksDBStateBackend}`，但是当我在使用1.14的flink写代码的时候，发现这些状态后端都已经被废弃了，新版本的状态后端是`{HashMapStateBackend, EmbeddedRocksDBStateBackend}`.......
2022-06-05 15:28:21
865
4
原创 flink checkpoint
flink的checkpoint探究，包含checkpoint的生成，如何从checkpoint中恢复flink作业
2022-06-04 22:26:47
2975
1
原创 junit runwith
junit的runwith是给单元测试中增加一些附属特性，今天在看flink源码的时候，发现其使用了一个注解@RunWith(Parameterized.class)，有点好奇，于是研究了一下这个注解的使用。这个注解产生的背景是这样的：flink中的每个功能要保证在单机模式和集群模式下都能使用，因此如果编写常规的junit test函数，对于每个要测试的功能A，我们需要写两个测试函数AOnSingleMode()和AOnClusterMode，这无疑是一种折磨。因此，我们只需要使用注解@RunWith(.
2022-05-30 19:22:39
1154
原创 flink中数据集的循环iterate
想使用flink实现机器学习算法，众所周知很多机器学习算法都需要涉及循环，比如说循环机器学习算法直到loss小于某个阈值，因此使用flink实现机器学习算法最基础的一环就是要学习在flink中怎么写循环。...
2022-05-24 11:35:57
948
原创 java 可序列化类
我们知道java中对象是存放在内存中的，为了持久化对象或者将对象通过网络传输，java提供了序列化对象的 方式，一个类只需集成Serializable接口，就可以实现可序列化但是值得注意的是，要实现可序列化，需要保证类中所有的变量都是可序列化的。遇到的问题我的类里面需要使用不可序列化的属性怎么办（比方说类里面我有一个属性，是mysql的Connection对象）这时候在属性前面加上transient 关键字就好啦。摘抄一段runoob的原话：我们都知道一个对象只要实现了Serilizab.
2022-05-13 20:48:20
1120
原创 idea下载数据库驱动太慢？
idea是我用的最顺手的数据库连接工具，不仅支持连接多种数据库，而且界面美观，自动补全，非常智能。我最近想用idea连接hbase，发现idea下载驱动非常慢，特此来记录一下。实际上驱动文件就是连接数据库的jar包，那我寻思jar包下载的慢我改个maven的setting.xml不就好了吗，后来发现并不work。找啊找，我发现idea是将所有数据库（例如，mysql、hive、hbase、es）的jar包下载地址都卸载一个配置文件里面的，想整的快，改了这个配置文件就行了。配置文件地址：# wind.
2022-05-12 14:47:14
5343
1
原创 flink cdc踩坑日记
最近几天想玩一下flink cdc，然而出现了神奇的一幕：有主键的表可以正常连接正常捕捉变化数据，但是没有主键的表却迟迟没有输出1. flink cdc代码实例maven依赖<properties> <scala.version>2.11</scala.version> <flink.version>1.13.6</flink.version></properties><dependencies&g.
2022-05-11 20:47:47
1770
原创 docker-compose使用
docker-compose是docker官方推出的一款很好用的容器管理工具。github地址是docker-compose。这个玩意的用处是啥呢，我们知道docker想要创建容器，先要拉一个镜像下来，然后根据这个镜像穿件容器，那么如果我有一个任务，需要间一个mysql环境、一个elasticsearch环境、一个kibana环境，那么我就需要拉去三个镜像，启动三个容器，这无疑是很麻烦的。docker-compose就是这样一个容器管理工具，其允许我们以yml格式的配置文件指定我们需要的所有实例，然后.
2022-05-11 17:59:10
638
原创 docker修改mysql中的my.cnf
事情的起因是是想要打开mysql上的binglog功能，但是直接修改我的mysql的配置总是报错，本机上的mysql卸载重装之类的操作非常耗费时间，于是我想能不能使用docker创建一个mysql容器，修改其配置，这样就会比较方便。1. docker搜索镜像$sudo docker search mysql2. docker拉取镜像将镜像拉到本地，可以根据这个镜像创建容器$ sudo docker pull mysql3. docker查看本地镜像4. docker运行镜像咱们.
2022-05-09 20:40:00
2919
原创 flink设置状态超时时间
flink中状态如果不清理就会越来越大，实际上很多状态是可以清理的，比如说我们在计算日活时，使用日期作为key划分流，为了过滤掉重复的用户，在每个key内都维护了一个MapState。而我们实际上只关注当前日期的日活（因为之前的日活我们已经知道了），所有可以将之前日期的状态都清理。手动清理很麻烦，我们可以为状态设置超时时间，当超过这个时间之后，flink会自动清除这些数据： /** * 统计日活，pass掉已经登录过的日志 */ static class RihuoP.
2022-05-08 20:20:32
2157
原创 elasticsearch使用
今天试了试elasticsearch，实际上我认为es的基本功能就是一个存取服务，与redis、hbase不同的主要有两点：es具有很强大的搜索功能，可以模糊查询等，es会根据给定的句子进行搜索，并将搜索结果按照相似度大小排序返回。es官方提供了kibana，即一个es客户端，通过kibana可以执行es命令，还可以对es中的数据进行可视化分析。1. es基本功能的使用我使用的是es 7.10.2和kibana 7.10.2，启动es和kibana之后，在kibana中进行一些简单的实验：.
2022-05-07 14:28:54
384
原创 spark中RDD的cache()和persist()
spark中RDD本身并不保存数据，每个对当前RDD的调用都需要从源头进行一次重新计算。因此，为了尽可能地复用计算结果，可以将当前RDD的内容保存到内存或者磁盘中。首先看一个例子，理解一下RDD的工作流程：JavaRDD<Integer> rdd1 = sparkContext.parallelize(List.of(1, 2, 3, 4, 5));JavaRDD<Integer> rdd2 = rdd1.map(x->{ System.out.printl.
2022-05-06 11:05:16
787
原创 flink打包运行
一个简单的flink打包运行的demo第一步：环境准备首先你要有个flink运行环境，我这里是使用虚拟机搭建的单机模式，启动flink，在8081端口就可以看见flink UI，在这里就可以进行flink作业的管理：第二步：flink代码的编写我使用flink SQL编写的代码，代码很简单，使用SQL读入kafka中一个topic的消息，写入另一个kafka topic中：package com.ms.flinksql;import org.apache.flink.table.api..
2022-04-30 16:09:35
5725
原创 CRAQ一致性协议
CRAQ一致性协议是对链式复制一致性协议的改进，增加列读操作的吞吐，设计非常有意思，记录一下。1. Chain Replication (链式复制)如上图所示，链式复制的思想是在一个分布式集群中，节点之间形成一个链路：对于任何写请求，都从HEAD节点开始写，直到写到TAIL，这个写请求被认为是被整个集群提交。对于任何读请求，都从tail中读取，因为tail中保存了所有已经提交的写请求。可以看出，通过这种机制，链式复制实现了强一致性，在同一时间任意请求集群，总能得到相同的结果。链式复制一致性.
2022-04-20 11:13:52
939
copresence-InVS13.edges
2020-11-06
springboot-dubbo-demo.zip
2020-02-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人