- 博客(14)
- 收藏
- 关注
RSS订阅原创 Flink 会话窗口
窗口接收到第一条数据时开启窗口，开启时间明显能看出比source发出数据的时间多了几十毫秒。然后后面每接到一条数据都会从这条数据到达的时间开始延长这个会话窗口时间1s。而且，窗口结束时间跟真正关闭触发计算不一样，窗口需要接收到下一个元素，且已经迟到的元素后，当前窗口才会进行真正关闭计算，迟到的元素进入下一个窗口，重复。所以窗口时间关闭应该是第四条数据发出时间+1s+几十毫秒。可以看出，窗口开启时间是元素发出的eventTime,窗口结束时间也是元素发出的1s后时间，2472-1472 = 1000。
2023-02-06 09:07:57
282
原创 k8s部署flume+kafka+flink，构建开发环境大数据实时分析日志系统（不需要Zookeeper）
一 flumeflume镜像需要自己制作，然后部署yaml及配置文件如下apiVersion: v1kind: Podmetadata: name: flumespec: nodeName: worker01 containers: - name: flume image: myflume:1.4 args: - /bin/sh - -c - > bash /opt/fl..
2021-06-21 11:09:19
1034
原创 一表一图理解MySQL四种事务隔离性
首先，理解MySQL的三种日志：redo log:WAL技术：Write-Ahead Logging，先写日志，再写磁盘。当有一条记录需要更新的时候，InnoDB 引擎就会先把记录写到 redo log（粉板）里面，并更新内存，这个时候更新就算完成了。同时，InnoDB 引擎会在适当的时候，将这个操作记录更新到磁盘里面，而这个更新往往是在系统比较空闲的时候做binlogServer层的归档日志redo log 是物理日志，记录的是“在某个数据页上做了什么修改”， 循环写，空间固定会用完.
2021-06-13 23:28:34
132
原创 ArrayList源码解读
public class ArrayList<E> extends AbstractList<E> implements List<E>, RandomAccess, Cloneable, java.io.Serializable{ private static final long serialVersionUID = 8683452581122892189L; //静态默认的数组大小值 静态变量是不会被序列化的，即使没有tra...
2021-05-16 20:53:12
102
原创 k8s部署flume并传给kafka
一：镜像准备 同上篇一样你需要先搞一个镜像，把flume装上去。二：flume的配置文件准备# Licensed to the Apache Software Foundation (ASF) under one# or more contributor license agreements. See the NOTICE file# distributed with this work for additional information# regarding copyr...
2021-05-13 13:17:05
1264
原创 K8S部署无Zookeeper模式的Kafka集群
一：镜像准备 自己在k8s集群上随便找个节点先用docker搞一个java镜像，在里面装上kafka2.8，然后使用我上篇博客生成集群ID的方法生成一个ID，保存下来，其他不用干。保存下来的ID用ConfigMap搞到集群。 例如apiVersion: v1kind: ConfigMapmetadata: name: cluster-iddata: key: cp3xNauAQyq-CPd8bX3Rhg二：挂载准备 在你挂载的地方...
2021-05-13 13:04:50
1825
2
原创 Kafka2.8无Zookeeper模式下集群部署
一：介绍kafka在Ralf协议上实现了KRalf，并用此替代了Zookeeper，目前2.8可以开始使用无Zookeeper模式，但官方不建议生产用。具体的协议原理以及说明请自行Baidu或者Google二：单机部署下载kafka2.8，解压。可以看到config里面有kraft文件目录。kraft目录下有三个配置文件以及一个readme.md,查看readme.md,也就是你目前能看到的官方给出的无zookeeper模式的配置方式和教程。如果你按照这个部署单节点，看前半部分就够了，很简单。但
2021-04-29 14:05:22
3193
6
原创 记录在云原生技术日志收集的两个坑——flume和fluent（1）
flume flume原官方本就没实现支持k8s或者其他容器部署，虽然能找到一些镜像，但没啥人用，因为坑就在这里 flume最常用的source类型，taildir，可以监控指定的多个文件，一旦文件内有新写入的数据，就会将其写入到指定的sink内，但如果部署到容器上，flume就必须通过挂载监听文件，但这样就会有问题。因为flume读取追加内容的机制是通过记录一个偏移量文件来实现，这个文件也是需要配置的...
2021-04-09 20:48:10
1057
原创 Linux 容器通俗理解
有时候觉得容器就像是楚门的世界电影所讲的一样，大家有空可以看看关于我自己对容器的理解：一台linux机器就像是一个很大的社区，社区里拥有吃喝住行，甚至是一个人生活所需的一切。假设，社区里建造起来的空间就是进程，例如居住的房子，卖东西的铺子，唱歌的KTV等等，里面所进行的事就像是线程，人和物就是程序和资源。一般来说，社区的一切是全体所知的，其他的空间（进程），空间所需什么，要干什么（资源和程序），大家知道，听从安排。但是这样的管理，太麻烦，造房子过程，太麻烦，有的人就希望有的空间可以不受这个社区环境的影响
2021-03-05 20:58:09
1075
原创 Echart 动态修改不提供formatter的属性
Echart 动态修改不提供formatter的属性用 三元表达式 选择{ source: reverse ? 2 : 0, target: 1, label: { normal: { show: true, custom: { bwckh: data1.bwckh, label: d
2021-01-20 20:41:48
169
原创 一图理解ThreadLocal、ThreadLocalMap和Thread的关系
ThreadLocalMap拥有静态内部类Entry，可以实例化多个；每个Entry的key就是当前线程使用的ThreadLocal引用，值是你使用ThreadLocal set的值附上测试代码public static void main(String[] args) { final ThreadLocal local = new ThreadLocal(); Random random = new Random(); for (int...
2020-11-10 16:59:01
514
原创 AES加密算法通俗理解
其实比较通俗形象的理解是魔方，我相信应该大家都玩过或者知道魔方这东西。魔方就好比一段需要加密的明文，你把一个原本六面都是同一颜色的魔方随便转动一下，就跟原来不一样了，但只要你按照刚才的操作逆向转回，就能得到原本完好的魔方了。所有对魔方的打乱操作，你都可以记录下来，这是加密，你按照反序把操作执行一遍就是解密。密钥你可以看出转动的规则，由你定义，给到对方，对方通过密钥得到正确的转动操作。需要更...
2019-12-05 14:47:29
402
原创 算法管理
是否可达#include<stdio.h>#include<string.h>int cnt;int head[1000];int n;struct node{ int v; int net;}Eg[1000];void build(int from,int to){ Eg[cnt].v=to;Eg[cnt].net=head[from];head[fro...
2018-04-24 18:02:00
897
原创 表单提交Servlet出现第一次404,第二次出现500错误
除了网上所说,eclipse没有自动编译,就是没有编译好Servlet, 还有就是xml配置出错,,但我却遇到的是整个工程文件上的问题,例如我在导入jar包的问题上出错,找不到jar包,同样会出现这种情况,所以出现项目文件上有红色感叹号的必须先解决人生第一次写博客
2017-07-27 15:25:43
1275
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人