自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(151)
  • 资源 (1)
  • 问答 (1)
  • 收藏
  • 关注

原创 ubuntu22.04 启用 root登录

普通用户输入如下命令给 root 设置密码根据提示设置密码。

2024-04-19 17:43:49 81

原创 Flink学习(六)-容错处理

快照– 是 Flink 作业状态全局一致镜像的通用术语。快照包括指向每个数据源的指针(例如,到文件或 Kafka 分区的偏移量)以及每个作业的有状态运算符的状态副本,该状态副本是处理了 sources 偏移位置之前所有的事件后而生成的状态。Checkpoint– 一种由 Flink 自动执行的快照,其目的是能够从故障中恢复。Checkpoints 可以是增量的,并为快速恢复进行了优化。外部化的 Checkpoint– 通常 checkpoints 不会被用户操纵。

2024-04-16 20:56:11 644

原创 Flink学习(五)-流式分析

事件时间(event time):事件产生的时间,记录的是设备生产(或者存储)事件的时间摄取时间(ingestion time):Flink 读取事件时记录的时间处理时间(processing time):Flink pipeline 中具体算子处理事件的时间。

2024-04-11 12:03:19 338

原创 Flink学习(四)-数据管道 & ETL

只适用于一对一的转换,即对每个进入算子的流元素,map()将仅输出一个转换后的元素。flatmap()可以输出任意数量的元素,也可以一个都不发。

2024-04-07 14:35:34 554

原创 FLink学习(三)-DataStream

Flink 自带有Tuple0到Tuple25类型Flink 可识别为 POJO 的条件如下。

2024-04-03 09:51:46 836

原创 Flink学习(二)-基础概念

关注事件本身发生的顺序而不是事件被传输以及处理的顺序;记录在数据流中的事件时间的时间戳,而不是处理数据的机器时钟的时间戳。

2024-04-02 11:28:53 595

原创 Flink学习(一)-flink 本地部署

官网推荐 jdk11 版本。我用 17也可以跑起来。

2024-03-29 11:20:00 429

原创 ack使用containerd拉取自建docker仓库 x509: cannot validate certificate for because it doesn‘t contain 处理

主要是证书问题。

2024-02-02 20:52:57 470

原创 docker手动迁移镜像

通过 ftp 工具或者命令,下载到本地。

2024-02-02 09:23:52 574

原创 linux 上安装 minio

默认密码:minioadmin第六步,通过浏览器访问。进程将其输出打印到系统控制台,类似于以下内容。命令启动MinIO服务器. 这个路径参数。默认用户名:minioadmin。确定服务器操作的文件夹。

2023-12-21 17:15:30 990

原创 基于 SSE 的前端日志展示

参考。

2023-10-23 16:49:54 1517

原创 服务器往浏览器推消息(SSE)应用

SSE(服务器发送事件)SSE是一种基于HTTP的单向通信机制,用于服务器向客户端推送数据。它的工作原理如下:建立连接:客户端通过发送HTTP请求与服务器建立连接。在请求中,客户端指定了接收事件的终点(Endpoint)。保持连接:服务器接收到连接请求后,保持连接打开,并定期发送事件数据给客户端。事件流:服务器使用 “Content-Type: text/event-stream” 头部标识SSE连接,并使用特定格式的数据(事件流)发送给客户端。

2023-10-18 14:26:52 2395

原创 k8s查看当前命名空间下所有运行的 pod 对应的镜像

4,查看所有deployment和其中的镜像。3, 同时显示pod名称和镜像。

2023-10-16 18:30:38 1809

原创 Datax 数据同步-使用总结(二)

这部分主要记录 datax 实现增量同步的方案。

2023-09-12 18:52:58 1116

原创 Mysql读取binlog并分析 binlog

配置文件中增加。

2023-09-01 11:09:20 1206

原创 Doris(六)--通过 Canal 同步数据到 Doris 中

网上有众多方法,自行百度。查询是否成功,在 mysql 客户端输入出现如下提示,即表示 big log 正常开启。

2023-08-31 16:50:21 796

原创 FineReport 使用汇总(不定期更新)

这里注意。

2023-08-10 12:07:20 112

原创 Doris(五)-Rollup 使用

通过执行计划,发现后续执行的已经走 rollup索引了。

2023-08-07 17:33:32 121

原创 Doris(四)-聚合模型的使用

这里使用聚合模型,可以在导入数据的时候,就将部分数据做预处理,提高查询效率。同样,因为是预处理,因此,数据细节会。

2023-08-07 15:45:13 203

原创 Datax 数据同步-使用总结(一)

datax 通常做离线数据同步使用。目前能想到的方案利用 linux 的定时任务+时间戳的方式做增量同步。

2023-08-04 16:24:11 2847 1

原创 Doris(三)-集群部署3个FE+3个BE

这里是因为已经启动过其他两个节点了。需要停掉所有FE之后,删除每个节点上doria-meta里面的内容之后。重新配置FE的关系。配置好主节点,并将相关FOLLOWER和OBSERVER信息都加入主节点的FE之后,再启动剩下两个节点的FE。看backends,显示alive,即为Backend搭建正常。输入如下sql,添加FOLLOWER和OBSERVER。此步也可以不配,不配,则默认在fe的安装目录下生成。a)在主节点上利用mysql客户端登录FE。第三节点(OBSERVER)第一个节点(主节点)

2023-08-03 23:52:10 5409 3

原创 3节点linux服务器集群搭建

由于当前集群部署已经成为主流,适当研究一些集群部署的基本操作,有助于后续像k8s集群、doris集群的部署。大部分集群都是一主两从这种三节点配置。故本文也是采用三节点完成相关学习和记录。

2023-08-01 23:05:07 385

原创 Doris(二) -通过外部表同步数据

参考网址1.2.3.

2023-07-26 17:57:09 872

原创 doris(一)--单机版安装

可以参考,直接安装单机版。这里简单总结下相关步骤。

2023-07-22 15:25:32 249

原创 sql*plus操作orcale数据库

sql*plus的一些常规操作。

2023-03-01 09:53:04 279

原创 mysql增加时间戳

mysql的时间戳的属性,灵活而强大。

2023-02-15 10:31:46 1191

原创 k8s部署官方dashboard

k8s有一个官方dashboard,方便图形化操作界面。

2022-10-24 22:46:56 521

原创 k8s+docker+tomcat发布web服务(包含配置文件使用)

k8s+docker+tomcat发布web服务(包含配置文件使用)

2022-10-17 23:49:00 647

原创 k8s+docker+spring boot搭建web服务

算是一次比较综合的检验了。基本上已经成功跑起来了,但是,存在问题:1,私有仓库的镜像不知道为啥不能拉取,但是到了节点上,又可以手动拉取。2,spring boot的application.yml文件,没有加载上。需要修改。

2022-10-17 00:29:44 846

原创 k8s从私有仓库拉取镜像

k8s从私有仓库拉取镜像

2022-10-16 18:08:24 3906

转载 K8S相关学习

k8s基础知识

2022-10-16 16:54:07 65

原创 docker私有仓库搭建

建立docker私有仓库方便使用。

2022-10-16 12:09:45 1126

原创 Linux常用命令操作

1,大文件日志关键字查询grep -A 行数 -B 行数 "关键字" 待查询的文件 > xx.log将待查询文件中,含有 关键字 的前后行数,输出到xx.log文件中。1、满足一个条件(包含 “TJ” )的语句:grep '1805' CloudPayment.log > out.logcat CloudPayment.log | grep '1805' > out.log2、满足两个条件中的一个条件(包含“1805” 或者 包含“1905”)的命令:...

2022-02-19 00:04:20 102

原创 RabbitMQ学习(七)-- TTL过期时间

目录一、添加队列10s过期二、某条消息5秒过期三、注意一、添加队列10s过期 @Bean("buildTtlQueue") public Queue buildTtlQueue(){ return QueueBuilder.durable(QUEUE_TTL_NAME).ttl(10000).build();//队列10s过期 }二、某条消息5秒过期核心就是那个MessagePostProcessor对象rabbitTemplate.convertAndSe

2020-12-20 21:36:58 218

原创 RabbitMQ学习(六)-- 限流器使用

目录一、添加配置二、添加代码三、测试结果一、添加配置spring: rabbitmq: listener: type: direct direct: acknowledge-mode: manual #手动模式 prefetch: 5 #每秒处理5条请求二、添加代码package com.wayne.listener;import com.rabbitmq.client.Channel;import lombok.exter

2020-12-20 17:06:43 223

原创 RabbitMQ学习(五)-- 消息Consumer ack

目录一、修改配置文件二、实现ChannelAwareMessageListener接口三、测试结果四、总结一、修改配置文件spring: rabbitmq: listener: type: direct direct: acknowledge-mode: manual #手动模式二、实现ChannelAwareMessageListener接口package com.wayne.listener;import com.rabbitmq.cli

2020-12-20 16:35:15 336

原创 RabbitMQ学习(四)-- 消息的可靠性投递

目录一、confirm模式1、配置2、添加callback回调方法3、测试结果二、return 模式1、配置2、添加returnCallBack代码3、测试结果一、confirm模式1、配置在新版rabbitMQ中,publish-confirms配置过时了,如果要使用confirm模式,则使用如下配置publisher-confirm-type: correlated即spring: redis: host: 10.211.55.

2020-12-15 23:31:39 171

原创 RabbitMQ学习(三)-- Spring boot 集成 RabbitTemplate

1,引包 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-amqp</artifactId> <version>2.4.0</version> </dependency>2,

2020-12-14 00:18:11 1078 1

原创 Spring boot集成xxl-job

1st 原始网址https://www.xuxueli.com/xxl-job/2nd 下载源码

2020-12-11 23:02:28 568

原创 RabbitMQ学习(二)-- 工作模式

目录一、普通通道二、工作队列工作原理如图源码如下测试情况​控制台打印二、发布/订阅模式工作原理图源码如下测试情况:三、routing模式工作原理源码测试情况四、topic模式工作原理源码测试情况一、普通通道代码已经在RabbitMQ学习(一)-- producer&&consumer写了,这里不在多言二、工作队列工作原理如图源码如下生产者package com.wayne;impo.

2020-12-11 00:34:07 132

开题报告格式.doc

这是开题报告的格式,贡献出来大家看看,希望有帮助啊!

2013-04-24

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除