- 博客(157)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 CentOS7-安装kubernetes v1.30.0版本
笔者之前参考网上教程，在3节点的linux服务器上完成k8s-v1.17.4和docker方式的搭建。后续发现，k8s从1.24之后，没有Dockershim了。因此有些配置方法不适合v1.30.0的版本。故重新按照官网+网络资料的方式，安装下v1.30.0版本的k8s。内心OS：如果资金足够的话，直接购买云服务器厂商提供的k8s服务就行了。避免复杂的配置。
2024-04-28 15:36:58
1793
原创 CentOS安装CRI--containerd
从containerd.service的发行列表中，下载对应的containerd.service，并放到/usr/local/lib/systemd/system/containerd.service。中还有其他方式的安装，这里只介绍了一种。执行如下命令，开启containerd.service自启动。下载后，通过如下命令，解压到/usr/local目录下。执行如下命令，将它解压到/opt/cni/bin中。通过如下命令生成默认的config.toml文件。修改一些配置，方便后续的k8s的搭建。
2024-04-27 17:27:41
852
原创 Flink学习（九）-jar 包提交给 flink 集群执行
执行后，依旧在浏览器的 webUI 中，看相关信息即可。在命令行中，在flink 的安装目录下，执行。
2024-04-25 16:10:59
932
4
原创 Flink学习（八）-Flink 集群搭建
装好 jdk 等必要的组件。注意，由于本身没有额外的 dns做转发。因此，需要在每台机器的 host 文件里，配置好相关 ip具体方法。
2024-04-23 16:18:27
1020
3
原创 Flink学习（六）-容错处理
快照– 是 Flink 作业状态全局一致镜像的通用术语。快照包括指向每个数据源的指针（例如，到文件或 Kafka 分区的偏移量）以及每个作业的有状态运算符的状态副本，该状态副本是处理了 sources 偏移位置之前所有的事件后而生成的状态。Checkpoint– 一种由 Flink 自动执行的快照，其目的是能够从故障中恢复。Checkpoints 可以是增量的，并为快速恢复进行了优化。外部化的 Checkpoint– 通常 checkpoints 不会被用户操纵。
2024-04-16 20:56:11
953
原创 Flink学习（五）-流式分析
事件时间(event time)：事件产生的时间，记录的是设备生产(或者存储)事件的时间摄取时间(ingestion time)：Flink 读取事件时记录的时间处理时间(processing time)：Flink pipeline 中具体算子处理事件的时间。
2024-04-11 12:03:19
383
原创 Flink学习（四）-数据管道 & ETL
只适用于一对一的转换，即对每个进入算子的流元素，map()将仅输出一个转换后的元素。flatmap()可以输出任意数量的元素，也可以一个都不发。
2024-04-07 14:35:34
627
原创 Flink学习（二）-基础概念
关注事件本身发生的顺序而不是事件被传输以及处理的顺序；记录在数据流中的事件时间的时间戳，而不是处理数据的机器时钟的时间戳。
2024-04-02 11:28:53
656
原创 ack使用containerd拉取自建docker仓库 x509: cannot validate certificate for because it doesn‘t contain 处理
主要是证书问题。
2024-02-02 20:52:57
909
原创 linux 上安装 minio
默认密码：minioadmin第六步，通过浏览器访问。进程将其输出打印到系统控制台，类似于以下内容。命令启动MinIO服务器. 这个路径参数。默认用户名：minioadmin。确定服务器操作的文件夹。
2023-12-21 17:15:30
1107
原创 服务器往浏览器推消息（SSE）应用
SSE（服务器发送事件）SSE是一种基于HTTP的单向通信机制，用于服务器向客户端推送数据。它的工作原理如下：建立连接：客户端通过发送HTTP请求与服务器建立连接。在请求中，客户端指定了接收事件的终点（Endpoint）。保持连接：服务器接收到连接请求后，保持连接打开，并定期发送事件数据给客户端。事件流：服务器使用 “Content-Type: text/event-stream” 头部标识SSE连接，并使用特定格式的数据（事件流）发送给客户端。
2023-10-18 14:26:52
2729
原创 Doris(六)--通过 Canal 同步数据到 Doris 中
网上有众多方法，自行百度。查询是否成功，在 mysql 客户端输入出现如下提示，即表示 big log 正常开启。
2023-08-31 16:50:21
1363
原创 Doris(四)-聚合模型的使用
这里使用聚合模型，可以在导入数据的时候，就将部分数据做预处理，提高查询效率。同样，因为是预处理，因此，数据细节会。
2023-08-07 15:45:13
414
原创 Datax 数据同步-使用总结（一）
datax 通常做离线数据同步使用。目前能想到的方案利用 linux 的定时任务+时间戳的方式做增量同步。
2023-08-04 16:24:11
3213
1
原创 Doris(三)-集群部署3个FE+3个BE
这里是因为已经启动过其他两个节点了。需要停掉所有FE之后，删除每个节点上doria-meta里面的内容之后。重新配置FE的关系。配置好主节点，并将相关FOLLOWER和OBSERVER信息都加入主节点的FE之后，再启动剩下两个节点的FE。看backends，显示alive，即为Backend搭建正常。输入如下sql，添加FOLLOWER和OBSERVER。此步也可以不配，不配，则默认在fe的安装目录下生成。a）在主节点上利用mysql客户端登录FE。第三节点（OBSERVER）第一个节点（主节点）
2023-08-03 23:52:10
6143
5
原创 3节点linux服务器集群搭建
由于当前集群部署已经成为主流，适当研究一些集群部署的基本操作，有助于后续像k8s集群、doris集群的部署。大部分集群都是一主两从这种三节点配置。故本文也是采用三节点完成相关学习和记录。
2023-08-01 23:05:07
629
原创 k8s+docker+spring boot搭建web服务
算是一次比较综合的检验了。基本上已经成功跑起来了，但是，存在问题：1，私有仓库的镜像不知道为啥不能拉取，但是到了节点上，又可以手动拉取。2，spring boot的application.yml文件，没有加载上。需要修改。
2022-10-17 00:29:44
977
原创 Linux常用命令操作
1，大文件日志关键字查询grep -A 行数 -B 行数 "关键字" 待查询的文件 > xx.log将待查询文件中，含有 关键字 的前后行数，输出到xx.log文件中。1、满足一个条件(包含 “TJ” )的语句：grep '1805' CloudPayment.log > out.logcat CloudPayment.log | grep '1805' > out.log2、满足两个条件中的一个条件（包含“1805” 或者 包含“1905”）的命令：...
2022-02-19 00:04:20
136
原创 RabbitMQ学习（七）-- TTL过期时间
目录一、添加队列10s过期二、某条消息5秒过期三、注意一、添加队列10s过期 @Bean("buildTtlQueue") public Queue buildTtlQueue(){ return QueueBuilder.durable(QUEUE_TTL_NAME).ttl(10000).build();//队列10s过期 }二、某条消息5秒过期核心就是那个MessagePostProcessor对象rabbitTemplate.convertAndSe
2020-12-20 21:36:58
269
利用二分法插入一个数据，数据总是无法达到有序的效果
2015-09-19
TA创建的收藏夹 TA关注的收藏夹
TA关注的人