- 博客(1474)
- 收藏
- 关注
RSS订阅原创 flink的streaming api 统计文本中的字段个数
执行环境: DataSet 是:ExecutionEnvironment, Streaming 是: StreamExecutionEnvironment。在 DataSet API 里面分组使用的groupBy;在streaming里面使用的分组函数是: keyBy;调用: DataStream里面 env.execute();DataSet不用去调用。1.flink 的streaming api初步学习。有界数据流处理，文件数据处理。前面的编号是，并行度线程编号。
2026-06-25 21:51:47
14
原创 Flink的特点
spark数据模型:spark 采用 RDD模型，sparkStreaming的DStream 实际上也就是一组组小批数据RDD的集合。高可用:本身高可用的设置，加上与K8S，YARN和Mesos的紧密集成，再加上从故障中快速恢复和动态扩展任务的能力，把流处理需要的额外数据保存成一个"状态",然后针对这条数据进行处理，并且更新状态。flink运行时机构:flink是标准的流执行模式，一个事件再一个节点处理完后可以直接发往下一个节点进行处理。我们处理数据的目标是:低延迟，高吞吐，结果的准确性和良好的容错性。
2026-06-24 21:39:25
203
原创 git的基本使用
1.git的基本使用及gitee的使用。仓库的名称要和本地项目名称相同。文件里面添加需要忽略的文件类型。的地址，填入就可以推送到远程。
2026-06-23 22:23:37
195
原创 es按时间和而关键词搜索索引
"query": {"bool": {"must": ["term": {},"range": {},"sort": [],
2026-06-18 11:02:43
30
原创 历史数据如何冷热分离。
不要对已存在的巨大索引使用包含 rollover 的 ILM 策略。#注意：如果原模板没有其他 settings，直接加上这两行；#步骤二：修改数据流的索引模板（使新建后备索引自动应用策略）#步骤四：强制将符合年龄的旧索引迁移到冷节点（可选，加速）#步骤三：为已存在的后备索引“手动”附加 ILM 策略。#刚开始放在热节点，超过7天放入冷节点。#// 索引创建7天后进入冷节点。...原有内容不变...,#如何获取所有后备索引？# 查看数据流的 ILM 状态。# 查看分片所在的节点标签。
2026-06-17 14:33:18
204
原创 MySQL 删除当前binlog 日志导致MySQL无法启动
MySQL 删除当前binlog 日志导致MySQL无法启动。删除当前binlog;
2026-06-16 11:30:40
173
原创 #mongoshake版本是:2.8.7 无法更新 ckpt_default 集合的问题
command(udpate: "ckpt_default",ordered:true,writeConcern:{w:"majority"}),我配置的checkpoint.storage.db=mongoshake,我的mongoshake_repl拥有对config数据库的read权限，也有对admin数据库的clusterMonitor权限。目标端数据库:mongoshake是存在的，集合 ckpt_default集合也是存在的，我也能正常写入数据。所以给目标端无论授予什么权限都没有解决。
2026-06-11 11:04:29
163
原创 but this cluster currently has 8000/8000 maxinum shards open:es shard满
集群的shards达到上限了么，要怎么处理。
2026-05-28 14:25:12
23
原创 mongoshake管理
mongo_cs_url = mongodb分布式集群下,只保留:mongo_s_url,需要注释掉 :mongo_urls,mongo_cs_url;#目标端集合存在是否删除;不删除,针对有分片的情形;#启动mongoshake进程;#需要变更的参数变量。
2026-05-21 15:18:35
371
原创 LVS的负载算法
在 Keepalived 中，rr 和 lc 等算法是 LVS（Linux Virtual Server）的功能，不是 Keepalived 核心 VRRP 的功能。rr Round Robin 轮询，按顺序分配 后端性能相同，请求耗时均匀。Keepalived LVS 负载均衡（IPVS） rr, wrr, lc, wlc, sh, dh 等。会话保持 ❌ ❌ ❌ ❌ ✅。
2026-05-20 10:51:49
240
原创 LVS如何将请求从keepalived转发到DBLE
客户端 → Keepalived (LVS, eth0:VIP) → 修改目标 MAC → DBLE 节点 (lo:VIP, 但不响应 ARP)Keepalived 节点（LVS）收到请求，不修改 IP，只将目标 MAC 地址改为 DBLE 节点的 MAC。DBLE 节点收到数据包，发现目标 IP 是 VIP（在 lo 上），内核接受并交给 DBLE。DBLE 节点 lo 上的 VIP 不能响应 ARP（需要配置 arp_ignore=1）DBLE 直接响应客户端（不经过 Keepalived）
2026-05-20 10:47:27
196
原创 MySQL节点，常见的内核参数设置
处于SYN_RECV的TCP最大连接数,SYN_RECV状态的TCP连接数超过该值后丢弃后续的SYN报文。#服务端所能接受SYN同步包的最大客户端数量，即半连接上限，默认值是128。#为TCP socket预留用于接收缓冲的内存缺省值(以字节为单位)#为TCP socket预留用于发送缓冲的内存缺省值(以字节为单位)#自动调优所使用的接收缓冲区的值，最少字节数/默认值/最大字节数。#表示内核允许分配所有的物理内存，而不管当前的内存状态如何。#为TCP socket预留用于接收缓冲的内存最大值。
2026-05-14 17:21:25
39
原创 DBLE -Dcom.sun.management.jmxremote.port=1984 端口占用，导致多实例无法启动
这行参数 -Dcom.sun.management.jmxremote.port=1984 用于为 Java 应用程序（例如 DBLE）开启 JMX（Java Management Extensions）-Dcom.sun.management.jmxremote.port=1984 指定 RMI 注册端口，JMX 客户端通过此端口连接。（常配套参数）-Dcom.sun.management.jmxremote.ssl=false 关闭SSL加密（生产环境需谨慎）🔍 JMX 是什么？
2026-05-13 08:53:09
53
原创 多实例部署DBLE,发现 Address already in exists；
JDWP 是 Java Debug Wire Protocol 的缩写，即 Java 调试连线协议。我们之前遇到的那个 Address already in use 错误，正是因为 DBLE 的 JDWP 功能默认被打开了。如果你的 DBLE 配置里包含了 -agentlib:jdwp 参数，一个正在运行的 Java 程序（比如 DBLE），设置断点、检查变量、分析代码执行流程，从而远程诊断问题。address=8088：8088 就是 DBLE 尝试监听的 JDWP 调试端口。
2026-05-13 08:47:14
32
原创 mongodb:index build:inserting keys from external sorter into index index build；
第一阶段：外部排序（数据准备）：MongoDB 会扫描集合，收集所有需要索引的键值，如果数据量太大内存装不下，就会临时存放到磁盘上的外部排序文件里。你看到的这条信息，其实是 MongoDB 在告诉你：索引构建正在有条不紊地进行中，现在正处于将整理好的数据写入磁盘索引文件的阶段，第二阶段：写入索引（你当前看到的阶段）：这是最耗时的环节，系统会读取第一阶段生成的排序数据，并将它们逐个写入索引文件中。这是整个索引构建过程里最耗时的环节。这既不是错误，也并非卡住，你可以把它理解为索引创建的“落地”阶段。
2026-05-12 17:23:37
28
原创 too many openfiles ,操作系统修改后查看进程
cat /proc/92750/limits | grep "Max open files"
2026-05-12 16:42:48
215
原创 mongodb分片集群yml的标准写法
关联配置服务 # Associated configuration service。# 注意修改路径 # Note the modification path。#注意修改端口 # Notice Modifying the port。# 注意修改端口 # Notice Modifying the port。#复制集名称 # Replication set name。#作为分片服务 # As a shard service。
2026-05-09 09:35:10
239
原创 使用zk管理dble的元数据需要注意的参数
vim cluster.cnf clusterEnable=trueclusterMode=zkclusterIP=192.168.3.1:2181,192.168.3.2:2181,192.168.3.3:2181clusterPort=5700rootPath=/dble-1clusterId=cluster-1needSyncHa=trueshowBinlogStatusTimeout=60000sequenceHandlerType=2
2026-05-09 09:33:05
24
原创 mongoshake使用注意事项
1.mongoshake将mongodb变更的完整记录推送到kafka。配置mongos的连接时;不需要使用 authSource选项。#复制用于需要有全局读的权限，和mongoshake的写权限。
2026-04-21 14:24:00
29
原创 canal集群模式下zk上cluster节点为空怎么办
下面自动生成:1001,cluster,running 三个文件或目录，并正式同步。2.CANALWEB界面保存原有的集群配置信息。用旧的配置覆盖新的配置-->保存。1.删除旧的ZK信息。重载配置-->保存。
2026-04-21 11:15:59
27
原创 canal集群模式下destinations参数的注意事项
destination 和 instance 在这里是同一个意思，在 Canal 的上下文中，“destination” 和 “instance”（实例）通常是混用的，都指代一个同步任务。在 Canal 集群模式下，ZooKeeper 中的 destinations 节点（即实例的唯一标识）以 Canal Admin 界面中配置的实例名称为准，我推测这可能是 Canal Admin 配置文件中的 canal.admin.destinations 参数，而不是管理界面上的实例配置。
2026-04-21 11:14:12
50
原创 canal抽取到不应该抽取的数据
canal.instance.filter.query.dml 是否丢弃 binlog 中记录的原始 SQL 文本，但保留行数据变更。canal.instance.filter.query.ddl 是否丢弃 DDL (数据定义语言) 语句。canal.instance.filter.query.dml 丢弃/过滤 binlog 中额外的原始 SQL 文本，但保留数据变更。canal.instance.filter.query.ddl 丢弃/过滤 所有 DDL 操作。
2026-04-21 10:46:19
245
原创 mongodb 启用安全认证注意事项
5.config server 和 shard server 配置入下;#mongos节点只指定密钥文件即可。2.先重启 configserver;3.再重启shard server;6.mongos 节点配置如下；4.最后重启 mongos;
2026-04-20 18:52:03
30
原创 如何查看数据流的索引的创建时间
"index_name":".ds-logs-network-log-default-000001","creation_date":"1774335815092" #2026年3月14日 16:23:35 (UTC)"index_name":".ds-logs-network-log-default-000002","creation_date":"1775545832720" #2026年3月28日 16:30:32 (UTC)#通过元数据查看索引或者数据流中索引的创建时间.#查看数据流中的索引。
2026-04-20 17:18:51
29
原创 mongoshake2.8.7版本使用问题
1.当kafka密码中出现特殊符号时，无法连接成功。可能的原因是mongoshake的特殊符号处理机制有问题。filter.namespace.white = dbname #要同步的数据库。理论上应该按照如上的规则进行解析，但是实践并不生效，解决方案为。将kafka的账号密码修改为没有特殊符号的样子。
2026-04-17 14:09:45
57
1
原创 windows环境，让E盘文件的隐藏属性变为非隐藏
windows环境，让E盘文件的隐藏属性变为非隐藏属性。U盘被病毒感染，所有文件变成了隐藏文件，无法查看。让隐藏的文件可以重新看到。
2026-04-07 22:16:38
33
原创 cannot invoke “org.wltea.analyzer.dic.DictSegment.match(char[],init,int)“ because “org.wltea.analyze
config目录下需要设置停用词。
2026-04-02 18:33:57
49
1
原创 kafka客户端scram和plain登录方式的区别
PLAIN 和 SCRAM 的核心区别在于 密码的安全性 与 用户管理的灵活性。简单来说，SCRAM 是更安全的 PLAIN 升级版。SCRAM-SHA-512：使用更复杂的 SHA-512 哈希算法。SCRAM 有 SCRAM-SHA-256 和 SCRAM-SHA-512 两种主流实现，数字代表哈希算法的位长。SCRAM-SHA-256：使用 SHA-256 哈希算法。提供了足够的安全性，是安全与性能的平衡选择。安全性 较低。传输的是经过哈希加盐（Salt） 处理的信息，不直接传输密码。
2026-04-02 13:56:17
207
原创 mysql8.0的新功能简单说明1
mysql8.0 ,log_error_verbosity 默认值是2，建议调整为3，打印更详细的信息。lower_case_table_names=1 所有的名字小写。修改密码后才可以连接，否则无法连接。开始SSL，性能损失大约20%;（1）默认的密码插件有变化。大小写敏感:不可以动态修改。
2026-03-23 22:11:35
36
原创 DBLE导出表结构报:cannot execute show create table
可能是因为blob类型导致失败，使用 --hex-blob参数可以有效解决dble无法导出表结构的问题。#导出DBLE里面的表结构。
2026-03-23 11:41:35
35
原创 什么是RIP协议
这个设计限制了网络的规模，只适用于中小型网络。RIPv2 |支持 CIDR 和 VLSM，支持明文或 MD5 认证，组播更新（224.0.0.9），是目前较常用的版本。它的核心思想可以概括为：“我把我知道的告诉邻居，邻居再告诉他知道的”，并且只关心距离（跳数），不关心网络带宽或延迟。RIP 是路由协议中的“老前辈”，虽然技术指标上已被 OSPF、IS-IS 等超越，但由于其简单、轻量、易用，距离向量算法：每台路由器都维护一张路由表，表中记录着到达各个目标网络的“方向”（下一跳）和“距离”（跳数）。
2026-03-22 16:55:56
35
原创 什么是OSPF协议
可以在云企业网或边界路由器上配置OSPF，将企业IDC的路由动态地“宣告”到云上，实现混合云网络的自动互通，无需手动配置几百条静态路由。计算最优路径：有了全网地图后，每台路由器都以自己为“根”，运行 SPF算法（也叫Dijkstra算法），计算出一棵无环的、建立邻居关系：路由器通过发送Hello报文，与直连链路上的其他OSPF路由器“打个招呼”，确认彼此存在，并建立邻居关系。OSPF是一个链路状态路由协议，它的工作逻辑可以概括为三步：“交朋友” → “交换地图” → “计算路径”。比如，当核心交换机到。
2026-03-22 16:44:23
116
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人