bao_since的博客

前置介绍1.1 K8s 简介Pod: K8s 的原子调度单位，是一个或多个 Container 的组合，Container 共享同一个网络、存储。Deployment: 对一组相同 Pod 的高级抽象，保障高可用。Service: 定义服务的访问入口，通过 Label Selector 绑定后端 Pod 副本集。如果 K8s 内部有一个服务，需要在外部进行访问，此时可以通过 Service 用 LoadBalancer 或者 NodePort 的方式将其暴露出去。如果不希望或不需要对外暴露服务，可

参考stackoverflow答案：https://stackoverflow.com/questions/44317384/sbt-error-failed-to-construct-terminal-falling-back-to-unsupportedWelcome to Scala 2.11.12 (Java HotSpot(TM) 64-Bit Server VM, Java 1....

flink 官方示例比较简单，也很久没更新过了。mongos生产集群需要认证权限，按文档提示配置好规则，这里output到测试库，所以没配置太多这里是单线程读取，还不清楚可不可以通过配置实现并行读取。import com.mongodb.hadoop.MongoInputFormat;import com.mongodb.hadoop.MongoOutputFormat;impo...

public class RecordSeclectId implements KeySelector<Record, String> { private static final long serialVersionUID = 4780234853172462378L; @Override public String getKey(Record value) throw...

如果没有dfs，需要配置dfs路径的位置也可以用本地file路径替换,倒也能启动集群和作业，但不要这样用，在作业容错和重启时会出现问题，比如找不到存在其他机器磁盘上的状态。HA 配置为 3masters 3slaversjava1.8->scala2.12->zookeeper3.4.14->flink1.8.0_2.121.配置集群间ssh免密登陆 生成ss...

从flink社区看到 MongoDB ->Debezium-> Kafka 作为 Flinkdatasource 的方案，试着搭了一套。MongoDB 使用副本+分片Debezium 作为 Kafka Connect 的插件，首先配置 Kafka Connect，选择的是 connect-distribute 模式，这里踩到了一个坑， 因为我的集群 java 版本还在 7...

可能是磁盘空间满了 ......分析下磁盘占用吧df -hdu -h --max-depth=1

根据需求，给 Kafka 集群配置不使用 Kerberos 的 SASL+ACL 。Kafka 配置部分参考资料比较充足，这里参考了胡夕老师的《Apache Kafka 实战》中相关章节，配置过程顺利。Kafka Manager监控配置了 SASL Kafka 集群部分的资料比较少，在认证部分出现较多问题，最终配置出一个“能用”版本。Kafka_2.11-1.0.0 kafka-manager-...

使用kafka提供的脚本查看和修改消费者组offset查看：kafka-consumer-groups.sh --bootstrap-server ip:9092--group testConsumer --describe修改：kafka-consumer-groups.sh --bootstrap-server ip:9092 --group testConsumer -...

参考@街灯下的小草 的这篇文章解决这个问题https://blog.csdn.net/yhl_jxy/article/details/78872641使用IntelliJ IDEA启动Flink项目出现Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/flink/streaming/api/functi...

递归写的,不太好看，反正能用，多担待#!/bin/bashfunction func {for name in $1*doif [ -d "$name" ]then # echo "$name is a d" func $name/ $2 $pelif [ -f "$name" ]then echo "$name is a file" c=$2${1#*$p} i...

git config --global https.proxy http://127.0.0.1:1086git config --global https.proxy https://127.0.0.1:1086git config --global http.proxy 'socks5://127.0.0.1:1086' git config --global https.proxy '...