- 博客(12)
- 收藏
- 关注
RSS订阅原创 PyFlink on K8s 部署实践
前置介绍1.1 K8s 简介Pod: K8s 的原子调度单位，是一个或多个 Container 的组合，Container 共享同一个网络、存储。Deployment: 对一组相同 Pod 的高级抽象，保障高可用。Service: 定义服务的访问入口，通过 Label Selector 绑定后端 Pod 副本集。如果 K8s 内部有一个服务，需要在外部进行访问，此时可以通过 Service 用 LoadBalancer 或者 NodePort 的方式将其暴露出去。如果不希望或不需要对外暴露服务，可
2021-03-01 10:57:11
1240
2
原创 启动Scala [ERROR] Failed to construct terminal; falling back to unsupported
参考stackoverflow答案：https://stackoverflow.com/questions/44317384/sbt-error-failed-to-construct-terminal-falling-back-to-unsupportedWelcome to Scala 2.11.12 (Java HotSpot(TM) 64-Bit Server VM, Java 1....
2020-03-03 20:24:30
706
原创 flink DataSet 连接 mongos集群使用mongo-hadoop
flink 官方示例比较简单，也很久没更新过了。mongos生产集群需要认证权限，按文档提示配置好规则，这里output到测试库，所以没配置太多这里是单线程读取，还不清楚可不可以通过配置实现并行读取。import com.mongodb.hadoop.MongoInputFormat;import com.mongodb.hadoop.MongoOutputFormat;impo...
2019-06-10 13:35:32
1687
1
原创 Flink KeySelector示例，选择多个字段作为key
public class RecordSeclectId implements KeySelector<Record, String> { private static final long serialVersionUID = 4780234853172462378L; @Override public String getKey(Record value) throw...
2019-05-22 18:50:13
12296
原创 Flink standalone集群HA高可用搭建
如果没有dfs，需要配置dfs路径的位置也可以用本地file路径替换,倒也能启动集群和作业，但不要这样用，在作业容错和重启时会出现问题，比如找不到存在其他机器磁盘上的状态。HA 配置为 3masters 3slaversjava1.8->scala2.12->zookeeper3.4.14->flink1.8.0_2.121.配置集群间ssh免密登陆 生成ss...
2019-05-15 13:35:12
3174
原创 kafka-connect-distribute 模式，使用 debezium source 同步 MongoDB 集群到 Kafka
从flink社区看到 MongoDB ->Debezium-> Kafka 作为 Flinkdatasource 的方案，试着搭了一套。MongoDB 使用副本+分片Debezium 作为 Kafka Connect 的插件，首先配置 Kafka Connect，选择的是 connect-distribute 模式，这里踩到了一个坑， 因为我的集群 java 版本还在 7...
2019-05-10 12:24:05
2555
2
原创 Kafka Manager与Kafka SASL+ACL配置
根据需求，给 Kafka 集群配置不使用 Kerberos 的 SASL+ACL 。Kafka 配置部分参考资料比较充足，这里参考了胡夕老师的《Apache Kafka 实战》中相关章节，配置过程顺利。Kafka Manager监控配置了 SASL Kafka 集群部分的资料比较少，在认证部分出现较多问题，最终配置出一个“能用”版本。Kafka_2.11-1.0.0 kafka-manager-...
2019-04-10 12:48:38
3166
原创 【备忘】Kafka-consumer-groups.sh查看重置offset
使用kafka提供的脚本查看和修改消费者组offset查看：kafka-consumer-groups.sh --bootstrap-server ip:9092--group testConsumer --describe修改：kafka-consumer-groups.sh --bootstrap-server ip:9092 --group testConsumer -...
2019-03-13 18:46:10
2075
转载 【Intellij idea】Exception in thread "main" java.lang.NoClassDefFoundError:
参考@街灯下的小草 的这篇文章解决这个问题https://blog.csdn.net/yhl_jxy/article/details/78872641使用IntelliJ IDEA启动Flink项目出现Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/flink/streaming/api/functi...
2019-03-13 17:28:28
2467
原创 SHELL脚本 移动mv指定目录中的所有文件到其他目录
递归写的,不太好看，反正能用，多担待#!/bin/bashfunction func {for name in $1*doif [ -d "$name" ]then # echo "$name is a d" func $name/ $2 $pelif [ -f "$name" ]then echo "$name is a file" c=$2${1#*$p} i...
2018-09-17 19:28:28
9914
3
转载 Mac傻瓜式git、go get代理教学
git config --global https.proxy http://127.0.0.1:1086git config --global https.proxy https://127.0.0.1:1086git config --global http.proxy 'socks5://127.0.0.1:1086' git config --global https.proxy '...
2018-08-31 17:17:44
1452
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人