本文探讨了使用Greenplum与Flink进行流处理的方案，介绍了Greenplum作为分布式RDBMS的局限性以及Flink、Spark、Storm等流处理框架的选择。在安装过程中遇到的问题，如Greenplum的yum安装和Docker中的安装问题。文章重点讨论了Flink集成Kafka和Kafka Connector的重要性，并分享了在Spring Boot中Greenplum配置导致的异常问题及其解决方案。最后给出了参考资料供进一步学习。
greenplum + flink 做流处理
从批处理ETL到流式处理：一个来自Netflix的案例 https://juejin.im/entry/5aa73ccd6fb9a028c81285cb
greenplum = oracle12C 分布式RDB。 但是还是有局限性的。
flink、spark、storm
flink安装
docker run -t -p 8081:8081 flink local
greenplum安装
- yum方式安装不行。200的python是3.0的，语法不兼容2.7
- 在docker中安装greenplum: 不可以，到处都是坑。
总结
弄flink要把kafka 和 kafka connector做一下，flink不能从rdb抽取数据的话，用kafka connector弄一下
https://www.confluent.io/blog/kafka-connect-deep-dive-jdbc-source-connector
greenplum-boot集成的问题
- get url = null and ClassDriver = null
获取不到配置：
- 配置的默认mysql的Datasource没问题，
- spring.datasource配置是有的
- 获取不到配置文件?
3.1 看jar的的classpath - 没有问题
3.2 看appalication.ps里缺配置 - 没有
最低0.47元/天 解锁文章
扫一扫
1918
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
