背景
在软件学习过程中,避免不了看各种文档,但最好是看官网的文档,因为官网文档是最准确的,外面的文档有各种各样的歧义。
网站链接
Java相关
Java
Nacos
Spring-cloud-alibaba版本选择
Golang相关
数据库
Mysql
Redis
ElasticSearch
Clickhouse
Zookeeper
数据同步
Canal(服务端) | Maxwell(服务端+客户端) | |
---|---|---|
语言 | Java | Java |
活跃度 | 活跃 | 活跃 |
HA | 支持 | 定制,但是支持断点还原功能 |
数据落地 | 定制 | 落地到Kafka |
分区 | 支持 | 支持 |
Bootstrap(引导) | 不支持 | 支持 |
数据格式 | 格式自由 | Json(格式固定) spark json —> DF |
文档 | 较详细 | 较详细 |
随机读 | 支持 | 支持 |
消息队列
存储
运维
Docker
Rancher(docker可视化界面)
Kubernetes
Helm(yaml文件管理)
Prometheus
Jenkins
大数据
项目/引擎 | Storm | Spark Streaming | Flink |
---|---|---|---|
API | 灵活的底层 API 和具有事务保证的 Trident API | 流 API 和 Structured-Streaming API 同时也可以使用更适合数据开发的 Spark SQL | 流 API 和更加适合数据开发的 Table API 和 Flink SQL 支持 |
容错机制 | ACK 机制 | State Checkpoint | State Checkpoint + Savepoint |
状态管理 | 无状态计算 | 有 UpdateStateByKey 等 API 进行带状态的变更 | Key State 和 Operator State两种,State 支持多种持久化方案 |
处理模式 | 单条流式处理 | Mic batch处理 | 单条流式处理 |
延迟 | 毫秒级 | 秒级 | 毫秒级 |
语义保证 | At Least Once,Exactly Once | At Least Once,Exactly Once | At Least Once,Exactly Once |