分布式系统架构手册

最新推荐文章于 2024-08-07 11:15:21 发布

ArchManual

最新推荐文章于 2024-08-07 11:15:21 发布

阅读量694

点赞数 20

分类专栏：分布式架构文章标签： java big data elasticsearch 分布式微服务

本文链接：https://blog.csdn.net/weixin_36796512/article/details/140959407

版权

分布式架构专栏收录该内容

2 篇文章 0 订阅

订阅专栏

ArchManual

分布式系统架构手册

项目介绍

ArchManual
不是：
某个技术架构的深度剖析
某个技术框架的源码分析
某个技术工具的安装运维
某个技术类库的代码示例

而是：
常用分布式技术的总体概览
常用技术主题的归纳总结
常用技术框架的归类罗列
常用技术架构的简单分享

希望成为：
速查手册：平时工作中做技术架构、框架选型时的速查手册
学习提纲：业余学习或者面试时的一个学习提纲
技术地图：对技术框架有一个整体和全面的了解
技术社区：每个技术同学都能积极分享和交流知识

整体概览

概览图：
地址：
思维导图

配置中心
- Apollo
- Nacos
- Spring Config
- Disconf
消息队列
- 分布式消息队列
- 内存消息队列（线程间消息传递）
  - Disruptor
- MTTQ（应用于物联网）
延迟任务
- 消息队列
- Redis缓存
- 定时轮询
- 内存队列
  - JDK DelayQueue
- 时间轮算法
  - Netty的HashedWheelTimer
  - Kafka的TimingWheel
任务调度
- xxl-job
- Elastic-job
- powerJob
- Saturn
- Quartz
分布式ID
- Snowflake(雪花算法）
- Redis 自增ID
- 美团 Leaf
分布式锁
- Redis
- Zookeeper
- Etcd
分布式事务
- XA
- 同步调用
  - TCC(Try/Confirm/Cancel)
  - Saga
    - Ali Seata
- 异步调用
  - MQ支持可靠消息(RocketMQ)
  - 可靠消息服务+MQ
  - 本地消息表 + MQ
注册发现
- Eureka + Ribbon
- Nacos
- Consul
- Zookeeper
限流与降级
- Hystrix
- Sentinel
负载均衡
- HttpDNS
- DNS
- F5(硬件）
- LVS（4层）
- Nginx（7层）
- HAProxy
数据库连接池
- Druid
- HikariCP
- DBCP2
应用服务器
- Tomcat
- Jetty
流程引擎
- activiti
- flowable
- camunda
服务调用
- RPC
  - Dubbo
  - DubboX
- HTTP
  - OpenFeign
  - RestTemplate
网关
- Nginx + Lua
- KONG（基于OpenResty)
- Zuul
- Ali Sentinel(限流）
存储
- 分布式文件系统
  - Ali OSS
  - Ceph
- 文档数据库
  - MongoDB
- KV
  - Redis（CA模型）
  - etcd（CP模型）
- NewSQL
  - TiDB
- 时序
  - InfluxDB
- 图数据库
  - Neo4J
- 搜索
  - ElasticeSearch
- 向量数据库
  - Milvus
- 分析型数据库（列式时数据库）
  - Hbase
仓库
- 代码仓库
  - gitlab
- maven仓库
  - nexus
- docker镜像仓库
  - docker registry
分布式数据库
- 分库分表
  - ShardingSphere(Sharding-JDBC)
  - MyCat
  - DBProxy
  - Atlas
- 存储引擎
  - 事务
    - InnoDB
  - 顺序写
    - TokuDB
- 高可用
  - MHA
- 数据同步
  - 阿里云DTS
  - binlog消费订阅
    - canal
    - databus
  - 增量数据同步
    - otter
  - 全量离线数据同步
    - kettle
- 数据可视化
  - superset
  - Redash
集群管理
- 元数据协调管理
  - Zookeeper
  - gossip
- IP地址切换
  - VIP
  - Keepalived
缓存
- CDN层
  - ATS(Apache Traffic Server）
  - Squid
- HTTP层
- 应用层
  - Caffeine
  - Guava
  - ehcache
- 分布式缓存
  - Redis
  - JD-hotkey
Redis
- 数据类型
- 过期策略
- IO模型
- 主从复制
- 高可用
- 持久化
- 分布式集群 Redis Cluster
- 分布式集群 Codis
- 常见问题：雪崩、击穿
- 双写一致性
- Key的优化、监测
压测
- 线下
  - Apache ab
  - Apache Jmeter
- 线上
  - Tcpcopy
- 流量存储和回放
  - GoReplay
KV存储
- LevelDB
- RocksDB
- BeansDB
- LMDB
- Riak
分布式协调服务
- Zookeeper
- Etcd
弹性伸缩
- K8S + Docker
- 云计算
  - 阿里云
  - 腾讯云
Java工具包
- guava
一致性算法
- 强一致性
  - Paxos
  - Raft
  - ZAB
- 弱一致性
  - Gossip

前端主题

常用框架
- Web
  - Vue
  - React
  - [NextJs]
  - Angular
- 小程序
  - uni-app
- 桌面
  - Electron
[组件库]
- UI
  - ElementUI
  - Ant Design
- 图表
- 科学计算图表
  - plotly
- ICON
  - ElementUI
  - iconfont](https://www.iconfont.cn/
- 多功能编辑器
- 流程图
性能优化
日志监控

系统运维

仓库管理
- 代码仓库
  - gitlab
- maven仓库
  - nexus
- docker镜像仓库
  - docker registry
部署容器
- Docker + K8S
  - docker跨主机组网
    - 原生
      - overlay
      - macvlan
    - 第三方
      - Flannel
      - OpenSwitch
      - weave
      - calico
- 云服务
  - Aliyun ECS
DevOps
- Gitlab CI / CD
- Jenkins
监控
- 服务器
  - OpenFalcon
  - Zabbix + Grafana
- 调用链
  - Pinpoint
  - Skywalking
  - CAT
  - SpringCloud Sleuth + Zipkin
- 业务
  - Falcon
  - CAT metrics
  - Micrometer
- JVM
  - arthas
- 日志
  - ELK
    - FileBeats 采集
    - Kafka 日志队列
    - Logstack 计算
    - ElasticSearch 存储
    - Kibana 展示
  - Flume + Hadoop

大数据

流式计算
- Spark Streaming
- Apache Storm
- Flink
分布式文件系统
- HDFS
BigTable
- HBase
计算框架
- Hadoop MapReduce
- Spark
数据分析
- Hive
- impala
数据可视化
- superset
- Redash

系统安全

人工智能

特征工程
机器学习
深度学习
联邦学习
自动机器学习
大模型
- 基础设施
  - 向量数据库
  - 数据库支持向量
    - Pgvector
    - [Redis]
    - [Neo4j]
    - [Elastic]
    - [OpenSearch]
    - [Solr]
    - [Lucene]
    - [Clickhouse]
    - [MongoDB]
  - 大模型框架、微调
  - 大模型训练平台
- 大模型
  - 国内
    - 文心一言
    - 通义大模型
    - 盘古
    - 百川智能
    - ChatGLM
  - 国外
    - DALL.E 3
    - OpenLLaMa
    - LLama2
    - Grok
    - Stable Diffusion
    - Dolly
    - PaLM2
    - StableLM
    - GPT-4
    - Falcon
    - BLOOM
    - TII
- 工具
  - 大模型运维
    - BentoML
    - LangChain
    - Dify.AI
    - FlowiseAI
    - Phoenix
    - GPTCache
  - 大模型聚合
    - HuggingFace
    - ModelScope
    - SOTA
    - Gitee AI
  - 开发工具
    - V0.DEV
    - MarkerSuite
    - txtai
    - codium
    - imgcook
    - Jina
    - Project IDX
    - Quest AI
- 应用
  - ChatGPT
  - BING
  - DragGAN
  - Claude
  - Cursor
  - Bard
  - MidJourney
  - Mochi Diffusion
- 智能体

ArchManual

关注

20
点赞
踩
13

收藏

觉得还不错? 一键收藏
0
评论
分布式系统架构手册

ArchManual不是某个技术架构的深度剖析某个技术框架的源码分析某个技术工具的安装运维某个技术类库的代码示例而是常用分布式技术的总体概览常用技术主题的归纳总结常用技术框架的归类罗列常用技术架构的简单分享希望成为速查手册：平时工作中做技术架构、框架选型时的速查手册学习提纲：业余学习或者面试时的一个学习提纲技术地图：对技术框架有一个整体和全面的了解技术社区：每个技术同学都能积极分享和交流知识。
复制链接

扫一扫