分片记录笔记

会游泳的大水怪

已于 2024-04-18 15:08:23 修改

阅读量1k

点赞数 40

文章标签：笔记

于 2024-02-25 17:13:22 首次发布

本文链接：https://blog.csdn.net/qq_18806589/article/details/122903194

版权

笔记
有一些要流程要熟记
spring IOC流程 DUBBO的框架

一、JVM

内存与机械硬盘差 4 个数量级左右
主内存和缓存的
原子性、可见性与有序性

垃圾回收算法
标记清除年轻
标记整理老年
Parallel GC和CMS GC。前者注重更高的吞吐量、而后者则注重更低的延迟
多线程线程安全就是有没有状态
1、设置多线程核心线程异步编程
NIO 多路复用另拷贝 reacter模型 dubbo 是长链接

各大组件写入和读取以及高可用、基本都是写入内存定时刷入磁盘 WAL（先写内存再写磁盘）分布式提交服务治理

二、kafka

一个分区20M/s 顺序写、Controller 是master

三、ES

ES分为四种角色：master、data（数据节点）、Coordinating（协调节点）、Ingest（预处理节点）分片副本
https://blog.csdn.net/UbuntuTouch/article/details/103641544

四、Redis

主从复制、哨兵模式，以及 Redis 集群

五、Mysql

先写undolog(保证一致性性) 写入 buffer poor内存、redolog (可配制redo log buffer 提交事务后刷盘操作系统page chche 操作系统刷盘 ) 写数据一份buffer pool 直接刷盘，一份undolog（），binlog（主从同步） WAL 预写日志顺序写
idb文件中是页（12种页）16KB页 B+（叶节点之间有指针）
页 64个页是一个区（extent 存放索引的页节点）存放叶子结点段（segment）
myqsl 一张表 2千万一行1KB 就是就是19G https://zhuanlan.zhihu.com/p/679284081
mysql的运行原理连接器查询缓存解析器优化器执行器

MVCC

六、zookpeer

强一致性、Leader在收到超过半数的Follower的ACK之后，写入成功，发送commit命令给Follower告诉他们提交proposal

七、dubbo的架构图

（可以和kafka对比都是利用 zookpeer）
有9层
1、service 2、config 3、proxy 代理层 4regiseter 5moniter 6、cluster 7、protcol 8exechange 9 transport 10
消费者比生产者优先级高。

八、Netty

网络底层框架

javaagent集成到项目，通过字节码增强方式切入关切点，搜集到相关日志信息，对项目侵入性小。同时提供api方法
读多写少
锁
关系和非关系数据库

一致性可用性分区容忍性redis，mongodb，hbase都是CP。CA：满足一致性，满足可CA用性关系型数据库。AP弱一致性
数据库事物

先 insert 在 upate 会持有 update 的行锁

spring

从beandefin
applicationContext中的refersh
先用cofigurationClasProcessBeanFactory
把一些Scan、 import的注解的类扫描其中的 autowire 和rescoure 生成beandifation放到一个容器中bean 的hashmap
然后拿出来一个一个的getBean
createBean docreateBean createInstance 里面反射生成bean
填充bean的属性：populateBean(),循环依赖的问题（三级缓存）
3、调用aware接口相关的方法：invokeAwareMethod(完成BeanName,BeanFactory,BeanClassLoader对象的属性设置)
4、调用BeanPostProcessor中的前置处理方法：使用比较多的有（ApplicationContextPostProcessor,设置ApplicationContext,Environment,ResourceLoader,EmbeddValueResolver等对象）
5、调用initmethod方法：invokeInitmethod(),判断是否实现了initializingBean接口，如果有，调用afterPropertiesSet方法，没有就不调用

一、
Antlr4 facade
adapter 适配层将配置生成SqlElement
translator 将 select * from table where source=“kafka‘ 转成GeneralSelectSqlElem
SaveEsSqlElemExecutor 将转换成执行table
解析逻辑执行计划 RBO 规则优化。物理执行计划 CBO优化
即席查询多数据源联邦查询多计算区

不要依赖读写分离判断存在，通过写操作判断是否成功

九微服务思想
1、2pc 引入参与者协调者概念
1、先所有参与者准备阶段