SSDC_新型架构案例与实践

新型架构案例与实践

腾讯

实战性东西。扩展思路

数据同步、任务分配、接口保护、集群检测、容量模型

Q：40亿行源数据，接口1000/s的QPS副本和源如何保持一致性。

拉过来，保持实时性。

通常方法？；

拖好之后再用，然后增量。（）

缩小主备之间的同步开销。hash（不支持）

能否搭建一个BT网络，但是群不支持。

邮寄硬盘。。。。

怎么解决？

方案一、800给普通，100给vip
方案二、预测，机器学习

已经有损的服务，降低有损。400次/s同步，可能变化就自己去请求。

准确率达到0.9%

Q：路由

路由是什么，系统变大之后如何路由，

（分布式哈希（虚拟连接），一致性哈希）

所谓无主并行化选择，rabbitmq，生产者不断生成，消费者消费。

保证一致变化。

解决

并不是真无主，那么该如何做到真无主呢？
（思科的路由器，OSPF也没有主，路由扩散算法）

参考思科协议，提升收敛速度；简单的路由同步

Q：如何做接口保护

无论什么系统都需要proxy

挑战？

令牌桶，单机。

因为分布式服务可以调用有限制。

腾讯之前做到了分钟级，接口保护如何做秒级监控。（做ns级）

ns级问题：

1. 主机时间不同步
2. 网络延时
3. IDC分区

解决

1. 主机带上时间戳，通过偏移计算
2. 网络延时无法解决
3. sd

通过过去几秒的预测后面的

1. 滑动平均
2. 自动回归模型
3. 神经网络（就申请网络效果好，400-》800->10000，只有能理解语义的模型，才能做好）
4. 基因表达式编程
5. SVM回归机
6. 集成学习

Q：分布式集群中如何找出比较好的做种节点

IDC

ping的矩阵，运算。。。

集群检测矩阵，可以看一下

把数据建模，然后根据已有的数学方法解决问题。而不是常规方法规避。！

Q：如何评估容量模型和扩容？

通用容量模型

QQ要调用上百台服务器。

用数学的方式，来建模计算。

红包思路建模

运营策略、

资源方面，资源监控

平台系统，加速，cache加速

完成压测