知识学习综合三---分布式系统大数据

一 大数据

 

1 大数据总结

 

   拆分越细耦合度越低，越不容易出错，但是部署的时候维护成本越高

dubbo 在2012年停止维护，在17年10月开始重新维护，中断了5年

通过站长之家的 站长工具 dns查询，查询www.jd.com可以看到返回很多地址，离自己阅尽越 快，京东

策略是根据ip查看最近的服务器来进行返回的，所以说很快的

为了加速，需要负载均衡器录入nginx做7层负载均衡，但是还不够，需要加上其他软硬件的负载均衡，为了提升吞吐量

，加上lvs和f5分别是软件和硬件负载均衡器，，就是在dns和niginx之间的，这两种由 系统工程师做，开发只管nginx就行

b: http反向代理

除了做负载均衡还做 一个 缓存的功能主要是upstream的问题

c: 垂直切分和水平切分

  垂直切分是 不同表分到不同的数据库里，水平切分是同一个表放到不同的数据库里

 

2 常见大数据的rpc技术

 

 webservice,java rmi, hessian,finagle

传输格式有的是xml/json，但是很笨重，最好的是二进制格式

 

3 dubbo防止超时然后重试引发系统雪崩

 

原因是 dubbo默认超时了重试两次，如果有的业务本身就需要大量时间，则会重试的无限循环下去 failover

这个策略是可以设置了，写了就知道了，还有failsafe,failfast等等

 

五 问题

 

1 什么是业务垂直拆分

2 nginx进行请求转发

3 最大的问题是太多的东西不扎实了，好多的都没有学习，一天一天就这么多过去了

4 需要学习hessian技术，就是rpc技术

5 2018年实现技术大的飞跃好不好呢

6 阿里主推HSF，目前dubbo已经开始更新

7 nignx的反向代理测试和负载均衡和Upstream的学习问题