一、面向服务的体系架构(SOA),分布式服务框架设计:阿里巴巴Dubbo
基于TCP的RPC(远程过程调用):如基于java的Socket API。序列化方式:java的outputstream ,Hessian,google的Protocal Buffers
基于HTTP的:序列化方式:JSON,XML。两种URL链接风格:RESTful和RPC
基于ZooKeeper的服务配置中心搭建。核心:消费者--查询-->服务配置中心<--注册--服务提供者
负载均衡算法:轮询、随机、源Hash法、最小连接数等
Http服务网关,网关集群
二、分布式系统基础设施
分布式缓存memcache:先装libevent,再装memcache。演变:分布式session持久化存储:
mysql:dual-master配置( 个人觉得:不如keepalive做一主两从),master写压力主要通过分库分表。但缺点是:关联查询,跨表查询上升为分布式事务,迁移不便
HBase
Redis(Key-value数据库)
垂直化搜索引擎:Lucene,Solr
消息系统:activeMQ,kafka,memcacheQ。ActiveMQ & JMS 。两种模式:P2P,Pub/Sub
三、互联网安全架构
常见WEB攻击手段:XSS,CRSF,SQL注入,DDos,其它:DNS域名劫持,CDN回源,缓冲区溢出
常用安全算法:非对称加密RSA,数字签名,数字证书。摘要认证。签名认证。(当年做大宗商品交易平台,用到建设银行E商贸通接口,基本涉及到公私钥生成--》公钥交换--》对称钥匙传输--》加签--》验签)
摘要认证:取决于对称secret
签名认证:用非对称公/私钥对
HTTPS协议:密钥随机产生,通过数字证书验证双方身份。全程加密。
OAuth:用户(User)通过平台商(Platform)对第三方软件商(ISV)的应用进行授权。
四、系统稳定性
检测机制
网络层:ping -c 2 www.123.com应用层:运行curl访问目标机check.html
业务检测:curl -L www.host.com
系统压测:qps,rt两个指标 qps=(总PV*80%) / (60*60*24*20%) 再除以 单台qps最高值
流量控制:
原子性(Atomic)
一致性(Consistency)
隔离性(Isolation)
持久性(Durability)
可用性:
一致性:强一致性,弱一致性,如mysql的主从数据同步,Zookeeper的选举和原子广播
扩展性:
高并发:有种方案,把单行库存拆成多行 ,比如1000个,拆成五个2000个
性能测试工具:前端工具:YSlow
ab:ApacheBenchJMeter:
HP LoadRunner
TCPCopy:请求复制工具,将在线流量复制到TEST
性能优化:
前端:减少http请求数量:合并样式和脚本;是否使用CDN网络;使用压缩
java端:单例,Future模式,线程池:ExecutorService exec=Executors.newFixedThreadPool(5),选择就绪:减少上下文切换,降低锁竞争。
java应用故障排查常用工具:jps,jstat,jinfo,jstack,jmap,btrace,jconsole,mat
五、数据分析
日志收集:inotify机制(变更立即通知)、ActiveMQ-CPC架构和存储
离线数据分析:hadoop、mapreduce、hive
流式数据分析:Storm
数据同步
离线数据同步:sqoop进行mysql与nosql对导
实时数据同步:ActiveMQ
数据报表:Highcharts