2013年10月_杨步涛的博客

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创构建高并发高可用的电商平台架构实践

各个维度总结电商平台中的高并发高可用的架构实践，从架构设计的理念到平台的逻辑架构，以及到平台架构中各个模块的介绍

2013-10-03 14:42:24 253893 59

原创 SSO单点登录在互联网电商应用中的解决方案(基于CAS的改造)

电商平台中无论是前端还是后端会存在大量的业务应用，在整个交易的过程中请求是在各个业务应用中流转的，对于用户来讲只需要登录一次就可以访问所有的业务，这就是单点登录SSO。单点登录开源有很多的解决方案，比如基于session的SSO和基于cookie的SSO。业界使用比较多的基于session的SSO的开源解决方案比如CAS，流程示意图如下：这里不去详细说明流程，读者可以参考其他资料的

2013-10-24 11:58:41 12599 3

原创关于Nginx session sticky

Nginx以前对session保持支持不太好，主要采用ip_hash把同一来源的客户(同一C段的IP)固定指向后端的同一台机器，ip_hash有个缺点是不能实现很好的负载均衡；直到nginx的扩展模块nginx-sticky-module的出现，解决了session sticky的问题。基本的原理：首先根据轮询RR随机到某台后端，然后在响应的Set-Cookie上加上route

2013-10-23 14:43:17 36369 6

原创总结一下HBase各种级别的锁以及对读写的阻塞

为了保证并发操作时数据的一致性和性能，HBase中应用了各种各样高效的可重入锁，包括行级别的rowlock、mvcc，region级别的读写锁，store级别的读写锁，memstore级别的读写锁等等。1、行级别的锁RowLockHBase中为了解决行级别在并发操作中的一致性问题，采用了Rowlock机制。保证只有同一个线程同时对该行做操作。当然rowlock有lease租约的概念

2013-10-22 16:51:21 11512

原创 HBase数据备份恢复的几种机制总结

1、 replication，通过类似mysql主从复制方式进行复制，基于HLog在应用场景个人感觉比较重要的一点是可以隔离计算分析型的操作和实时性操作带来的影响。对于DDL操作不做复制，过实时读取hlog中的entry来解析变更的数据然后发送到从集群中去。 2、 distcp，表数据文件的copy./hadoopdistcp hdfs://w

2013-10-21 17:27:17 14018

原创 HBase snapshot分析

HBase以往数据的备份基于distcp或者copyTable等工具，这些备份机制或多或少对当前的online数据读写存在一定的影响，Snapshot提供了一种快速的数据备份方式，无需进行数据copy。参见下图Snapshot包括在线和离线的，在线方式，离线方式是disabletable，由HBase Master遍历HDFS中的table metadata和hfiles，建立

2013-10-21 15:46:13 7329 2

原创事件驱动和状态机模式在YARN中的使用

阅读了下YARN的源码，架构中设计模式除了服务生命周期管理模式外，还包括事件驱动和状态机模式。生命周期管理模式在容器设计时候比较常见，包括资源模型的加载，卸载等等，比如tomcat、jboss等开源产品。这里重点讲一下事件驱动和状态机模式的使用。从提交任务到任务处理完成，YARN架构中整个任务的处理过程的设计都是事件驱动和状态机器的模式。对于事件驱动模式，对象包括事件类型EventTy

2013-10-12 15:47:28 6657 1

原创新一代mapreduce体系架构介绍-YARN

最近研究了下新一代的mapreduce框架YARN，这里先对YARN框架的引入和架构做个介绍，后续针对每一块做深入分析从Hadoop0.23版本开始对于mapduce计算框架，就完全是新的架构了(YARN)。老的版本MRv1 Jobtracker中存在单点，功能比较多的问题，负责资源管理调度和job的生命周期管理(task调度，跟踪task过程状态，task处理容错)，这样当大量的任务需要处理

2013-10-12 10:34:27 9980