架构
文章平均质量分 53
kongqz
精通互联网电商领域的商业模式、运营、技术架构、运维等端到端的解决方案制定。
现场从事云计算领域工作,精通云计算相关领域的解决方案设计。
展开
-
淘宝的KV存储系统的设计思路总结-tair系统
tair系统功能:(主要用来对付那些静态化相关资源)1、作为架设在各类存储介质前边的一层系统2、可以用来存储cache数据,也可以持久化数据一、要解决的问题1、当用户访问数据为海量的时候,并且并发太大的时候直接访问数据库会让数据库被穿透,直接宕机2、淘宝的用户信息和产品信息数据调用量是海量二、设计思路1、初期设计思路(1)、做一层cache来缓存数据,直原创 2012-04-18 19:24:32 · 8167 阅读 · 0 评论 -
JAVA代码的执行
JAVA代码的执行分为三个大的步骤一、代码编译为class文件根据jvm规范,不同厂商提供了不同的规范。例如在sun jdk中是javac,eclipse用的是jdt简单分为如下步骤:1、分析和输入到符号表2、注解处理3、语义分析和生产class文件生成的class文件,不仅仅存放了java的字节码,同时还提供了 结构信息、元数据、方法信息二、装载c原创 2013-05-19 19:40:38 · 1985 阅读 · 0 评论 -
java 内存分配机制
JAVA内存是自动管理的,如果我们不清楚内存的回收机制,容易造成内存泄露和内存不够用内存总的来说分为 方法区和堆栈区1、方法区方法区就是放了要加载类的的信息、类中静态变量、类中定义的final类型的常量、filed信息以及方法信息。在sun jdk中这个区域对应的是Permanet Generation,称作持久带,默认最小值16M,最大值64M,可以通过-XX:Per原创 2013-05-19 21:22:59 · 2348 阅读 · 1 评论 -
架构设计规范
简单整理下架构设计相关规范,希望能帮助那些有需要的团队理清思路,参考要素中有些是内部的中间件大家不必追究名字。外部开源的中间件和服务器也有,希望能帮到正在做架构的朋友。原创 2013-05-21 15:49:30 · 5329 阅读 · 1 评论 -
各种分布式系统简介
常见的分布式文件系统有,GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自适用于不同的领域。它们都不是系统级的分布式文件系统,而是应用级的分布式文件存储服务。Google学术论文,这是众多分布式文件系统的起源==================================Google File System转载 2013-03-26 18:23:03 · 1991 阅读 · 0 评论 -
JAVA中如何保证线程安全以及主键自增有序
一、常见场景多个线程针对一个i进行主键自增。多线程下如果不做安全策略,将会导致各个现成获取的i值重复,导致脏数据常见策略1、增加syschroize进行线程同步2、使用lock、unlock处理3、使用reetrantent 锁进行锁定缺点:容易造成性能低下,或者编写代码容易造成死锁二、新方案jdk新提供的功能,atomicInteger原创 2013-05-20 09:37:28 · 9748 阅读 · 0 评论 -
FastDFS HOWTO - 文件及目录结构
FastDFS服务器端运行时目录结构如下: ${base_path} |__data:存放数据文件 |__logs:存放日志文件其中,${base_path}由配置文件中的参数“base_path”设定。一、tracker servertracker server目录及文件结构: ${base_path} |__data转载 2013-03-10 17:00:07 · 2938 阅读 · 0 评论 -
FastDFS HOWTO - 同步机制
在FastDFS的服务器端配置文件中,bind_addr这个参数用于需要绑定本机IP地址的场合。只有这个参数和主机特征相关,其余参数都是可以统一配置的。在不需要绑定本机的情况下,为了便于管理和维护,建议所有tracker server的配置文件相同,同组内的所有storage server的配置文件相同。tracker server的配置文件中没有出现storage server,而sto转载 2013-03-10 17:01:25 · 2219 阅读 · 0 评论 -
NFS、NAS、SAN、Squid、LVS
NFS简介----------------------------------------------------NFS是Network File System的简写,即网络文件系统.网络文件系统是FreeBSD支持的文件系统中的一种,也被称为NFS. NFS允许一个系统在网络上与他人共享目录和文件。通过使用NFS,用户和程序可以像访问本地文件一样访问远端系统上的文件。转载 2013-03-26 18:20:54 · 1746 阅读 · 0 评论 -
FastDFS分布式文件系统
FastDFS是为互联网应用量身定做的一套分布式文件存储系统,非常适合用来存储用户图片、视频、文档等文件。对于互联网应用,和其他分布式文件系统相比,优势非常明显。具体情况大家可以看相关的介绍文档,包括FastDFS介绍PPT等等。出于简洁考虑,FastDFS没有对文件做分块存储,因此不太适合分布式计算场景。官方论坛http://bbs.chinaunix.net/forum转载 2013-03-26 18:27:44 · 2260 阅读 · 0 评论 -
用cobar搭建分布式数据库
周末针对最新的项目需求进行cobar的搭建并针对实际状况做了demo演示一、需求1、大数据量,邮件发送记录需要记录,一年可能累计4亿的数据2、需要按照邮箱进行邮件发送明细的查询以及发送记录的查询二、问题1、单库分表分区已经解决不了存储以及查询问题2、只能进行一致性hash的策略进行数据存储以及查询,放弃了一些便利性查询统计三、实施方案,数据库采用mysq原创 2012-09-09 18:21:41 · 4801 阅读 · 3 评论 -
大型互联网站解决海量数据的常见策略
大型互联网站的数据存储与传统存储环境相比不仅是一个服务器、一个数据库那么简单,而是由网络设备、存储设备、应用服务器、公用访问接口、应用程序 等多个部分组成的复杂系统。分为 业务数据层、计算层、数据仓储、数据备份,通过应用服务器软件提供数据存储服务,并且通过监控工具对存储单元监控。 随着系统中用户数据量的线性增长,数据量将会越来越多。在这样一个数据不断膨胀的环境中,数据已经如洪水般汹涌泛滥转载 2012-10-29 11:13:16 · 2247 阅读 · 0 评论 -
java中引发GC的几种场景
GC不可怕,可怕的是经常FULL GC,让整个JVM停止工作进行内存回收常见的几种触发点如下1、持久带满了,就是Permanet Generation满了会导致FULL GC,如果GC不成功,那就报out of memory了2、旧生代满了,导致FULL GC3、新生代向S0和S1转移数据,S0和S1向旧生代转移数据,结果两边的内存设置都比较小,持续出现,会原创 2013-05-20 09:28:35 · 3574 阅读 · 0 评论 -
如何利用activemq组装自己的可靠消息事务性消息
1、我们为什么需要可靠消息?或者希望消息带有事务?(1)、我们的某些业务场景希望消息的发送消息和数据库操作是绑定到一起的-》-需要事务性消息(2)、我们某些业务场景不希望对外的消息发送丢失,导致业务无法继续--》消息要可靠2、消息可靠了,我们会损失什么?(1)、消息的顺序性 因为有些消息可能因为网络等原因当时发送不出去,后续的消息先发送出去被消费。后续的网原创 2013-05-10 18:01:10 · 6060 阅读 · 0 评论 -
高效透明的主键策略
前段时间有个朋友问我如何能在保证单个节点上的主键高效并且唯一,并且能支持的住较大的访问量。同时和所采用的数据库无关,也就是说我可以使用任何数据库都能采用这个策略1、这里采用既有的主键策略可能使用uuid是最直接的解决方案,但是缺点就是uuid产生的字符串检索较慢而且无规律,并不是每个需求都希望主键看起来杂乱无章2、常见的sequence以及nativie,hilo等策略在很多场景下需要原创 2012-09-13 13:59:49 · 2260 阅读 · 0 评论 -
FastDFS一个高效的分布式文件系统
FastDFS是一个开源的轻量级分布式文件系统,她对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。FastDFS服务端有两个角色:跟踪器(tracker)和存储节点(storage)。跟踪器主要做调度工作,在访问上起负载均衡的作用。存储节点存储文件,完成文件管转载 2013-03-10 16:59:12 · 1389 阅读 · 0 评论 -
海量图片存储策略
一、常规图片存储策略常规的一般400G以下的图片存储可以采用比较传统的分目录的形式例如目录层级为 年份/行业属性/月份/日期/用户属性有几个比较重要的原则就是1、单个目录下的文件个数不要超过2000个,多了寻址较慢,你在linux下ls就能看到数量太多的时候的效果了2、目录层级结构不要太深,这样服务器处理寻址较慢二、海量图片存储策略1、核心难点(1)海原创 2012-04-18 15:41:15 · 15041 阅读 · 3 评论 -
企业服务总线的10大认识误区
在诸多的专题研讨会上,企业架构师们探讨着许多问题,比如面向服务架构(SOA)的相关问题、如何让企业服务总线(ESB)作为构建企业SOA框架的主干问题等。其中,许多人质疑ESB的意义所在,从中也体现出当前IT群体普遍对ESB存在一定的误解。下面便是笔者总结人们最关心的10个ESB的问题。误区1:ESB只是EAI换了个名字许多IT架构团体在搭建SOA的同时仍然受到一个问题的困扰:“ES转载 2012-06-27 11:41:26 · 2885 阅读 · 0 评论 -
JBI规范
1 概述(Overview)JBI定义了一种通过插接组件间交互传递中间消息(Mediated Message Exchange)的方式构建集成的架构方案。JBI中定义的消息交换模型基于WSDL2.0规范(或WSDL1.1)。图1 JBI插件系统图1展示了抽象层次的JBI插接组件概念,JBI为插接组件提供了特定的交互接口,插接组件也为JBI系统提供了特定的转载 2012-06-27 15:11:08 · 3245 阅读 · 1 评论 -
大型电商的订单设计概要
订单设计1 作者:kongqz1.1 blog:http://blog.csdn.net/kongqz2 目标2.1 支持较大数据量随着促销,系统订单会出现暴增2.2 去除oracle和小型机oracle的费用以及小型机的费用不是一般公司能承受的起,现阶段对版权授权来说是越来越严了。2.3 支持对买家、卖家状态的实时更新因为卖家和买家在查看自己订单的状态的时候需原创 2012-08-16 10:40:52 · 29533 阅读 · 1 评论 -
大型电商的SSO设计策略
1 作者:kongqz1.1 blog:http://blog.csdn.net/kongqz2 目标2.1 对于同一域下的所有网站只需登录一次举例来说:www.baidu.comaaa.baidu.combbb.baidu.com我只需要在一个地方登陆,访问他的任何一个子系统都不需要登陆2.2 服务器端的session能经得起大量的用户登录数据存储传统的互原创 2012-08-16 10:32:35 · 6025 阅读 · 2 评论 -
ECMALL功能拓扑图以及模式分析
ECMALL VS 常规的B2C产品(以ECSHOP做对比)的区别:1、支持多用户在同一个域名下开店。2、开店的卖家各自结算,直接收钱。平台只是提供了一个类似传统行业的摊位。平台不过手金钱3、各个卖家相当于拥有自己的网店,但是不能拥有自己的独立域名,最多占一个二级域名4、整个平台的产品都是在一起进行大的排名5、平台自己本身不需要建立物流存储方面的系统进行销控管理6、由于原创 2012-08-16 18:04:56 · 4577 阅读 · 0 评论 -
大型电商常规功能点压力分析(B2B2C)
1 作者:kongqz1.1 blog:http://blog.csdn.net/kongqz2 核心业务功能模块2.1 提醒2.1.1 邮件2.1.2 短信2.1.3 站内消息2.1.4 IM?2.2 滤词系统2.3 前台2.3.1 订单2.3.2 卖家2.3.3 搜索2.3.4 商品2.3.5 提现、对账2.3.6 促销2.3.7原创 2012-08-16 10:22:32 · 4540 阅读 · 1 评论 -
建立大型电商团队的参考
建立例如国美、苏宁电器类似的电商团队需要考虑如下相关因素技术、团队、业务运营团队、商业模式 等等他们都号称是B2C,其实很多时候都是B2B和B2C一起混着做了做电商需要从自己的商业模式-》组织建设-》核心技术-》技术营销 来完成团队的建立以及增强各个流程的执行力电商的内功在于前端的承载能力以及后端的消化能力。现阶段中国的电商核心推动能力还是销售,很少有纯技术型公司,以技术原创 2012-08-16 10:52:50 · 25016 阅读 · 0 评论 -
B2C团队的业务线参考及技术选型
技术是为业务服务的!做电商做的是销售,不是技术。但是做大的时候必须技术来撑腰,这里我们就来分析下B2C电商的技术到底是什么样的。B2C的架构图如下:通过上边的描述,大家如果要做B2C可以清晰的了解到从技术,业务、组织以及产品选型上都要从自己的业务上进行选型如果开始的策略方案选择错误了,那么将来更改起来的成本比较大原创 2012-08-18 21:49:17 · 2810 阅读 · 1 评论 -
大型电商的产品库分布式设计
分布式商品库设计1 作者:kongqz1.1 blog:http://blog.csdn.net/kongqz2 目标2.1 支持较大的数据量增长2.2 不用oracle2.3 不使用小型机2.4 对应用层透明2.5 支持单机到多机的扩容3 常见业务需求3.1 买家收藏商品一般在平台上都是在交易成功后或者买家进行收藏的时候,产生这部分数据。3.2 商原创 2012-08-16 10:37:15 · 5477 阅读 · 0 评论 -
电商技术中企业数据总线ESB和注册服务管理的区别
一、概述1、什么是ESB就是企业数据总线的意思,他的核心功能就是兼容各种协议接口,可以将数据在各种协议之间进行流转,并且可以针对数据格式进行编排转换代表性的项目有:JBOSS ESB,Mule,Camel 以及一些其他的esb项目2、什么是服务注册就是将所有的服务接口(很多时候是hession协议的接口),注册到一个中心的分布式服务集群上(你可以考虑成apach原创 2012-08-23 17:48:08 · 8586 阅读 · 0 评论 -
互联网常见验证码设计策略
1 作者:kongqz1.1 blog:http://blog.csdn.net/kongqz2 目标2.1 防止机器破解机器就是分析图片中的内容进行破解2.2 增加辨认难度无外乎通过增加背景色以及内容的交叉度来进行3 原理3.1 请求的时候直接在session中生成图片内容3.2 客户端填写后直接拿内容和session中存储的进行比对4 当前常规方式4原创 2012-08-16 10:35:24 · 3242 阅读 · 0 评论