Java
文章平均质量分 83
cenwenchu79
这个作者很懒,什么都没留下…
展开
-
淘宝开放平台技术历程
淘宝开放平台技术历程Author:放翁Date:2012/10/13 注:文中所有的技术点都可以在http://blog.csdn.net/cenwenchu79 找到详细的文章,同时本文主要介绍开放平台技术发展历程,产品和业务内容不涵盖在此,因此受众群体主要是技术人员。 2006年底,阿里巴巴提出了workat alibaba的战略,20来号人就被原创 2012-10-13 00:15:29 · 89760 阅读 · 48 评论 -
Web服务请求异步化介绍(概念篇)
<br />Author:放翁(文初)<br />Date: 2010/6/28<br />Email:fangweng@taobao.com<br />围脖:http://t.sina.com.cn/fangweng<br /> 前话<br /> 在前面的文章中,先给出了Web服务请求异步处理的压力测试报告,从数据角度描述了支持Web请求异步化的容器在不同并发用户下的处理能力及性能消耗。本文从概念的角度对于应用系统异步化,Web服务请求异步化和Web请求异步化规范及实现三方面做一个介绍,为原创 2010-06-30 02:23:00 · 15688 阅读 · 14 评论 -
异步模式下的Web请求(技术介绍篇)
Author:放翁(文初)Date: 2010/4/14Email:fangweng@taobao.com 缘起 早在两年前做开放平台的时候,由于平台的特质,就开始寻求对于Web请求异步的解决方案,当时Jetty和Tomcat都在最新的版本中集成类似于Comet和Asyn Process的功能,但经过测试,效果不佳,因此也没有再深入去了解其中的一些设计理念。时隔原创 2010-04-20 08:47:00 · 12182 阅读 · 8 评论 -
Q1技术点滴回顾
Author:放翁(文初)Date:2010/4/2 过年到现在还没有更新过blog,就和年前说的一样,到了淘宝就要真的踏实做实事了(起码Q3前)。和以前在阿软不同的是现在更加关注产品的设计和实现,对于新技术的尝试缺少了一些空间和时间。可以拿程序员对新技术的追求做个类比,就好比结婚前的浪漫,而到了你真的结婚有了家庭和小孩,那需要的是更多的责任感和务实的工作。当然如果原创 2010-04-02 01:57:00 · 5348 阅读 · 9 评论 -
基于MapReduce的配置型日志分析组件
基于MapReduce的配置型日志分析组件Author:放翁(文初)Email:fangweng@taobao.comBlog: http://blog.csdn.net/cenwenchu79/目录需求场景组件功能设计关键点设计点分析分析模型抽象分析实体抽象:分析流程抽象:关键路径任务分割分析过程生命周期定义:基于命令行方式执行阶段性任务单原创 2010-01-12 21:58:00 · 6104 阅读 · 3 评论 -
Lazy Request Parameter Parser
Author:放翁(文初) Email:fangweng@taobao.com Blog:http://blog.csdn.net/cenwenchu79 当前问题:1. 不小比重的Rest请求都是无效请求,全部接纳数据消耗比较多的时间。2. Multipart类型的大文件流请求无法做到合理快速过滤。(参数错误请求,数据文件过多请求,文件大小过大请求)原创 2009-12-08 01:45:00 · 2603 阅读 · 0 评论 -
优化杂谈
优化杂谈Author :放翁Blog:http://blog.csdn.net/cenwenchu79/ 当应用遇到规模化问题的时候,就是考虑性能优化的时候了。今天同事和我聊起了NIO在客户端的使用与BIO有什么优势,也勾起了我前一阵子和其他同学交流优化的一些想法,纯粹个人的一点想法。 CPU利用率和Load 在过去做压力测试的时候,我原创 2010-01-27 01:43:00 · 4914 阅读 · 3 评论 -
常用模式的细节问题看设计稳定性
常用模式的细节问题看设计稳定性Author : 岑文初(淘宝花名:放翁)Email: fangweng@taobao.com Blog: http://blog.csdn.net/cenwenchu79 这部分内容是我前个礼拜作内部分享的一部分,是挑了大家在日常中经常使用的生产者消费者模式作了一个细节问题的分析来讲述关于系统设计中的一些问题,其实在我前面的救火经验分享里面原创 2009-11-10 01:48:00 · 5103 阅读 · 9 评论 -
MapReduce“单机版”日志分析实践点滴
Author:放翁(文初)Email:fangweng@taobao.comBlog:http://blog.csdn.net/cenwenchu79 闲话: 为什么又叫做什么…的点滴,首先现在写程序就是练手,不论自己经历了多少,如果想成为一个好的P,那么就要持续的去学习,去写,当写出来的东西总是一个样子,那就要去学习一下,当觉得整天飘飘然的和同行在胡侃原创 2009-10-30 01:18:00 · 7255 阅读 · 8 评论 -
应用架构设计“防火”经验分享
应用架构设计“防火”经验分享Author : 岑文初(淘宝花名:放翁)Email: fangweng@taobao.com Blog: http://blog.csdn.net/cenwenchu79Date: 2009-08-26 刚从阿软到淘宝不久,现在主要负责TOP平台的技术框架设计,同时要肩负“救火”和“防火”的工作,也需要培养团队的同学能够有“防原创 2009-08-27 00:56:00 · 7301 阅读 · 14 评论 -
高并发下资源池资源申请一点思考
昨天在看Cache Client代码的时候,发现在从资源池中获取SocketIO部分代码在高并发情况下效率不高,因此考虑通过一些变通的方式来提高效率,下面说的内容仅仅是当前自己琢磨出来可以部分提高效率的方法,希望看了这篇文章的同学能够有更好的方式或者算法来提高效率。 情景: Cache Client 的SocketIO资源池是一个两级的Map,具体定义为:原创 2009-05-07 17:14:00 · 3779 阅读 · 4 评论 -
用好Cache,优化应用
服务集成平台5.6的性能测试进入尾声,这期的优化也算告一段落。这次主要的优化工作还是在三个方面:应用服务器(Apache,JBoss)配置,业务流程,Cache Client包(http://code.google.com/p/memcache-client-forjava/ )。这里把过去和这次优化对于Cache的使用作一个经验分享,希望大家能够用好Cache,提速你的应用。原创 2009-04-28 23:20:00 · 8732 阅读 · 5 评论 -
读“DataBase Sharding at Netlog”,看DataBase Scale Out
今天看了“Database Sharding at Netlog, with MySQL and PHP”一文,和去年我们讨论扩展的思路很类似(不过这种分布式扩展,计算,存储的思路都很类似),但是这片文章的作者是在日益爆炸式增长的用户数据下实践的分享,因此这里将文中的一些思想记录下来分享一下。 Netlog拥有4000万活跃用户,每个月有超过5000万的独立用户访问网原创 2009-03-04 00:43:00 · 3875 阅读 · 0 评论 -
服务集成平台性能测试与优化(应用与环境)
目标: 根据四方面的配置调整,观察SIP5.5(服务集成平台)在高并发下的性能情况。 由于SIP接收的请求都是服务型处理请求,因此认为Apache+Jboss只会带来多余的转发损耗,所以正好这次也作一个验证,看看Apache+JBoss是否不适合于这种纯动态服务请求的情况。 四方面环境比较:1. JBoss APR模式与H原创 2009-03-03 19:55:00 · 3482 阅读 · 0 评论 -
技术方案的讨论过程来看化繁为简
Author:文初Blog: http://blog.csdn.net/cenwenchu79/ 问题 小丹同学在旺旺上问我是否可以用Memcached实现简易消息中间件类似的功能。觉得这个需求很奇怪,就问了一下具体的应用场景,然后小丹就上来和我具体的谈了究竟需求是什么。其实小丹的应用场景是这样的:客户需要分析一些业务数据,但是业务数据又是很庞大的,在原有系统每天晚原创 2008-12-12 11:37:00 · 4156 阅读 · 6 评论 -
大流量数据异步输出
在大型网站中常常会遇到大流量的数据输出问题,过于频繁的输出到DB、文件、第三方系统都会带来不稳定性和低效率。因此需要采用一定的方式来解决这个问题,其实这部分内容的简单处理框架早就用在实际项目中,不过今天正好有外部的朋友问起我,我就整理了一下作为google的开源代码放上去了,这里也简单介绍一下,有兴趣的朋友可以去看看,最好是能够给一些建议。 场景: 应用频繁原创 2009-02-12 20:47:00 · 5046 阅读 · 3 评论 -
开放平台两三点感悟(下)
开放平台两三点感悟(下)原创 2010-06-01 02:41:00 · 5570 阅读 · 8 评论 -
对于高并发调用TOP的回答
对于高并发调用TOP的回答原创 2010-06-07 21:49:00 · 6730 阅读 · 11 评论 -
Beatles小记(三)-分布式数据流分析中Master的横向扩展
Author:放翁(文初)Email:fangweng@taobao.comMblog:weibo.com/fangwengBlog: http://blog.csdn.net/cenwenchu79/Beatles: https://github.com/cenwenchu/beatles 读前先看: 这篇文章主要讲述的是beatles流式数据分析框架原创 2012-01-17 13:07:57 · 12854 阅读 · 4 评论 -
Beatles小记-分布式数据流分析框架(二)
Author:放翁(文初)Email:fangweng@taobao.comMblog:weibo.com/fangwengBlog: http://blog.csdn.net/cenwenchu79/ 局部设计首先要说明的是,这部分内容和第一篇不同,必须对照代码看才会理解其中的含义,光看设计实现会比较难懂其中所说的细节点。代码:https://github.com/cen原创 2011-12-09 16:32:11 · 12261 阅读 · 2 评论 -
Beatles小记-分布式数据流分析框架(一)
Author:放翁(文初)Email:fangweng@taobao.comMblog:weibo.com/fangwengBlog: http://blog.csdn.net/cenwenchu79/ 概述 重要:全文内容都是参照这个源码地址内容所写,因此两边对着看会更清晰明了:https://github.com/cenwenchu/beatles原创 2011-12-07 16:30:37 · 22871 阅读 · 17 评论 -
细节优化提升资源利用率
细节优化提升资源利用率Author: 放翁(文初)Email: fangweng@taobao.comMblog:weibo.com/fangweng 这里通过介绍对于淘宝开放平台基础设置之一的TOPAnalyzer的代码原创 2011-09-23 13:54:59 · 13862 阅读 · 5 评论 -
CometPipe数据发送一点改动
CometPipe数据发送一点改动Author:放翁(文初) 场景:前提:长连接推送(每个请求会话时间保持较久)。在事件驱动模式下,多线程可能同时完成任务并通过Http长连接下发数据,对于Response需要有一定的并发保护。 第一版 增加一个lock,获得以后才可以使用Response。 每个线程的处理流程:get lock à u原创 2011-06-23 12:18:00 · 14367 阅读 · 3 评论 -
慢连接&LazyParser
慢连接&LazyParserAuthor:放翁(文初)Mail:fangweng@taobao.comTblog:weibo.com/fangweng 这里要从实际的测试中给Web应用开发者一个比较直观的关于慢连接优化的建议。 测试目标:1. 证明慢连接对于Java的应用容器的影响。2. 不同前端反向代理服务器对于慢连接的处理差异。3. 如何利用Laz原创 2011-06-20 23:44:00 · 14855 阅读 · 1 评论 -
PipeComet测试
看这篇小分享前请务必先看看这个:http://blog.csdn.net/cenwenchu79/archive/2011/05/27/6450427.aspx PipeComet这个支持长连接,异步请求事件处理框架做了测试也快有5天了,这里做一个简单的总结,但这个文档中的数字不能作为最终容量的定论,后续还会在优化后有进一步的测试。同时这个文档更倾向于分享过程中的原创 2011-06-09 00:03:00 · 16183 阅读 · 1 评论 -
Pipe Comet
PipeComet Web异步请求开发模式详细文档原创 2011-05-27 16:20:00 · 20857 阅读 · 8 评论 -
Web容器测试模型选择
<br />最近被内部问了太多关于jetty测试的问题了,所以这里先写一点开头,后续再全面的做一下测试,想说的就是测试需要你去关注场景,需要去区分什么是表象和本质。<br /> <br /> 你的系统是什么系统:(一步一步的做判断)<br />流入系统or 流出系统?<br /> <br />流入系统(系统完成请求无外部系统依赖,缓存可以考虑成为非外部依赖)<br /> 瓶颈在CPU,带宽,内存(容器连接数,线程数)?<br /> <br />原创 2011-03-28 15:49:00 · 8060 阅读 · 2 评论 -
基于管道化和事件驱动模型的Web请求处理(二)
这篇文章将会从问题,技术背景,设计实现,代码范例这些角度去谈基于管道化和事件驱动模型的Web请求处理,其中的一些描述和例子也许不是很恰当,也希望得到更多的反馈。原创 2010-11-25 14:59:00 · 10383 阅读 · 18 评论 -
耗内存应用优化实际案例
<br />Author:放翁(文初)<br />Email:fangweng@taobao.com<br />mblog: http://t.sina.com.cn/fangweng<br /><br /> 这里分享的是一个分布式分析系统的Master内存消耗状况的优化,有些比较特定的优化未必适用于其他系统,但是从这一系列优化过程中,应该能带给其他系统在做设计时提前考虑一点优化点。<br /> 下面先描述一下背景,看了背景可以对后续的优化点可以比较清楚一些,注意,部分设计仅原创 2010-12-22 23:33:00 · 16898 阅读 · 26 评论 -
对同学性能优化总结的一点回复
对同学性能优化总结的一点回复原创 2010-08-23 16:56:00 · 11775 阅读 · 10 评论 -
Web服务请求异步化测试
Author:放翁(文初)Date: 2010/4/14Email:fangweng@taobao.com围脖:http://t.sina.com.cn/fangweng这篇文章是个结果,大家就当成看那种倒序的电影,后续会有前篇发出。Web服务异步化: 包括两部分,数据传输层异步化(大家已经熟知的NIO),Http业务请求异步化(continuations,servlet3.0)。服务异步处理我将会有一个详细的说明文档(服务异步化的概念,服务异步化的几种标准实现,服务异步化容器的特点),后续原创 2010-06-13 14:35:00 · 7568 阅读 · 8 评论 -
Web服务请求异步化介绍(实践篇)
在概念篇介绍完以后,开始实际的对TOP开始做技术改造。(这篇东西更像是对短期工作的总结和汇报,写的不是很详实,后续会有一个ppt来深化异步化的一些思想)下面将第一阶段的工作做个总结,第一阶段主要做了以下几个方面的事情原创 2010-08-06 00:30:00 · 10136 阅读 · 11 评论 -
访问TOP链接超时和重置问题
访问TOP链接超时和重置问题原创 2010-06-09 13:34:00 · 3677 阅读 · 0 评论 -
Memcached Cache客户端的一个参数
今天,有一个使用我优化的Memcached cache Client给我发了邮件问到一个参数的作用,觉得还是比较重要的一个参数,因此也说一下,同时也在这里说一下,当前优化过的客户端已经作了几次小的升级,修复了一些边界数据的问题,大家如果在使用的话,最好能够升级。(http://code.google.com/p/memcache-client-forjava/) 邮件如下:原创 2008-11-21 14:55:00 · 3025 阅读 · 0 评论 -
Web请求异步处理降低依赖风险
Author:文初Email:wenchu.cenwc@alibaba-inc.comBlog:http://blog.csdn.net/cenwenchu79 问题凸现: 年关到了,商家忙着促销,网站忙着推广,阿里软件的服务集成平台也面临第一次多方大规模的压力考验,根据5.3版本的压力测试结果,估算了一下现有的推广会带来的压力,基本上确定了服务集成平台年底不需要扩原创 2009-01-11 20:49:00 · 4707 阅读 · 4 评论 -
Open API分析、实践和思索
Open API分析、实践和思索Author:文初Email:wenchu.cenwc@alibaba-inc.comBlog:http://blog.csdn.net/cenwenchu79 一. Open API 的介绍... 2Open API的发展... 2Open API的形态... 2Open API的类型... 3Open API交互的数据格式.原创 2008-11-16 15:36:00 · 2945 阅读 · 2 评论 -
由SOAP消息看Web Service FrameWork的细节差异
早先的一些blog文章已经说了很多关于Web Service客户端在同一种语言实现或者不同语言实现中由于细节实现不同导致兼容性的问题。昨天解决的问题在一个边界问题上又一次说明了这种异构环境的互通标准在不同的实现当中,由于细节理解不同会造成一些兼容性问题。 问题: 当接口返回类型为一个对象,同时这个对象中有一个属性是数组类型,那么这个数组类型的对象在返回的SOAP原创 2007-12-20 10:05:00 · 3242 阅读 · 0 评论 -
BEA World 2007 SOA第二日手记
周四下午听了一节课就提早回来了,周五身体不好也就没有去公司,也没有写关于第二天的一些所见所闻,其实第一天的启发也并非完全是参加了大会的感触,只是正好和自己目标有些碰撞,感觉还有一些可写的。第二日,早晨的内容其实昨天已经也略有所闻,但是可能更为详细一些,下午的内容就基本没怎么听了,因为唯一一个感觉还算是比较务实的课堂连载给我的感觉就是“空”,也可能是因为时间都只有一个小时,所以基本那些原创 2007-12-16 19:57:00 · 2311 阅读 · 0 评论 -
SOA论剑三亚江湖会
两个半小时之后,我和BlueDavy大叔回到了杭州,一个忙碌而充实的周末就这么过去了。回到家已经1点多了,洗了个澡,精神又来了,想把这个充实的周末写下来,做个纪念。缘起 几周前,受到了普元的邀请,去三亚参加一个SOA的技术交流会,原本以为是因为在他们的论坛同时更新了一些文章所以被邀请一起去参加产品部活动,开始不是很想去,毕竟厂商出钱多半就是让你去听听他们的产品,一原创 2008-03-03 03:36:00 · 4610 阅读 · 3 评论 -
SSL + WS-Security = Web Service安全保障
SSL &WS-Security--Web Service安全保障 今天早晨看了一下blog的留言,发现有位朋友给我留了言,提到了他正在研究SCA,同时也有些困惑,当在异构分布式环境的情况下,不论是否使用SCA规范来实现,都采用Web Service来完成面向服务的服务调用,觉得SCA没有什么优势可言。其实这是一个误解,SCA框架规范并不是一个具体的业务场景解决实施规范,它是一原创 2007-12-10 08:39:00 · 8631 阅读 · 1 评论