- 博客(355)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 分布式缓存架构基础
一、缓存概述1.1 什么是缓存 缓存在wiki上的定义：用于存储数据的硬件或软件的组成部分，以使得后续更快访问相应的数据。缓存中的数据可能是提前计算好的结果、数据的副本等。典型的应用场景：有cpu cache, 磁盘cache等。本文中提及到缓存主要是指互联网应用中所使用的缓存组件。1.2 为什么引入缓存 传统的后端业务场景中，访问量以及对响应时间的要求均不高，通常只
2016-09-23 09:58:51
13828
1
转载 反爬虫
一、为什么要反爬虫1. 爬虫占总PV比例较高，这样浪费钱（尤其是三月份爬虫）三月份爬虫是个什么概念呢？每年的三月份我们会迎接一次爬虫高峰期。最初我们百思不得其解。直到有一次，四月份的时候，我们删除了一个url，然后有个爬虫不断的爬取url，导致大量报错，测试开始找我们麻烦。我们只好特意为这个爬虫发布了一次站点，把删除的url又恢复回去了。但是当时我们的一个组员表示很
2016-08-30 16:12:39
998
转载 云直播系统架构与实施
直播类型传统直播传统直播基本都是单向传输，很少有做交互。类似于广电演唱会的直播，做交互都是放在秀场里做。只是简单的对外传输直播流，并且流数比较少，延迟容忍度高，基本都超过 10 秒，包括电视转流、演唱会直播等。游戏直播游戏直播也是单向传输，通过直播文字进行交互，利用弹幕或者讨论组进行沟通。最大的特点是流数比较多。游戏直播自身的业务对延迟要求不高，但因为竞争激烈提升要
2016-08-30 16:12:09
1650
转载 什么才是真正的 RESTful 架构
What?Wikipedia: 表征性状态传输（英文：Representational State Transfer，简称REST）是Roy Fielding博士于2000年在他的博士论文中提出来的一种软件架构风格。Roy Fielding是HTTP协议（1.0版和1.1版）的主要设计者，事实上HTTP 1.1规范正是基于REST架构风格的指导原理来设计的。需要注意的是，RES
2016-08-30 16:03:15
32119
2
转载 短链接服务架构设计与实现
场景 短链接服务就是将一段长的URL转换为短的URL，比如利用新浪微博的短链接生成器，可将一段长的URL（http://blog.csdn.net/poem_qianmo/article/details/52344732）转换为一段短的URL（http://t.cn/RtFFvic），用户通过访问短链接即可重定向到原始的URL。整个交互流程如下：用户访问短链接：http:
2016-08-30 16:02:02
12620
2
转载 视频直播技术详解之采集
随着互联网用户消费内容和交互方式的升级，支撑这些内容和交互方式的基础设施也正在悄悄发生变革。手机设备拍摄视频能力和网络的升级催生了大家对视频直播领域的关注，吸引了很多互联网创业者或者成熟企业进入该领域。七牛云于6月底发布了一个针对视频直播的实时流网络LiveNet和完整的直播云解决方案，很多开发者对这个网络和解决方案的细节和使用场景非常感兴趣。结合该实时流网络LiveNet和直播云
2016-08-30 15:59:46
1466
转载 华为内部实施微服务架构
随着业务的发展，代码量的膨胀和团队成员的增加，传统单体式架构的弊端越来越凸显，严重制约了业务的快速创新和敏捷交付。为了解决传统单体架构面临的挑战，先后演进出了SOA服务化架构、RPC框架、分布式服务框架，最后就是当今非常流行的微服务架构。微服务化架构并非银弹，它的实施本身就会面临很多陷阱和挑战，涉及到设计、开发、测试、部署、运行和运维等各个方面，一旦使用不当，则会导致整个微服务架构改造的效
2016-08-30 15:58:05
5015
转载 蘑菇街电商交易平台服务架构及改造优化历程
蘑菇街导购时期 业务结构蘑菇街是做导购起家的，当时所有的业务都是基于用户和内容这两大核心展开。那个时候前台业务主要做的是社交导购，后台业务主要做的是内容管理。一句话总结就是小而美的状态，业务相对来也不是很复杂。 当时的技术架构是典型的创业型公司技术架构。网站整体是用 PHP 搭建的，系统做了简单的分层，基础设施以现成的开源产品为主。2
2016-08-30 15:56:55
2671
转载 聊聊高并发系统之HTTP缓存
简介最近遇到很多人来咨询我关于浏览器缓存的一些问题，而这些问题都是类似的，因此总结本文来解答以后遇到类似问题的朋友。因本文主要以浏览器缓存场景介绍，所以非浏览器场景下的一些用法本文不会介绍，而且本文以chrome为测试浏览器。浏览器缓存是指当我们使用浏览器访问一些网站页面或者http服务时，根据服务端返回的缓存设置响应头将响应内容缓存到浏览器，下次可以直接使用缓存内容或者仅
2016-08-30 15:56:15
2744
转载 识人、选人、用人、留人
一、人才篇在我们真正用人的时候，需要明白人才的重要性才能用好人。《史记.高祖本纪》：夫运筹帷帐之中，决胜千里之外，吾不如子房。镇国家，抚百姓，给馈饷，不绝粮道，吾不如萧何。连百万之军，战必胜，攻必取，吾不如韩信。此三者，皆人杰也，吾能用之，此吾所以取天下也。项羽有一范曾而不能用，此其所以为我擒也。如果将企业的经营看成是衣服的纽扣，人才则是第一粒纽扣。二、用人篇
2016-08-30 15:53:41
2393
转载 教你学会使用Ｇit和远程代码库
Git是个了不起但却复杂的源代码管理系统。它能支持复杂的任务，却因此经常被认为太过复杂而不适用于简单的日常工作。让我们诚实一记吧：Git是复杂的，我们不要装作它不是。但我仍然会试图教会你用（我的）基本的Git和远程代码库干活的工作步骤，在15分钟内。 工作步骤我会展示以下的步骤，通常能帮我独自在一台或多台机器上做项目。创建一个远程的空代码库（在BitBucket
2016-05-19 15:38:38
1517
转载 使用 Git 管理源代码
什么是 Git？非常简单地说，Git 是 Linus Torvalds 最近实现的源代码管理软件。正如所提供的文档中说的一样，“Git 是一个快速、可扩展的分布式版本控制系统，它具有极为丰富的命令集，对内部系统提供了高级操作和完全访问。”Torvalds 开始着手开发 Git 是为了作为一种过渡方案来替代 BitKeeper，后者之前一直是 Linux 内核开发人员在全球使用的主要源代码工
2016-05-19 15:36:48
2288
转载 实现电商平台从业务到架构的治理体系
VIP不同阶段发展历程的商业模式演进唯品会在2008年12月创立，一直到2012年，唯品会在做的主要事件就是尾货的抛售，做线上的outlets商家。这种商业模式就是帮别人消化库存，但是这个库存消化完了，现在特卖，公司的重点在发生变化。目前电商被分为了分成了两类，一是平台级公司，包括：1、电商大平台：淘宝、天猫；2、通用B2C：京东商城；3、线上折扣：唯品会；二是垂直类电商，包括：3C类的苏宁易
2016-05-19 09:05:09
3842
转载 应对电商大促峰值的九个方法
快速建立移动电商系统架构的知识框架「高可伸缩的移动电商架构设计」这个话题很大包括了几个部分：App客户端架构、服务端的架构，还有怎么使用私有云、公有云来部署我们服务端的应用。我会把这三部分内容做一个比较系统、比较概括性的介绍。这次分享主要的目的就是让大家快速的建立一个知识框架：如何搭建高可伸缩的移动电商系统架构。首先会介绍App端的混合架构，还有服务端的SOA架构，我们也会介绍弹性云的架构
2016-05-18 10:36:29
2346
转载 1号店交易系统架构如何向「高并发高可用」演进
轻量级电商的架构和痛点大家看上图，一个轻量级的电商网站应用架构就是这样的，比如说你现在想做一个电商网站，你是创业公司，两三个人开始做，估计架构就是这样的。前端有PC、App和H5，有表现层、业务逻辑层和数据访问层等。重量级的电商网站应用架构是怎么重的呢？很简单，随着业务的扩展，业务量多了、代码量多了、数据量大了、并发量高了。1号店是一家电商网站，但严格来讲并不是百分之百的互联网公司，我
2016-05-18 10:35:34
12403
转载 尖峰日96万订单，59校园狂欢节技术架构剖析
59store是一家专注校园市场的互联网企业，以校园消费类O2O及金融作为核心业务，自成立以为每年都会举办一次59校园狂欢节，在2016年5月9号的59校园狂欢节创下了单日96万订单，近3500万交易额。其中，59store所面临挑战是：在线服务是否能抵抗住零点疯狂流量的涌入，各个业务线都有活动需求需要按时交付，各项基础服务和众多业务应用的高可用保障，保护第三方合作方的服务器不被59带去的巨大流量
2016-05-18 10:32:12
974
转载 高并发数据采集的架构应用（Redis的应用）
技术障碍： 1. 面对用户量的增长，记录数3W倍的增长，如何保证这些记录能够在比较快的时间内进入存储介质。 2. 应对用户量的增长，如何在规定的时间内完成采集，增加硬件设备处理能力还是使用更多的服务器来处理请求。 3. 服务器的增长，是否能够支持现有的扩展能力。架构实现：使用到的技术项： 1. 面向服务开发思维 2. 队列服务
2016-05-18 10:25:17
1642
转载 用Nginx+Redis实现session共享的均衡负载
集群搭建首先在vmware12中安装3台debain，命名为debian1,debian2，debian3。一路默认就好（其实并不好，后面会说）。vmware有个问题，一旦窗口获得焦点，就自动关闭了小键盘，导致我设置root密码的时候输入为空（它也没提示）。后来我想用su命令才发现密码错误，输入空密码一样错误，就只有找回密码了。对于debian来说，这样改：在grub界面光标指向待
2016-05-18 10:24:31
11937
转载 单表60亿记录等大数据场景的MySQL优化和运维之道 | 高可用架构
前言MySQL数据库大家应该都很熟悉，而且随着前几年的阿里的去IOE，MySQL逐渐引起更多人的重视。MySQL历史1979年，Monty Widenius写了最初的版本，96年发布1.01995-2000年，MySQL AB成立，引入BDB2000年4月，集成MyISAM和replication2001年，Heikki Tuuri向MySQL建议集成InnoDB2003发布5
2016-05-18 10:21:38
1535
转载 每秒处理10万订单乐视集团支付架构
随着乐视硬件抢购的不断升级，乐视集团支付面临的请求压力百倍乃至千倍的暴增。作为商品购买的最后一环，保证用户快速稳定的完成支付尤为重要。所以在15年11月，我们对整个支付系统进行了全面的架构升级，使之具备了每秒稳定处理10万订单的能力。为乐视生态各种形式的抢购秒杀活动提供了强有力的支撑。一、库分表在redis，memcached等缓存系统盛行的互联网时代，构建一个支撑每秒十万只读的系统并不复
2016-05-18 10:19:32
923
转载 京东无线服务端架构演进历程
京东无线服务端首先，在大会上统计一下数据，不知道多少人的手机上安装了京东手机APP，从举手的比例来看，大家也能猜到。就像这个图画的一样，京东无线服务端的流量像这个瀑布一样，汹涌不绝。服务端就是APP后端默默支持它的亲密爱人，你可以使劲地消费，你可以随便地购买，我来承担你给我带来的流量。这是我们服务端的一个进化历程，其实它也是随着我们京东无线整个业务在进化。我一直在强调，所谓技术驱动公司
2016-05-18 10:09:34
2646
转载 在首席架构师手里，应用架构如此设计
无架构，不系统，架构是大型系统的关键。从形上看，架构是系统的骨架，支撑和链接各个部分；从神上看，架构是系统的灵魂，深刻体现业务本质。架构可细分为业务架构、应用架构、技术架构，业务架构是战略，应用架构是战术，技术架构是装备。其中应用架构承上启下，一方面承接业务架构的落地，另一方面影响技术选型。如何针对当前需求，选择合适的应用架构，如何面向未来，保证架构平滑过渡，这个是软件开发者，特别是架构师
2016-05-18 10:07:49
530
转载 关于架构优化和设计，架构师必须知道的事情
概述这篇译文最早发布在infoQ下面的一个微信公众号：“聊聊架构”上，想着我在园子几乎沉寂了接近两年之久，于是借机复活。哈哈哈，这是一篇关于架构的译文，会介绍比较多的一些工具、以及框架，给对架构感兴趣的同学一个知识扩充。近几年来随着互联网的飞速发展，新的架构实践方式不断涌现，但是有一件事情是永恒不变的，那就是－“架构之道”；关于如何设计出灵活、高可用性以及能够快速适应变化的系统架构，我们依
2016-05-18 10:01:35
5684
1
转载 公司前端开发架构改造
最近对公司前端的开发进行了一系列的改造，初步达到了我想要的效果，但是未来还需要更多的改进。最终要完美的实现目标：工程化，模块化，组件化。这是一个艰难的，持续的，不断进化的过程！先说下我司前端改造前的情况：开始的时候，只有微信公众号开发，以及在APP中嵌入的Web页面，只需要考虑微信端的问题，以及跟原生APP的交互处理，一切都好像很完美。几个月后，要开发手机网页版，接着百度直达号也来
2016-05-18 09:56:06
2958
转载 知道这20个正则表达式，能让你少写1,000行代码
正则表达式，一个十分古老而又强大的文本处理工具，仅仅用一段非常简短的表达式语句，便能够快速实现一个非常复杂的业务逻辑。熟练地掌握正则表达式的话，能够使你的开发效率得到极大的提升。正则表达式经常被用于字段或任意字符串的校验，如下面这段校验基本日期格式的JavaScript代码：var reg = /^(\\d{1,4})(-|\\/)(\\d{1,2})\\2(\\d{1,2})$/; v
2016-05-18 09:54:24
245
转载 关于业务高速发展的互联网公司技术架构演化的一些看法
之前携程DOWN机的事件在业界闹得沸沸扬扬，很多人都在总结分析。其实对此我也有一些个人看法：关于IT系统运维/关于异地灾备/关于私有云。本人正好在三种阶段和规模的互联网电商公司都工作过：在业界比较知名的互联网电商公司从事过一些基础的工作参与过比较早期的创业团队(其所有的程序甚至都部署依赖在别人的公有云端)同时也在处于这两者中间状态的电商公司工作过。这三段经历让我
2016-03-11 13:29:59
751
转载 从需求到上线，产品经理你挖了多少坑
近期负责的一个卡券功能，即我们通常所说的代金券功能已在网站上线并投入使用。这部分工作算是暂且告一段落，也差不多可以就此做一个阶段性的总结。通常，一个产品（或功能模块）从需求到上线需要经过：认识产品分析产品交互原型界面设计技术开发测试上线反馈这些流程。然后，我们在执行这些流程的过程中，会有各种大坑小坑，可能填完了
2016-03-11 13:27:01
1580
转载 App架构经验总结
架构因人而异，不同的架构师大多会有不同的看法；架构也因项目而异，不同的项目需求不同，相应的架构也会不同。然而，有些东西还是通用的，是所有架构师都需要考虑的，也是所有项目都会有的需求，比如API如何设计？架构如何分层？开发环境和生产环境如何分离？这几年，我负责研发过的App，有餐饮类的、社交类的、智能家居类的、电商类的、新闻媒体类的等等。当有了一定的经验之后，你总会有一些自己的心得体会。而以下内容就
2016-03-11 13:18:48
458
转载 关于WeiPHP
http://www.weiphp.cn/weiphp是一个开源，高效，简洁的微信开发平台，它是基于oneThink这个简单而强大的内容管理框架实现的。旨在帮助开发者快速实现微信公众账号的个性化功能。
2016-03-07 11:00:51
686
转载 DUBBO 一个分布式服务框架
http://dubbo.io/User+Guide-zh.htmhttp://dubbo.io/DUBBO是一个分布式服务框架，致力于提供高性能和透明化的RPC远程服务调用方案，是阿里巴巴SOA服务化治理方案的核心框架，每天为2,000+个服务提供3,000,000,000+次访问量支持，并被广泛应用于阿里巴巴集团的各成员站点。资源源码：https://github.com/
2016-03-07 10:58:16
452
转载 基础架构为什么需要融合
如今的数据中心，其体系结构越来越庞杂，已是一个不争的事实。整个IT系统就像一座冰山，为了支撑用户可见的业务逻辑和应用，其基础架构必须投诸大量的建设和维护资源。存储设备、主机设备、存储网络、数据网络、安全产品、备份产品、操作系统、数据库、中间件……每个组成部分都是不容忽视的环节。近几年来虚拟化、分布式、软件定义技术的发展，又为系统增添了新的复杂度。也许新技术的拥护者会争辩说“虚拟化和软件定义分明
2016-03-07 10:55:24
448
转载 微博数据库3个变迁阶段背后的设计思想
数据库专家的成长感触“与 MySQL 结缘主要也是源于兴趣。第一份工作是在一家小公司，由于人手有限，各个领域的工作都要接触，相比之下我发现还是对数据库最感兴趣，所以就一直从事和数据库相关的技术工作了。而随着工作年限的增加，在数据库方面积累的经验也逐渐增多，越来越觉得数据库管理员（DBA）是一个偏实践的工种，很多理论上的东西在现实中会有各种的变化，比如“反范式”设计等。因此，如果想成为数据库方面
2016-03-07 10:54:53
2274
1
转载 浅谈web网站架构演变过程
前言 我们以javaweb为例，来搭建一个简单的电商系统，看看这个系统可以如何一步步演变。 该系统具备的功能： 用户模块：用户注册和管理商品模块：商品展示和管理交易模块：创建交易和管理 阶段一、单机构建网站 网站的初期，我们经常会在单机上跑我们所有的程序和软件。此时我们使用一个容器，如tomcat、jetty、jboos，然后直接使
2016-03-07 10:53:54
372
转载 浅析：如何构建稳定的系统
准备工作第一个决策是最简单却最为重要的，属于意识形态的一种：那就是软件是由开发者控制的。开发者需要控制软件，而不是反过来，让管理者、产生负责人控制软件。 唯一能控制软件的人就是编写它们的人。第二个决策就是必须拥有能够掌控的小型工作单元。先解决整个问题的一小部分，并部署到生产环境中，显然比让整个大型项目挂掉要好得多。将初期的小型工作单元作为后面探索的测试平台。开发者有责任一直掌控软件，这
2016-03-02 13:29:46
648
转载 当当11.11：促销系统与交易系统的重构实践
电商行业近年来发展势头迅猛，诸多巨头成功上市，业务模式不断升级，促销手段花样百出。双十一成为各路电商运营能力的年度大考，同时也是对电商技术平台能力的极限测试，每年进行了重大改版升级的系统只有经过双十一的枪林弹雨才能浴火重生。在当当，2015年的双11，面临考验的是促销系统和交易系统，两者都是电商体系的核心组成部分。此次双11专题，InfoQ特别邀请EGO会员、当当架构部总监史海峰先生，为大家讲
2016-03-02 13:28:08
1356
转载 在首席架构师眼里，架构的本质是……
目前讨论架构实操（术）的文章较多，讨论架构理念（道）的较少，本文基于作者在大型电商系统架构方面的一些实践和思考，和大家聊聊架构理念性的东西，希望能够抛砖引玉，推进大家对架构的认识。什么是道，什么是术？道是事物发展的本质规律，术是事物发展的具体途径。规律只有一个，途径很多，条条大路通罗马，罗马是道，大路是术。道为本，术为途，如果事先知道罗马在哪里，那么遍地是路，路路相通。架构也是如此，如果能领悟
2016-03-02 13:23:57
348
转载 大数据架构的未来
大数据的问题或许所有读者都明白这一点：数据正在飞速增长。若是能够有效利用的话，我们能从这些数据中找到非常有价值的见解；传统技术有很多都是在40年前设计的，比如RDBMSs，不足以创造“大数据”炒作所宣称的商业价值。在大数据技术的使用上，常见的案例是“客户单一视图”；将关于客户所知道的一切内容放在一起，以便最大化服务提供与自身收入，比如确定具体需要采用什么促销方式，又是在什么时候、通过什么渠道来
2016-03-02 13:22:56
375
转载 基于消息的分布式架构
美国计算机科学家，LaTex的作者Leslie Lamport说：“分布式系统就是这样一个系统，系统中一个你甚至都不知道的计算机出了故障，却可能导致你自己的计算机不可用。”一语道破了开发分布式系统的玄机，那就是它的复杂与不可控。所以Martin Fowler强调：分布式调用的第一原则就是不要分布式。这句话看似颇具哲理，然而就企业应用系统而言，只要整个系统在不停地演化，并有多个子系统共同存在时，这条
2016-03-02 13:21:42
1383
转载 为什么说架构是一种思维模式
架构是一个动词，还是一个名词？可以组合的词汇有：架构设计、架构师，我认为，架构是动态的，演进的。词典中是这样解释架构的，人们对一个结构内的元素及元素间关系的一种主观映射的产物。也可指构筑，建造。我理解架构本身不仅仅是指这个结果（成品），同时架构亦可以理解为建造的过程。架构是一种思维模式。架构师是一个title。为什么说架构是一种思维模式呢，小到一个模块，大到一个平台，高内聚低耦合、隔离、层
2016-02-29 11:46:12
2915
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人