2013年04月_Java码界探秘

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月

转载从上百幅架构图中学大型网站建设经验（上）

引言近段时间以来，通过接触有关海量数据处理和搜索引擎的诸多技术，常常见识到不少精妙绝伦的架构图。除了每每感叹于每幅图表面上的绘制的精细之外，更为架构图背后所隐藏的设计思想所叹服。个人这两天一直在搜集各大型网站的架构设计图，一为了一饱眼福，领略各类大型网站架构设计的精彩之外，二来也可供闲时反复琢磨体会，何乐而不为呢?特此，总结整理了诸如国外wikipedia，Facebook，Yahoo！，

2013-04-30 14:16:24 883

转载 Google的系统工程师(SA)如何工作

本文根据系统管理领域知名博客 Thomas A. Limoncelli 的 What is system administration like at Google 整理而成，添加了部分笔者观点。Google的系统工程师(System Administrator)如何工作由于Google的服务已经集群化，系统工程师并不大量接触硬件比如做安装服务器等事情。另外大部分工作也已经自动

2013-04-30 13:55:45 596

转载搜索引擎分类与工作原理

搜索引擎分类　　搜索引擎按其工作方式主要可分为三种，分别是全文搜索引擎（　Full Text Search Engine）、目录索引类搜索引擎（Search IndexDirectory）和元搜索引擎（Meta Search Engine）。　　　■全文搜索引擎　　全文搜索引擎是名副其实的搜索引擎，国外具代表性的有　Google、FastAllTheWeb、AltaVis

2013-04-30 13:51:01 4635

转载搜索引擎工作的基础流程与原理

搜索引擎最重要的是什么？有人会说是查询结果的准确性，有人会说是查询结果的丰富性，但其实这些都不是搜索引擎最最致命的地方。对于搜索引擎来说，最最致命的是查询时间。试想一下，如果你在百度界面上查询一个关键词，结果需要5分钟才能将你的查询结果反馈给你，那结果必然是你很快的舍弃掉百度。搜索引擎为了满足对速度苛刻的要求（现在商业的搜索引擎的查询时间单位都是微秒数量级的），所以采用缓存支持查询需求的方

2013-04-30 13:49:43 568

转载图解：2013年百度搜索引擎工作原理

最近发现我身边和加我QQ的朋友们，总会问到我一些搜索引擎蜘蛛爬行的问题，所以今天我想为大家分享的这个seo优化知识就是百度的搜索引擎工作原理，其实应该是seo基础，呵呵。好了不废话了，还是抓紧为大家分享seo基础吧。为了让大家能够更详细的明白，下面笔者准备了一张图，分享在我的seo博客里，供大家参考。搜索引擎工作原理的图片详解根据上图解释的搜索引擎工作原理，笔者要一

2013-04-30 13:48:13 750

转载构建的可伸缩性和达到的性能：一个虚拟座谈会

实现伸缩性和性能调优的经验所保有的价值容易被低估。两者都是“晚些时候”或“我们真正流行起来时”所面临的难题。早期创业公司确实不应该立即花这份钱，而大公司通常不能做出足够快速的反应以实现所需的改变。再加上这需要一个多学科的团队，它立刻就变成了一个需要解决的政治上和工程上的难题。但是它从来不会从我们的视线中消失——在过去的少数几个Qcon会议上，“Architectures You"ve Al

2013-04-30 13:45:44 801

转载再谈最终一致

在世界范围构建可靠的分布式系统往往要求在一致性和可用性之间进行权衡。上个月，亚马逊公司的CTO Werner Vogels发表了一篇文章，描述在大型分布式系统中容忍最终数据一致性的方法。正如InfoQ之前的一篇文章《牺牲一致性来换取分布式架构的可伸缩性》里所讨论的：系统架构师角色关键的一方面就是衡量相互冲突的需求、决定解决方案，常常要牺牲一个方面来换取另一个方面。亚马逊公司

2013-04-30 13:34:11 533

统架构师角色关键的一方面就是衡量相互冲突的需求、决定解决方案，常常要牺牲一个方面来换取另一个方面。随着系统变得越来越大、越来越复杂，越来越多关于如何构建应用的传统智慧正在受到挑战。比如说，去年3月在伦敦召开的QCon会议上，Dan Pritchard谈论了eBay的架构。他的介绍随后得到了很多的报道，其中一个主要的结论就是eBay不使用事务，用数据一致性上的损失来换取系统整体伸缩性和性能上相当大的

2013-04-30 13:28:44 543

转载 Twitter网站架构学习笔记

作为140个字的缔造者，twitter太简单了，又太复杂了，简单是因为仅仅用140个字居然使有几次世界性事件的传播速度超过任何媒体，复杂是因为要为2亿用户提供这看似简单的140个字的服务，这真的是因为简单，所以复杂。今天就结合网络上的一些资料，来浅谈一下我对twitter网站架构的学习体会，希望给路过的朋友一点启示.......一、twitter网站基本情况概览截至2011年4月，

2013-04-30 13:21:01 613

转载 Linkedin网站技术架构简介

在JavaOne 2008的会议上，著名社交网站LinkedIn的开发者做了2个关于LinkedIn网站的架构技术的演讲可以看一下LinkedIn网站的基本情况：1. 2千2百万用户2. 每个月4百万独立用户访问3. 每天4千万Page View4. 每天2百万搜索流量5. 每天25万邀请发送6. 每天1百万的回答提交7. 每天2百万的Email消息

2013-04-30 12:59:36 1318

转载优化和架构之服务切分

切分是最基本，且最多变的思路之一，说基本，是因为在学习程序设计的第一天就应该知道，说多变，是因为在未来的很多年里，你会不停的应用这个方法来解决问题。不幸的是，切分这个思路并没有得到应有的重视。大概是因为这个词比较土，说起来也比较普通，远不如并行，集群，负载平衡这些词听起来大。所以碰到一个问题的时候，往往被拿出来的解决方案会是以上3个大词之一，很少有人去认真的考虑切分问题。但事实上，这3个大

2013-04-30 12:50:37 575

转载提升可伸缩性的8项最佳实践

Wille Faler 提出了八项提升系统可伸缩性和性能的最佳实践，其中包括减少数据库操作、使用缓存、减少网络通信等实践。1. 减少数据库操作－尽可能远离数据库。如无必要，就不要打开数据库连接或者启动事务。2. 缓存带来的显著变化－缓存能极大地减低数据库的负担，特别是当系统通过只读方式访问数据库的时候。内存缓存优于磁盘缓存，而磁盘缓存又优于远程缓存和关系型数据库。3

2013-04-30 12:29:18 505

转载现代浏览器的工作原理

简介浏览器可以被认为是使用最广泛的软件，本文将介绍浏览器的工作原理，我们将看到，从你在地址栏输入google.com到你看到google主页过程中都发生了什么。将讨论的浏览器今天，有五种主流浏览器——IE、Firefox、Safari、Chrome及Opera。本文将基于一些开源浏览器的例子——Firefox、 Chrome及Safari，Safari是部分开源的。根据W3C

2013-04-30 12:14:37 678

转载可伸缩性原则

从最简单的水平来看，可伸缩性就是做更多的事情。更多的事情可以是响应更多的用户请求，执行更多的工作，或处理更多的数据。设计软件这件事本身是复杂的，而让软件做更多的工作也有其特有的问题。这篇文章针对构建可伸缩软件系统提出了一些原则和方针。1. 减少处理时间增加应用所做工作数量的一个方法就是减少完成单项工作所花费的时间。举例来说，减少处理一个用户请求所需的时间意味着你能在同样长的时间内处

2013-04-30 12:08:15 645

转载可伸缩性的最差实践

引言在扩展大量大型的分布式系统期间，我有机会观察（并实践）了一些最差实践。这些最差实践中的大部分在开始时都没有危害，但如果疏忽大意，它们就会对系统的发展和可伸缩性构成危害。很多文章都聚焦于最佳实践，以确保拥有一个易于维护和可伸缩的系统，但在本文中，我主要强调的则是一些应该规避的最差实践。技术没有任何一种技术或架构能实现所有的需求。了解何时该反思现有的方法、如何拓宽视野以超越

2013-04-29 23:34:43 497

转载 Web系统架构的一些思考

负载均衡这里把多台nginx反向代理服务器顶在最前面，可以通过DNS简单轮循或绑定虚拟IP的方法来实现分流。之所以用nginx是因为它的稳定、强大、高性能、低开销、以及对高并发的支持。也可以换成LVS，从效率上来说肯定会比nginx高，因为工作在OSI的第四层(传输层)，可以修改目标IP。甚至可以在第二层(数据链路层)修改MAC地址(DR模式，相当于路由器)，让数据包直接到达目标服务器。不

2013-04-29 17:15:03 922

转载回顾MySpace架构的坎坷之路

说起MySpace，可能很多人对他印象很深，MySpace.com成立于2003年9月，是目前全球最大的社交网站。它为全球用户提供了一个集交友、个人信息分享、即时通讯等多种功能于一体的互动平台，同时他也是.NET应用最出色的网站之一。下面我们一起来回顾一下MySpace架构的改革之路，或许我们能从中得到一点点架构方面的经验和教训。1、50万用户最早myspace网站由一台数据库服务

2013-04-29 14:14:22 483

转载 YouTube架构学习体会

这几天一直在关注和学习一些大型网站的架构，希望有一天自己也能设计一个高并发、高容错的系统并能应用在实践上。今天在网上找架构相关的资料时，看到一个被和谐的视频网站YouTube的架构分析，看了以后觉得自己又向架构走近了一步，于是赶快拿出来与大家一起分享。YouTube发展迅速，每天超过1亿的视频点击量，但只有很少人在维护站点和确保伸缩性。这点和PlentyOfFish类似，少数人维护庞大系统

2013-04-29 14:12:44 647

转载优酷网架构学习笔记

记得以前给大家介绍过视频网站龙头老大YouTube的技术架构，相信大家看了都会有不少的感触，互联网就是这么一个神奇的东西。今天我突然想到，优酷网在国内也算是视频网站的老大了，不知道他的架构相对于YouTube是怎么样的，于是带着这个好奇心去网上找了优酷网架构的各方面资料，虽然谈得没有YouTube那么详细，但多少还是挖掘了一点，现在总结一下，希望对喜欢架构的朋友有所帮助。一、网站基本数据概

2013-04-29 14:04:40 570

转载十大界面原型与布局工具

摘要：原型设计能起到有效沟通的作用，漂亮，直观的原型图更是让人赏心悦目。本文罗列了2013年最新的10大界面原型与布局工具以帮助设计师和开发者创建出更加优秀的产品。创建网页或者程序不仅要关注主页的排版以及与主题想匹配的图片，还应注重视觉设计，这是因为它更能吸引用户进而提升搜索量。因此，项目开发首先需要确立良好的设计，创意是必不可少的。所以，项目经理、Web设计师、开发者在线框和原型工具

2013-04-29 10:12:16 1376

转载提高大型软件项目质量的一些实用型技术分享

摘要：提高软件产品质量一直是开发人员所追求的目标，而世上并没有什么绝招可以保证程序员开发的产品不存在质量问题。但实践出真知，一些开发者总结平时项目开发经验，通过提高测试覆盖率和使用一些质量工具提高产品质量。金无足赤，人无完人。在软件行业里，想要开发出一件没有bug的产品简直是天方夜谭，甚至开发出一款高质量的产品也会难于上青天。但是实践出真知，一些开发者总结平时项目开发经验，通过提高测试

2013-04-29 10:05:47 735

转载编辑器与IDE

无谓的编辑器战争很多人都喜欢争论哪个编辑器是最好的。其中最大的争论莫过于 Emacs 与 vi 之争。vi 的支持者喜欢说：“看 vi 打起字来多快，手指完全不离键盘，连方向键都可以不用。”Emacs 的支持者往往对此不屑一顾，说：“打字再快又有什么用。我在 Emacs 里面按一个键，等于你在 vi 里面按几十个键。”其实还有另外一帮人，这些人喜欢说：“对于 Emacs 与 vi

2013-04-29 09:55:27 613

转载微信收费事件背后被广泛忽略的技术细节

摘要：关于微信是否应该收费，整个互联网几乎异口同声地指责运营商垄断与霸道。诚然，移动运营商免不了责任，但其所言“微信加重了运营商负担”也不无道理，本文从技术角度介绍了其中原因以及责任归属问题。作为一个横跨通信与互联网两大行业的从业者，前四年的核心网经验和后五年的互联网经验让我不得不感慨一个非常遗憾的现实：通信与互联网两大行业本来可以有珠联璧合的技术协同，为移动互联网提供近乎零耗电零流量

2013-04-29 09:47:16 470

转载贯穿应用开发始终的八大性能陷阱

摘要：将应用交付给终端用户正变得越来越难，因为会涉及到更多的组件，也因此更容易犯错。技术性能公司Compuware总结了贯穿应用始终的八大影响应用性能的陷阱，望开发者引以为戒。数据库访问低效、框架配置错误、内存使用过度、网页臃肿，以及不遵循常见Web性能最佳实践都是应用开发中常见的、影响应用性能的主要陷阱。技术性能公司Computeware从实际案例总结了贯穿应用始终的八大影响应用性

2013-04-29 09:33:30 529

转载 Mysql索引优化

1，创建索引对于查询占主要的应用来说，索引显得尤为重要。很多时候性能问题很简单的就是因为我们忘了添加索引而造成的，或者说没有添加更为有效的索引导致。如果不加索引的话，那么查找任何哪怕只是一条特定的数据都会进行一次全表扫描，如果一张表的数据量很大而符合条件的结果又很少，那么不加索引会引起致命的性能下降。但是也不是什么情况都非得建索引不可，比如性别可能就只有两个值，建索引不仅没什么优势，还会影响到

2013-04-28 14:14:42 444

转载备受开发者青睐的13款热门开源项目

摘要：本文我们总结了国外13款热门级的开源项目，包括ProjectLibre、OpenBravo POS、Impress.JS、Reveal.JS、Diaspora等，这些项目都是备受开发者青睐的开源项目，希望你会喜欢。开源是一项伟大的高科技技术产业。如今各大企业都在积极拥抱开源，企业在花费了大量的人力、物力后像似下一盘赌注，因为你不确定该项目是否受到开发者的青睐。本文我们总结了国外1

2013-04-25 23:05:13 648

转载再培养一个扎克伯克：六款适合儿童上手编程的App

本文提供6款免费且非常适合儿童编程的应用，无论他/她现在是5岁还是15岁，是想学Ruby/Java，这六款工具都可以让孩子轻松入手，快乐学编程。教育从娃娃抓起。在竞争日益激烈的今天，多一项技能或许就多一次成功的机会。众览IT界那些富有且具有影响力的大佬们，许多人从年轻的时候就开始编程。如果你想多给孩子一次成功的机会，何不从现在就开始教他们coding呢。本文作者La

2013-04-25 22:55:14 819

转载 MYSQL数据丢失讨论

1. 概述很多企业选择MySQL都会担心它的数据丢失问题，从而选择Oracle，但是其实并不十分清楚什么情况下，各种原因导致MySQL会丢失部分数据。本文不讨论Oracle和MySQL的优劣，仅仅关注MySQL丢失数据的几种情况。希望能够抛砖引玉，让各位MySQL大牛们梳理出MySQL最安全或者性价比合适的适合各种应用场景的方案。2. 问题定义一般我们希望把一系列的数据作为

2013-04-25 22:35:04 677

转载海量存储系列之序言—之一—之二—之三

今天有人问我有没有数据存储的相关资料，我想了想。。虽然在这个领域内也算有点积累，以前讲课的ppt有200多页，但毕竟ppt的信息量有限。所以在这里将这个系列的部分内容在这里进行重新编排。这个内容会在我的轻博客和这里同步龟速更新。主要将涉及到：1. 数据库原理关系代数事务l sql k-v存储的使用数据存储模型

2013-04-24 22:28:46 677

转载 HTTP服务七层架构技术探讨

1. 为什么分层？　　计算机领域的体系结构普遍采用了分层的方式。　　从整体结构来看：　　从最底层的硬件往高层依次有：　　操作系统 -> 驱动程序 -> 运行库 -> 系统程序 -> 应用程序等等。　　从网络分层模型OSI来讲，由上至下为：　　应用层 -> 表示层 -> 会话层 -> 传输层 -> 网络层 -> 数据链路层 -> 物理层　　当然

2013-04-24 21:59:10 511

转载可伸缩性最佳实践：来自eBay的经验

英文原文：Scalability Best Practices: Lessons from eBay　　在eBay，可伸缩性是我们每天奋力抵抗的一大架构压力。我们所做的每一项架构及设计决策，身前身后都能看到它的踪影。当我们面对的是全世界数以亿计的用户，每天的页面浏览量超过10亿，系统中的数据量要用皮字节（1015或250）来计算——可伸缩性是生死交关的问题。　　在一个可伸缩的架

2013-04-24 21:48:49 660

转载数据库读写分离

随着一个网站的业务不断扩展，数据不断增加，数据库的压力也会越来越大，对数据库或者SQL的基本优化可能达不到最终的效果，我们可以采用读写分离的策略来改变现状。读写分离现在被大量应用于很多大型网站，这个技术也不足为奇了。ebay就做得非常好。ebay用的是oracle，听说是用Quest Share Plex 来实现主从复制数据。读写分离简单的说是把对数据库读和写的操作分开对应

2013-04-23 23:00:23 639

转载 swing的jgoodies FormLayout

最近对swing又产生了兴趣，虽然以前也偶尔看过，但都停留在理论阶段，没实践过。最近觉得重新再看看，试下能不能写个程序出来看看。首先找了一个开源的小程序看了下，因为基础的东西自己还记得些，看起来不是很困难。一直以来，自己对swing的layout都不满意，官方自带那几个，GridBagLayout控制粒度倒是还可以，但是用起来太复杂，其它的控制粒度都比较粗。最近在网上找了下，第三方的组件还是

2013-04-11 16:28:55 1998