自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

转载 WebRTC现状及实现概要

WebRTC现状及实现概要摘要: Google 通过把 WebRTC 项目开源,希望浏览器厂商能够将该技术内建在浏览器中,从而使Web应用开发人员能够通过HTML标签和JavaScript API就实现Web音频、视频通信功能。本文讲述浏览器引入 WebRTC技术的必要性、WebRTC ...1 引言1.1 编写目的本

2014-05-01 23:49:46 454

原创 Linux TCP/IP 协议栈相关参数

<br /><br />标准的 GNU/Linux发行版试图适应各种部署情况,这意味着标准的发行版可能并没有对您的环境进行特殊的优化。GNU/Linux提供了很多可调节的内核参数,您可以使用这些参数为您自己的用途对操作系统进行动态配置。下面我们来了解一下影响socket性能的一些更重要的选项。<br />在Linux的发行版本中,都存在一个/proc/目录,有的也称它为Proc文件系统。在 /proc 虚拟文件系统中存在一些可调节的内核参数。这个文件系统中的每个文件都表示一个或多个参数,它们可以

2010-12-03 23:26:00 1517

转载 UTF-8 GBK UTF8 GB2312 之间的区别和关系

<br />UTF-8:Unicode TransformationFormat-8bit,允许含BOM,但通常不含BOM。是用以解决国际上字符的一种多字节编码,它对英文使用8位(即一个字节),中文使用24为(三个字节)来编码。UTF-8包含全世界所有国家需要用到的字符,是国际编码,通用性强。UTF-8编码的文字可以在各国支持UTF8字符集的浏览器上显示。如,如果是UTF8编码,则在外国人的英文IE上也能显示中文,他们无需下载IE的中文语言支持包。 <br /><br />GBK是国家标准GB2312基础上

2010-11-28 20:12:00 249

转载 关于负载均衡和过载保护的一些想法和实现

最近需要给一个现网server增加过载保护的功能,借此机会也思考了很多,简单谈谈我对这两个概念的理解和实现方法。

2010-11-01 19:42:00 331

原创 海量数据处理方法小结

大数据量的问题是很多面试笔试中经常出现的问题,比如baidu google 腾讯 alibaba 这样的一些涉及到海量数据的互联网公司经常会问到。 下面综合网上的资料和一般的出现的问题。对海量数据的处理方法进行了一个一般性的总结,当然这些方法可能并不能完全覆盖所有的问题,但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目,方法不一定最优,如果你有更好的处理方法,欢迎与我讨论,共同进步。 google对海量数据的处理总结出三大核心技术: GFS,Map

2010-08-26 09:08:00 640

转载 解剖Twitter:Twitter系统架构设计分析-3

<br /><br />【8】 得过不且过<br />北京西直门立交桥的设计,经常遭人诟病。客观上讲,对于一座立交桥而言,能够四通八达,就算得上基本完成任务了。大家诟病的原因,主要是因为行进路线太复杂。<br />当然,站在设计者角度讲,他们需要综合考虑来自各方面的制约。但是考虑到世界上立交桥比比皆是,各有各的难处,然而像西直门立交桥这样让人迷惑的,还真是少见。所以,对于西直门立交桥的设计者而言,困难是客观存在的,但是改进的空间总还是有的。<br />Figure 10. 北京西直门立交桥行进路线<br /

2010-08-08 12:05:00 892 1

转载 解剖Twitter:Twitter系统架构设计分析-2

<br /> <br />比较有趣的事情是,通常把Varnish部署在Web Server之外,面向Internet的位置。这样,当用户访问网站时,实际上先访问Varnish,读取所需内容。只有在Varnish没有缓存相应内容时,用户请求才被转发到Web Server上去。而Twitter的部署,却是把Varnish放在Apache Web Server内侧[19]。原因是Twitter的工程师们觉得Varnish的操作比较复杂,为了降低Varnish崩溃造成整个网站瘫痪的可能性,他们便采取了这种古怪而且保

2010-08-08 12:02:00 1334

转载 解剖Twitter:Twitter系统架构设计分析-1

<br />这个周末在家学习Twitter的架构设计原理,发现了很多精妙的地方,也验证了之前的很多猜想。<br /> <br /> <br /> <br />随着信息爆炸的加剧,微博客网站Twitter横空出世了。用横空出世这个词来形容Twitter的成长,并不夸张。从2006年5月 Twitter上线,到2007年12月,一年半的时间里,Twitter用户数从0增长到6.6万。又过了一年,2008年12月,Twitter的用 户数达到5百万。[1] <br /><br />  Twitter网站的成功,先

2010-08-08 11:49:00 696

转载 Brewer’s CAP Theorem(2)

<br />最近一直在学习ACID,CAP,BAse等NoSQL思想。下面这批CAP理论文章很不错,分享给大家。<br />原文:http://pt.alibaba-inc.com/wp/dev_related_728/brewers-cap-theorem.html<br /> <br />定理的重要性<br />CAP定理在应用系统规模化时最有效。在低压力的情况下,小的延迟(以便数据库达到一致的状态)还不足以对总体的性能或用户体验造成影响。你所承担的负载分布,可能都是出于系统管理的原因。?<br />但

2010-08-05 17:56:00 1192

转载 Brewer’s CAP Theorem(1)

Amazon和EBay一直在喝的酷爱(kool aid)饮料。by Julian Browne on 2009.1.11 (经Julian授权翻译此文,原文参见)1976年6月4号,周5,在远离音乐会大厅的一个楼上的房间内,在位于Manchester的Lesser Free Trade Hall,Sex Pistols乐队(注:Sex Pistols的经理人Malcolm McLaren 2010.4.8去世)开始了他们的第一次演出(gig,注:规模太小称不上演唱会)。关于当晚谁出席了那场演出有些混乱,部分

2010-08-05 17:54:00 1147 1

原创 NoSQL数据库杂谈

由于工作的原因需要设计一下海量的服务器系统,传统的数据ACID不能那个满足需求了。上周末读了不少NoSQL文章,这里在总结一下。在UGC的海量服务时代,NoSQL技术大有可为。

2010-08-02 15:09:00 531

转载 NoSQL数据库笔谈(4)

<br />周末看的NoSqL文章的第4部分微软之SQL数据服务SQL数据服务 是微软 Azure 网 络服务平台的一部分。该SDS服务也是处于测试阶段,因此也是免费的,但对数据库大小有限制。 SQL数据服务其自身实际上是一项处在许多SQL服务器之上的应用,这些SQL服务器组成了SDS平台底层的数据存储。你不需要访问到它们,虽然底层的数 据库可能是关系式的;SDS是一个键/值型仓储,正如我们迄今所讨论过的其它平台一样。<br /><br />微软看起来不同于前三个供应商,因为虽然键/值存储对于可扩性���言

2010-08-01 21:05:00 4460

转载 NoSQL数据库笔谈(3)

<br />DHT<br />Distributed hash table<br /><br /><br />Map Reduce ExecutionMap Reduce已经烂大街了,不过还是要提一下。<br />参见:http://zh.wikipedia.org/wiki/MapReduce<br /><br /><br /><br />Handling Deletes但我们执行删除操作的时候必须非常谨慎,以防丢失掉相应的版本信息。<br /><br />通常我们给一个Object标注上"已删除"的

2010-08-01 21:03:00 2521

转载 NoSQL数据库笔谈(2)

 周末在家读了一系列关于NoSQL的文章,如下,很不错,特转载在我的博客当作。原文:在UGC时代构建海量服务器系统很有参考意义。http://www.yankay.com/wp-content/uploads/2010/02/NoSql%20Database%20Note/万兆以太网 手段篇一致性哈希要求分布式架构的发展说起。第一阶段考虑到单服务器不能承载,因此使用了分布式架构,最初的算法为 hash() mod n, hash()通常取用户ID,n为节点数。此方法容易实现且能够满足运营要求。缺点是当单点发

2010-08-01 20:56:00 606

转载 NoSQL数据库笔谈(1)

周末在家读了一系列关于NoSQL的文章,如下,很不错,特转载在我的博客当作。原文:在UGC时代构建海量服务器系统很有参考意义。http://www.yankay.com/wp-content/uploads/2010/02/NoSql%20Database%20Note/

2010-08-01 20:54:00 646

转载 海量服务设计基本原则和策略

 中国的互联网飞速发展,用户的渗透率越来越高。 互联网服务的特点就是面向海量级的用户,面向海量级的用户如何提供稳定的服务呢?同时网络用户和服务的变化有是非常大的,传统的软件开发原则和策略在面向服务的互联网环境来说有很多的差异。互联网服务有很多自身的特点,这里,对这几年的一些经验积累和平时接触的一些理念做一个总结。      一、原则      1.Web服务的CAP原理    

2010-05-30 00:36:00 440 1

转载 linux下让进程运行在指定的cpu上

多核的CPU在服务端原来越多,我们往往不能充分利用,在不增加机器的情况下,跟进服务器的进程情况,进行适当的CPU绑定,能够更充分利用机器的性能。原文:http://blog.csdn.net/eroswang/archive/2009/07/09/4336093.aspx 最近负责的svr压力比较大,业务逻辑有点复杂,能优化的地方已经全部优化了,目前每秒3k次,cpu负载还是比较高

2010-04-07 14:51:00 337

转载 [转][译文]程序员能力矩阵 Programmer Competency Matrix

[译文]程序员能力矩阵 Programmer Competency Matrix注意:每个层次的知识都是渐增的,位于层次n,也蕴涵了你需了解所有低于层次n的知识。 计算机科学 Computer Science  2n (Level 0)n2 (Level 1)n (Level 2)log(n) (Level 3)Comments数据结

2010-03-22 11:55:00 277

原创 eMule协议规范和源码分析

说明:这篇文章原来写在我的另外一个Bolg上面:http://hustlg.bokee.com/6304807.html由于该网络访问缓慢,现在逐渐把Blog迁移到这里来。收到不少朋友的邮件需要我发送相应的资料,我已经上传到CSDN的下载频道到,大家用“eMule协议规范和源码分析”搜索就可以随意下载了。eMule源码分析下载:http://download.csdn.net/sour

2010-01-24 20:56:00 2563

原创 Linux 常用系统管理的命令

 关键词: Linux    系统管理                                            1、查看某文件的一部分如果你只想看文件的前 5 行,可以使用 head 命令, 如:head -5 /etc/passwd 如果你想查看文件的后 10 行,可以使用 tail 命令, 如:tail -10 /etc/passwd 查看文件中间一段,可以使用 sed

2009-11-26 22:50:00 428

原创 大规模、高流量互联网站性能调优经验总结

 前言:对于一个高性能的Web站点,性能提升的2个主要突破点.响应时间.效率当前集中考虑的主要是响应时间方面,平时我们关注比较多的是后台Web服务器端的优化,通过Yahoo的实际数据分析,80-90%的终端响应时间是由前端决定的,所以是前端的优化也是非常重要的,存在巨大的改善空间,本文集中讨论前端优化。8/2性能准则:80%的性能问题是由20%的原因引起的,我们集中精力在这20%的原因上来改善80

2007-11-26 23:05:00 1943 1

转载 Windows完成端口与Linux epoll技术简介

 Windows完成端口与Linux epoll技术简介 1WINDOWS完成端口编程 11、基本概念 12、WINDOWS完成端口的特点 23、完成端口(Completion Ports )相关数据结构和创建 24、完成端口线程的工作原理 45、Windows完成端口的实例代码: 6Linux的EPoll模型 81、为什么select落后 82、内核中提高I/O性能的新方法epoll 93、ep

2007-11-22 21:53:00 5071 2

转载 开源搜索引擎资源[转]

   开放源代码搜索引擎为人们学习、研究并掌握搜索技术提供了极好的途径与素材,推动了搜索技术的普及与发展,使越来越多的人开始了解并推广使用搜索技术。使用开源搜索引擎,可以大大缩短构建搜索应用的周期,并可根据应用需求打造个性化搜索应用,甚至构建符合特定需求的搜索引擎系统。搜索引擎的开源,无论是对技术人员还是普通用户,都是一个福音。 搜索引擎的工作流程主要分为三步:从互联网抓取网页→创建抓取网页的索引

2007-10-18 20:35:00 1077

原创 eMule协议文件校验分析

最近一直再从事eMule,BT,HTTP,FTP等下载协议的跨协议整合开发工作,对eMule的文件校验进行了仔细的分析,同大家分享一下相关的结果,有些结果来自与网络,向原作者表示感谢。 1。首先介绍文件校验过程中的几个概念: 文件ID     文件ID用来惟一的标识网络中的文件和文件损坏侦测和修复。注意,eMule不依靠文件名来惟一标识和编目文件,通过哈希文件内容计算出的GUID标识文件。有两

2007-10-08 22:06:00 3923

原创 BT和eMule下载协议的比较和分析

 BT和eMule下载协议的比较和分析     由于从事P2P下载引擎开发得原因,对BT和eMule协议有了一些想法,总结如下,供参考。很多资料来源于互联网,再次向原作者表示感谢。 在当前的下载领域BT和eMule协议应用得是最广泛得,他们各自有自己强大得用户阵迎得支持。    eDonkey由Jed McCaleb在2000年创立。采用“多源文件传输协议”(MFTP,the Multisourc

2007-09-29 20:31:00 4668 2

原创 Ajax旧瓶装新酒的噱头--技术简介

             Ajax,使用它可以构建更为动态和响应更灵敏的Web应用程序。该方法的关键在于对浏览器端的JavaScript、DHTML和与服务器异步通信的组合。术语Ajax用来描述一组技术,它使浏览器可以为用户提供更为自然的浏览体验。在Ajax之前,Web站点强制用户进入提交/等待/重新显示范例,用户的动作总是与服务器的“思考时间”同步。Ajax提供与服务器异步通信的能力,从而使用户

2007-09-26 21:22:00 638

转载 Google File System(下)

 5.2 数据完整性每一个chunkserver都是用checksum来检查保存数据的完整性。通常一个GFS集群都有好几百台机器以及几千块硬盘,磁盘损坏是很经常的事情,在数据的读写中经常出现数据损坏(7节讲了一种原因)。我们可以通过别的chunk副本来解决这个问题,但是如果跨越chunkserver比较这个chunk的内容来决定是否损坏就很不实际。进一步说,允许不同副本的存在;在GFS更改操作的语

2007-07-20 20:48:00 1456 1

转载 The Google File System(上)

 The Google File SystemSanjay Ghemawat, Howard Gobioff, and Shun-Tak LeungGoogle∗{sanjay,hgobioff,shuntak}@google.com 首页版权Permission to make digital or hard copies of all or part of

2007-07-20 20:46:00 1824

转载 内存管理内幕--动态分配的选择、折衷和实现[转]

Jonathan Bartlett (johnnyb@eskimo.com) author:技术总监, New Media WorxJonathan Bartlett (johnnyb@eskimo.com) 为什么必须管理内存内存管理是计算机编程最为基本的领域之一。在很多脚本语言中,您不必担心内存是如何管理的,这并不能使得内存管理的重要性有一点点降低。对实际编程来说,理解您的内存管理器的能力

2007-04-12 11:53:00 1459 2

原创 小议微处理器发展史

  今天,我们可以舒适在坐在电脑前看电影、听音乐,通过互联网寻找资料,与远方的朋友进行视频聊天,又或者通过电子商务网站购买一本杂志、一款自己心仪的MP3播放器,一切都显得那么随意和悠然自得 。但是大部分人却都没想过,能够有如此幸福生活,是多少人前赴后继,作出了可歌可泣贡献才得到的。    “你每天都喝水,那你有没考虑过水厂和水龙头的关系怎么样的?”。确实,也许并非每个朋友都对IT和其中

2007-03-28 20:46:00 3827 1

翻译 P2P计算的未来

 THE FUTURE OF PEER-TO-PEER COMPUTINGAn economical method for pumping up computing power by tappinginto P2P systems using Web server technologies.By Alfred W. Loo The client/server archite

2007-03-19 14:19:00 1567

原创 计算机编程语言简介

 一、   什么是编程语言?编程语言是用来表达机器指令的工具吗?是程序员之间交流的桥梁吗?是表达高层设计的载体吗?是算法的符号吗?是表达概念之间关系的途径吗?是实验用的器材吗?是控制计算设备的方法吗?我的结论是,一个多用途(general-purpose)编程语言在上述这些问题的回答都应该为“是”,以满足不同用户的需要。编程语言不能成为——仅仅一些“优雅”特性的集合(a mere coll

2007-03-17 17:18:00 4599 1

原创 自适应图像增强的方法介绍

  图像增强的目的是采用某种技术手段,改善图像的视觉效果,或将图像转换成更适合于人眼观察和机器分析识别的形式,以便从图像中获取更有用的信息.图像增强与感兴趣物体特性、观察者的习惯和处理目的相关,因此,图像增强算法应用是有针对性的,并不存在通用的增强算法。图像的增强用于调整图像的对比度,突出图像中的重要细节,改善视觉质量。通常使用的图像增强的基本方法有:1. 空间域处理:”空间域”是

2007-02-07 14:08:00 4883 3

原创 VOIP技术详解

  宽带网络中,除了进行传统数据通讯外,语音电话服务也成为一个趋势,在此基础上就有了计算机IP电话的出现和发展。目前,IP电话的所占的比重在语音电话业务中越来越大,发展IP电话已成为势不可挡的潮流,特别在广电宽带综合信息网中IP电话是将来必不可少的组成部分。IP电话是建立于Internet基础上的新型数字化传输技术,是IP网上通过TCP/IP协议实现的一种电话应用。这种应用包括PC对PC连接、

2007-02-06 14:48:00 1934

转载 无所不在的互联网中P2P重叠网

本为系转载自中科院的侯自强教授(作者单位:中国科学院声学研究所)P2P:互联网回归“对等”本性无所不在的互联网中P2P重叠网  80年代以前的计算机是众多用户共享一个主机,计算资源是集中的,80年代以后PC机出现,计算资源从集中走向分布。互联网本身的是分布的、自治的,结点是对等的。WWW网出现,引进客户机-服务器结构,客户机结点使用浏览器访问存储的网站上服务器中的内容,出现了不对等的模

2007-02-01 10:38:00 1319

原创 基于Petri网的P2P系统性能评价

  引言性能评价是计算机网络和计算机系统研究与应用的重要理论基础和支撑技术。本文试图从性能评价的角度对当前非常流行的P2P系统进行分析。本文由以下几个部分组成。1。性能评价的目的及介绍,2。 Petri网在计算机网路系统性能评价中的介绍,3。P2P系统的特点,4。在前面的基础上提出一个基于Petri网的P2P性能分析模型:多队列和多服务器的对等服务系统模型,5。 模型的求解方法和性能评价,

2007-01-19 15:24:00 1853

原创 NAS技术分析及研究

  1、引言近年来,随着Internet和Intranet技术的广泛应用,交易的信息量以令人难以置信的速度在迅速增长。电子商务、电子邮件等网络服务对数据在可用性、可靠性、可扩展性等方面提出了更加严格的要求,同时,数据的异地实时存储也日渐显得重要,现在“异地存储、异地备份、异地容灾”等存储概念开始被人们接受并重视。传统的以服务器为中心的存储体系结构已难以满足企业的需求。因此,必须研究和开发一

2007-01-16 21:55:00 1915

原创 基于InfiniBand的存储系统发展过程

 1.0    InfiniBand存储的过去,现在和将来      2001年初,第一块InfiniBand适配卡和交换系统在市场中出现。作为一种拥有每秒10GB的性能,并支持传输卸载的工业标准,许多人相信InfiniBand技术将很快能同光纤通道技术争夺市场,图1展示了InfiniBand和2Gb/s光纤通道访问磁盘媒介时的单端口吞吐量对比。然而,就像任何典型的新技术一样,其推

2007-01-14 16:59:00 3254

原创 移动Ad hoc网络研究

 引言随着人们对摆脱有线网络束缚、随时随地可以进行自由通信的渴望,近几年来无线网络通信得到了迅速的发展。人们可以通过配有无线接口的便携计算机或个人数字助理来实现移动中的通信。目前的移动通信大多需要有线基础设施(如基站)的支持才能实现。为了能够在没有固定基站的地方进行通信,一种新的网络技术——Ad Hoc网络技术应运而生[28]。Ad Hoc网络不需要有线基础设备的支持,通过移动主机自由的组

2007-01-05 18:03:00 3370 1

原创 海量存储系统的结构与性能设计若干问题

  一.海量存储系统的现状及数据存储的重要性随着信息时代的到来,人们面对着与日俱增的各种信息,不仅要处理它,更重要的是如何保存信息,为日常的工作和生活服务。信息存储、传输和处理将是提高社会整体发展水平最重要的保障条件之一,也是世界各国高技术竞争的焦点之一。计算机系统发展到今天,其应用的主流已经从科学计算变为泛计算应用,特别是信息服务。这种变化使得计算机在经历以CPU为中心和以内存为中心的阶

2006-12-19 20:26:00 2071

提示
确定要删除当前文章?
取消 删除