排序:
默认
按更新时间
按访问量

如何处理海量数据

转自http://www.cnblogs.com/lovexinsky/archive/2012/03/09/2387583.html 在实际的工作环境下,许多人会遇到海量数据这个复杂而艰巨的问题,它的主要难点有以下几个方面: 一、数据量过大,数据中什么情况都可能存在。 如果说有10条数据,...

2014-03-13 23:53:39

阅读数:683

评论数:0

mapreduce

We want to count all the books in the library. You count up shelf #1, I count up shelf #2. That’s map. The more people we get, the faster it goes.Now...

2014-01-11 21:11:39

阅读数:388

评论数:0

谷歌技术“三宝”之GFS

http://blog.csdn.net/opennaive/article/details/7483523 题记:初学分布式文件系统,写篇博客加深点印象。GFS的特点是使用一堆廉价的商用计算机支撑大规模数据处理。 虽然"The Google File System &q...

2014-01-06 22:02:10

阅读数:681

评论数:0

谷歌技术“三宝”之MapReduce

转自http://blog.csdn.net/opennaive/article/details/7514146 江湖传说永流传:谷歌技术有"三宝",GFS、MapReduce和大表(BigTable)! 谷歌在03到06年间连续发表了三篇很有影响力的文章,分别是0...

2014-01-06 22:00:08

阅读数:462

评论数:0

谷歌技术“三宝”之BigTable

转自http://blog.csdn.net/opennaive/article/details/7532589 2006年的OSDI有两篇google的论文,分别是BigTable和Chubby。Chubby是一个分布式锁服务,基于Paxos算法;BigTable是一个用于管理结构化数据的...

2014-01-06 21:58:36

阅读数:492

评论数:0

谷歌三大技术中文版

这三篇论文翻译质量相当高,三位译者作出了非常了不起的、实实在在的贡献,真是应该好好感谢他们! MapReduce: http://blog.csdn.net/active1001/archive/2007/07/02/1675920.aspx GFS: http://blog.csdn.net...

2014-01-06 21:52:06

阅读数:425

评论数:0

高性能服务器开发(链接)

高性能服务器必须考虑的4个方面: 1 数据拷贝 2 内存管理 3 进程/线程上下文切换 4 锁争用 说明:以下文章中会包含一些研究服务器性能的链接,这些链接也是非常重要的文档,本文不再列出,查看下面的文章内容时,可点击文章里面的链接访问。 影响服务器性能的TCP选项:TCP...

2014-01-06 21:11:55

阅读数:540

评论数:0

libevent使用经验

最近一个项目中需要提供一个简单的采用http post协议的服务,开发语言是C++,考虑到各种因素,最终决定直接采用libevent,一方面比较熟悉,另一方面也可能复用其提供的定期事件回调,不然自己编写一个类似Reactor的框架花费太大。 下面是一些关于libevent的介绍文章: ...

2014-01-06 16:58:52

阅读数:636

评论数:0

libevent的使用

转自http://www.cnblogs.com/cnspace/archive/2011/07/19/2110891.html 这篇文章介绍下libevent在socket异步编程中的应用。在一些对性能要求较高的网络应用程序中,为了防止程序阻塞在socket I/O操作上造成程序性能的下降...

2014-01-06 16:56:53

阅读数:468

评论数:0

libevent学习

http://blog.csdn.net/sparkliang/article/category/660506

2014-01-06 15:35:14

阅读数:393

评论数:0

C10K 問題和 Libevent 庫簡介

一.C10K的問題 C10K的問題在上個世紀90年代就被提出來了。大概的意思是當用戶數超過1萬時,很多設計不良好的網絡服務程序性能都將急劇下降、甚至癱瘓。並且,這個問題並不能通過升級硬件設備解決,是操作系統固有的問題,也就是說,如果你的服務器最高能支撐1000個並發,儘管你升級了計算能力高一倍的...

2014-01-06 15:20:50

阅读数:489

评论数:0

高性能服务器架构

本文将与你分享我多年来在服务器开发方面的一些经验。对于这里所说的服务器,更精确的定义应该是每秒处理大量离散消息或者请求的服务程序,网络服务器更符合这种情况,但并非所有的网络程序都是严格意义上的服务器。使用“高性能请求处理程序”是一个很糟糕的标题,为了叙述起来简单,下面将简称为“服务器”。  ...

2014-01-06 15:07:21

阅读数:458

评论数:0

负载均衡问题

http://zh.wikipedia.org/wiki/%E8%B4%9F%E8%BD%BD%E5%9D%87%E8%A1%A1_(%E8%AE%A1%E7%AE%97%E6%9C%BA) http://www.cnblogs.com/and/p/3366400.html http://...

2014-01-06 15:01:57

阅读数:387

评论数:0

腾讯面试题:服务器内存1G,有一个2G的文件,里面每行存着一个QQ号(5-10位数),怎么最快找出出现过最多次的QQ号。

腾讯最新面试题:服务器内存1G,有一个2G的文件,里面每行存着一个QQ号(5-10位数),怎么最快找出出现过最多次的QQ号。 以下是个人所建第Algorithms_12群内朋友的聊天记录:     首先你要注意到,数据存在服务器,存储不了(内存存不了),要想办法统计每一个qq出现的次数...

2013-12-13 13:35:17

阅读数:2683

评论数:0

海量数据杂

海量数据分布在100台电脑中,想个办法高效统计出这批数据的TOP10。(此题请参考本博客内其它文章)。 某服务器流量统计器,每天有1000亿的访问记录数据,包括时间、url、ip。设计系统实现记录数据的 保存、管理、查询。要求能实现一下功能: (1)计算在某一时间段(精确到分)时间内的,某u...

2013-12-13 13:30:15

阅读数:495

评论数:0

设计一个DNS的Cache结构,要求能够满足每秒5000以上的查询,满足IP数据的快速插入,查询的速度要快

题目:     要求设计一个DNS的Cache结构,要求能够满足每秒5000以上的查询,满足IP数据的快速插入,查询的速度要快。(题目还给出了一系列的数据,比如:站点数总共为5000万,IP地址有1000万,等等)  DNS服务器实现域名到IP地址的转换。  每个域名...

2013-12-13 12:23:35

阅读数:1365

评论数:0

阿里云,搜索引擎中5亿个url怎么高效存储;

。。。

2013-12-12 11:22:34

阅读数:1494

评论数:0

有100W个关键字,长度小于等于50字节。用高效的算法找出top10的热词,并对内存的占用不超过1MB。

①先把100W个关键字hash映射到小文件,根据题意,100W*50B = 50*10^6B = 50M,而内存只有1M,故干脆搞一个hash函数 % 50,分解成50个小文件; ②针对对每个小文件依次运用hashmap(key,value)完成每个key的value次数统计,后用堆找出每个小文...

2013-12-10 23:35:59

阅读数:1301

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭