大数据中数据量打底有多大?

版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/leicool_518/article/details/45500321


      先看下计量单位之间的换算:

       1KB (Kilobyte 千字节)=1024B,

       1MB (Megabyte 兆字节 简称“兆”)=1024KB,

       1GB (Gigabyte 吉字节 又称“千兆”)=1024MB,

       1TB (Trillionbyte 万亿字节 太字节)=1024GB,

       1PB (Petabyte 千万亿字节 拍字节)=1024TB,

       1EB (Exabyte 百亿亿字节 艾字节)=1024PB,

       1ZB (Zettabyte 十万亿亿字节 泽字节)= 1024 EB,

       1YB (Yottabyte 一亿亿亿字节 尧字节)= 1024 ZB,

       1BB (Brontobyte 一千亿亿亿字节)= 1024 YB.

        注:“兆”为百万级数量单位.

        到目前为止,人类生产的所有印刷材料的数据量是200PB,而历史上全人类说过的所有的话的数据量大约是5EB。并预计到2020年全球数据使用量将会达到35.2ZB。

展开阅读全文

ebay的数据量多大 ??? 100

12-05

作为电子商务领头羊的 eBay 公司,数据量究竟有多大? 很多朋友可能都会对这个很感兴趣。在这一篇 rnWeb 2.0: How High-Volume eBay Manages Its Storage(从+1 GB/1 min得到的线索) 报道中,eBay 的存储主管 Paul Strong 对数据量做了一些介绍,管中窥豹,这些数据也给我们一个参考。rnrn站点处理能力rn平均每天的 PV 超过 10 亿 ; rn每秒钟交易大约 1700 美元的商品 ; rn每分钟卖出一辆车A ; rn每秒钟卖出一件汽车饰品或者配件 ; rn每两分钟卖出一件钻石首饰 ; rn6 亿商品,2 亿多注册用户; 超过 130 万人把在 eBay 上做生意看作是生活的一部分。rn在这样高的压力下,可靠性达到了 99.94%,也就是说每年 5 个小时多一点的服务不可用。从业界消息来看,核心业务的可用性要比这个高。rnrn数据存储工程组控制着 eBay 的 2PB (1Petabyte=1000Terabytes) 可用空间。这是一个什么概念,对比一下 Google 的存储就知道了。每周就要分配 10T 数据出去,稍微算一下,一分钟大约使用 1G 的数据空间。rnrn计算能力rneBay 使用一套传统的网格计算系统。该系统的一些特征数据: rn170 台 Win2000/Win2003 服务器; rn170 台 Linux (RHES3) 服务器; rn三个 Solaris 服务器: 为 QA 构建与部署 eBay.com; 编译优化 Java / C++ 以及其他 Web 元素 ; rnBuild 整个站点的时间:过去是 10 个小时,现在是 30 分钟; rn在过去的2年半, 有 200 万次 Build,很可怕的数字。rn存储硬件rn每个供货商都必须通过严格的测试才有被选中的可能,这些厂家或产品如下: rn交换机: Brocade rn网管软件:IBM Tivoli rnNAS: Netapp (占总数据量的 5%,2P*0.05, 大约 100 T) rn阵列存储:HDS (95%,这一份投资可不小,HDS 不便宜, EMC 在 eBay 是出局者) 负载均衡与 Failover: Resonate ;rnrn搜索功能: Thunderstone indexing system ;rn数据库软件:Oracle 。大多数 DB 都有 4 份拷贝。数据库使用的服务器 Sun E10000。另外据我所知, eBay 购买了 Quest SharePlex 全球 Licence 用于数据复制.rnrnrn应用服务器rnrn应用服务器有哪些特点呢? rnrn使用单一的两层架构(这一点有点疑问,看来是自己写的应用服务器)rnrn330 万行的 C++ ISAPI DLL (二进制文件有 150M)rnrn数百名工程师进行开发rnrn每个类的方法已经接近编译器的限制 rnrn非常有意思,根据eWeek 的该篇文档,昨天还有上面这段划掉的内容,今天上去发现已经修改了:rnrn架构rn高分布式 rn拍卖站点是基于 Java 的,搜索的架构是用 C++ 写的 rn数百名工程师进行开发,所有的工作都在同样的代码环境下进行rn可能是被采访者看到 eWeek 这篇报道,联系了采访者进行了更正。我还有点奇怪原来"两层"架构的说法。rnrn其他信息rn集中化存储应用程序日志; rn全局计费:实时的与第三方应用集成(就是eBay 自己的 PayPal 吧?) rn业务事件流:使用统一的高效可靠消息队列. 并且使用 Cookie-cutter 模式用于优化用户体验(这似乎是大型电子商务站点普遍使用的用于提高用户体验的手法)。rn 论坛

没有更多推荐了,返回首页