海量数据
文章平均质量分 72
huangshulang1234
这个作者很懒,什么都没留下…
展开
-
10亿次+消息、40亿次+总请求丨以58帮帮为例看58同城典型技术架构演变
10亿次+消息、40亿次+总请求丨以58帮帮为例看58同城典型技术架构演变来源:《程序员》2015年10月期作者:孙玄作者介绍:58赶集集团系统架构师,技术负责人,技术委员会架构组主任,也是58同城即时通讯、C2C技术负责人,负责58核心系统的架构以及优化工作。分布式系统存储专家,前百度高级工程师,参与社区搜索部多个基础系统的设计与实现。58转载 2017-11-18 09:17:04 · 530 阅读 · 0 评论 -
经典面试问题: Top K 之 -- 海量数据找出现次数最多或,不重复的
经典面试问题: Top K 之 -- 海量数据找出现次数最多或,不重复的林冠宏 / 指尖下的幽灵仅列举一些解决方法,事实的解决方案是非常多的。这些问题都是面临着有如下的考虑:内存不足以放下所有的数。机器CPU的核数不够。...问这些问题的意义:如果能把这些问题答好,必然是综合计算机各转载 2018-03-10 09:47:30 · 2189 阅读 · 0 评论 -
找出一堆数中最小的前K个数
找出一堆数中最小的前K个数描述:给定一个整数数组,让你从该数组中找出最小的K个数思路:最简洁粗暴的方法就是将该数组进行排序,然后取最前面的K个数即可。但是,本题要求的只是求出最小的k个数即可,用排序可以但显然有点浪费,比如让求10000个整数数组中的最小的10个数,用排序的话平均时间复杂度差为Nlog(N)。于是想到了,用堆来实现,但是自己实现又太麻烦,转载 2018-01-31 10:05:58 · 393 阅读 · 0 评论 -
Twitter实现每秒处理3000张(20G)图片的优化实践
Twitter实现每秒处理3000张(20G)图片的优化实践原文: How Twitter Handles 3,000 Images Per Second编译: 孙薇来源: CSDN,本文已收获授权转载。如今,Twitter每秒可以创建并保存3000张(20GB)的图片。2015年,Twitter甚至从对媒体存储策略的优化中节省出了600万美元。转载 2017-11-17 09:38:32 · 1118 阅读 · 0 评论 -
亿级Web系统搭建:单机到分布式集群
亿级Web系统搭建:单机到分布式集群作者:徐汉彬来源:伯乐在线当一个Web系统从日访问量10万逐步增长到1000万,甚至超过1亿的过程中,Web系统承受的压力会越来越大,在这个过程中,我们会遇到很多的问题。为了解决这些性能压力带来问题,我们需要在Web系统架构层面搭建多个层次的缓存机制。在不同的压力阶段,我们会遇到不同的问题,通过搭建不同的服务和架构转载 2017-11-17 09:38:12 · 350 阅读 · 0 评论 -
日请求过亿的Web系统PHP7升级实践
日请求过亿的Web系统PHP7升级实践作者:徐汉彬、王默涵、廖声茂、匡素文、廖增康、巫泽敏来源:CSDNQQ会员活动运营平台(AMS),是QQ会员增值运营业务的重要载体之一,承担海量活动运营的Web系统。AMS是一个主要采用PHP语言实现的活动运营平台, CGI日请求3亿左右,高峰期达到8亿。然而,在之前比较长的一段时间里,我们都采用了比较老旧的基础转载 2017-11-17 09:37:53 · 902 阅读 · 0 评论 -
亿级用户下的新浪微博平台架构
亿级用户下的新浪微博平台架构作者:卫向军来源:卫向军微博 序言新浪微博在2014年3月公布的月活跃用户(MAU)已经达到1.43亿,2014年新年第一分钟发送的微博达808298条,如此巨大的用户规模和业务量,需要高可用(HA)、高并发访问、低延时的强大后台系统支撑。微博平台第一代架构为LAMP架构,数据库使用的MyIsam,后台用的p转载 2017-11-17 09:37:34 · 631 阅读 · 0 评论 -
每秒处理10万订单乐视集团支付架构
每秒处理10万订单乐视集团支付架构作者:ash来源:乐视随着乐视硬件抢购的不断升级,乐视集团支付面临的请求压力百倍乃至千倍的暴增。作为商品购买的最后一环,保证用户快速稳定的完成支付尤为重要。所以在15年11月,我们对整个支付系统进行了全面的架构升级,使之具备了每秒稳定处理10万订单的能力。为乐视生态各种形式的抢购秒杀活动提供了强有力的支撑。转载 2017-11-17 09:37:17 · 253 阅读 · 0 评论 -
亿级Web系统的容错性建设实践
亿级Web系统的容错性建设实践来源:技术行者原文:http://hansionxu.blog.163.com/blog三年多前,我在腾讯负责的活动运营系统,因为业务流量规模的数倍增长,系统出现了各种各样的异常,那个时候,我7*24小时地没日没夜处理告警,周末和凌晨也经常上线,疲于奔命。后来,当时的老领导对我说:你不能总扮演一个“救火队长”的角色, 要转载 2017-11-17 09:36:52 · 258 阅读 · 0 评论 -
实战:上亿数据如何秒查?
实战:上亿数据如何秒查?作者:杭伟原文:http://www.cnblogs.com/hangwei/p/4399238.html数据背景首先,项目是西门子中国在我司实施部署的MES项目,由于项目是在产线上运作(3 years+),数据累积很大。在项目的数据库中,大概上亿条数据的表有5个以上,千万级数据的表10个以上,百万级数转载 2017-11-17 09:36:38 · 706 阅读 · 0 评论 -
支持百亿数据场景,海量高性能列式数据库HiStore技术架构解析
支持百亿数据场景,海量高性能列式数据库HiStore技术架构解析HiStore介绍HiStore是阿里中间件团队研发的数据库产品,是一款基于独特的知识网格技术的列式数据库,定位于海量数据高压缩比列式存储,是低存储成本,低维护成本,海量数据OLAP存储引擎;有效的解决了海量数据存储的成本问题,以及在百亿数据场景下支持实时高效的多维度自由组合的检索。转载 2017-11-18 09:17:50 · 2941 阅读 · 0 评论 -
有1千万条短信,找出重复出现最多的前10条
有1千万条短信,找出重复出现最多的前10条解析:对于本题来说,某些面试者想用数据库的办法来实现:首先将文本导入数据库,再利用select语句某些方法得出前10条短信。但实际上用数据库是满足不了5分钟解决这个条件的。这是因为1千万条短信即使1秒钟录入1万条(这已经算是很快的数据录入了)5分钟才300万条。即使真的能在5分钟内录入完1千万条,也必须先建索引,不然sql语句5分钟内肯定得不出转载 2018-03-27 14:55:09 · 3476 阅读 · 0 评论