大数据量
吃胖点儿
“学会求知,学会做事,学会共处,学会做人。”致自己共勉 。技术探讨可以加281954986
展开
-
秒杀系统架构面试经典分析
秒杀业务分析正常电子商务流程: 查询商品 创建订单 扣减库存 更新订单 付款 卖家发货 秒杀业务的特性: 低廉价格 大幅推广 瞬时售空 一般是定时上架 时间短、瞬时并发量高 秒杀技术挑战假设某网站秒杀活动只推出一件商品,预计会吸引1万人参加活动,也就说最大并发请求数是10000,秒杀系统需要面对的技术挑战有:对现有网站业务造成冲击...原创 2020-06-29 20:57:35 · 374 阅读 · 0 评论 -
淘宝铸造亿级流量的首页?十年一剑
背景和猫客、飞猪、盒马、闲鱼等APP一样,首页无论在哪个体系下都是主要的流量入口,分发效率一直是我们追求和解决的核心问题。如何让最优的商品和内容高效的触达消费者侧,提升流量价值,一直是我们追求的目标之一,截止当前我们进行了不同方式的探索,实现和积累了一些策略来解决这个问题。当前首页根据不同的地域、人群划分出“大陆版”、“亲情版”、“村淘版”、“海外版”的业...原创 2020-04-10 18:19:12 · 159 阅读 · 0 评论 -
PB级的Hadoop实战优化之旅(趣头条)
趣头条百 PB 规模 Hadoop 实践随着趣头条业务的高速发展,趣头条及其附属产品如米读等,和母公司innotech集团的产品矩阵,目前总的存储数据量规模已经达到百PB左右,包括HDFS的热数据,和阿里云OSS的冷数据。日均计算任务个数达到二十万个,Hadoop集群规模近2000台左右。Hadoop集群支持趣头条和母公司innotech集团各种数据平台和业务,这一年多一路走来也经历了好...原创 2020-04-07 11:13:06 · 342 阅读 · 0 评论 -
技术干货 | 百万级商品数据实时同步,查询结果秒出
前阵子老板安排了一个新任务,要建设一个商家商品搜索系统,能够为用户提供快速、准确的搜索能力,在用户输入搜索内容时,要能从商家名称和商品名称两个维度去搜索,搜索出来的结果,按照准确率排序,并按商家所属商品的关联关系,来组合数据结构,同时提供API给业务系统调用。背景很简单,现实蛮复杂!我们面临以下几个难题:①商家数据库和商品数据库是多台不同的服务器,并且数据量达百万级,如何才能实现跨数...原创 2020-03-31 11:20:46 · 367 阅读 · 0 评论 -
1.3万亿条数据查询毫秒级响应,如何做到的?
作为中国最大的知识共享平台,我们目前拥有 2.2 亿注册用户,3000 万个问题,网站答案超过 1.3 亿。随着用户群的增长,我们的应用程序的数据大小无法实现。我们的 Moneta 应用程序中存储了大约 1.3 万亿行数据(存储用户已经阅读过的帖子)。由于每月累计产生大约 1000亿行数据且不断增长,这一数字将在两年内达到 3 万亿。在保持良好用户体验的同时,我们...转载 2020-03-15 20:53:33 · 133 阅读 · 0 评论 -
常见大数据架构的设计思路
编者荐语:随着IT技术与大数据、机器学习、算法的不断发展,越来越多的企业都意识到数据存在的价值,将数据作为自身宝贵的资产进行管理,利用大数据和机器学习能力去挖掘、识别、利用数据资产。本文介绍了一些数据平台设计思路来帮助业务减少数据开发中的痛点和难点。以下文章来源于vivo互联网技术,作者刘延江vivo互联网技术分享 vivo 互联网技术干货与沙龙活动,推荐最新行业动态与热门会...原创 2020-02-20 17:49:58 · 702 阅读 · 0 评论 -
用"IO多路复用",实现每秒百万并发的原理你懂吗?
多路复用其实并不是什么新技术,它的作用是在一个通讯连接的基础上可以同时进行多个请求响应处理。对于网络通讯来其实不存在这一说法,因为网络层面只负责数据传输;由于上层应用协议的制订问题,导致了很多传统服务并不能支持多路复用;如:http1.1,sqlserver和redis等等,虽然有些服务提供批量处理,但这些处理都基于一个RPS下。下面通过图解来了解释单路和多路复用的区别。...原创 2020-02-07 16:32:02 · 271 阅读 · 0 评论