负载均衡
文章平均质量分 91
benpaobagzb
做人要谦虚
展开
-
分布式消息系统:Kafka
Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,之后成为Apache项目的一部分。Kafka是一个分布式的,可划分的,冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。在大数据系统中,常常会碰到一个问题,整个大数据是由各个子系统组成,数据需要在各个子系统中高性能,低延迟的不停流转。传统的企业消息系统并不是非常适合大规模的数据处理。为了已在同时原创 2015-08-28 22:12:40 · 480 阅读 · 0 评论 -
一致性Hash与负载均衡
前言在我们的日常web应用开发当中memcached可以算作是当今的标准开发配置了。相信memcache的基本原理大家也都了解过了,memcache虽然是分布式的应用服务,但分布的原则是由client端的api来决定的,api根据存储用的key以及已知的服务器列表,根据key的hash计算将指定的key存储到对应的服务器列表上。基本的原理以及分布在这里我们通常使用的方法是根据 ke原创 2015-08-28 20:53:05 · 479 阅读 · 0 评论 -
经验分享:如何构建亿级前端读服务
一些设计原则无状态数据闭环缓存银弹并发化降级开关限流切流量其他无状态如果设计的应用是无状态的,那么应用就可以水平扩展,当然实际生产环境可能是这样子的: 应用无状态,配置文件有状态。比如不同的机房需要读取不同的数据源,此时就需要通过配置文件指定。原创 2015-08-28 22:13:47 · 682 阅读 · 0 评论 -
单表60亿记录等大数据场景的MySQL优化和运维之道
前言本文干货,浅显易懂,更多交流可以加入:QQ群288567073 (拒绝广告,每日分享干货电子书+视频)微信订阅号见文末二维码荔枝FM手机客户端搜索“挨踢脱口秀”订阅即可视频汇总首页:http://edu.51cto.com/lecturer/index/user_id-4626073.html=========================转载 2015-08-28 22:15:04 · 1186 阅读 · 0 评论 -
腾讯大规模Hadoop集群实践
TDW(Tencent distributed Data Warehouse,腾讯分布式数据仓库)基于开源软件Hadoop和Hive进行构建,打破了传统数据仓库不能线性扩展、可控性差的局限,并且根据腾讯数据量大、计算复杂等特定情况进行了大量优化和改造。 TDW服务覆盖了腾讯绝大部分业务产品,单集群规模达到4400台,CPU总核数达到10万左右,存储容量达到100PB;每日作业数100多万,原创 2015-08-28 21:04:54 · 1124 阅读 · 0 评论