关注
分享
武汉红喜
专注于消息中间件
展开
-
【转】保证分布式系统数据一致性的6种方案
问题的起源在电商等业务中，系统一般由多个独立的服务组成，如何解决分布式调用时候数据的一致性？具体业务场景如下，比如一个业务操作，如果同时调用服务 A、B、C，需要满足要么同时成功；要么同时失败。A、B、C 可能是多个不同部门开发、部署在不同服务器上的远程服务。在分布式系统来说，如果不想牺牲一致性，CAP 理论告诉我们只能放弃可用性，这显然不能接受。为了便于讨论问题，先简单介绍下数据一致...转载 2016-12-15 16:34:42 · 173 阅读 · 0 评论 -
【转载】相对平均分布
本文转载自http://shift-alt-ctrl.iteye.com/blog/1961598 有一个项目用来负责调度集群中的"cron任务",比如一个application中可以配置N个定时任务,这些任务信息最终注册到zookeeper上,并开发了一系列代码用于维护这些任务的"活性";当applicaton中一个server故障,那么这个server上接管的任务,需要迁移到其他s...原创 2015-07-25 13:27:29 · 131 阅读 · 0 评论 -
5分钟理解一致性 hash 算法
转载请说明出处：http://blog.csdn.net/cywosp/article/details/23397179 一致性哈希算法在1997年由麻省理工学院提出的一种分布式哈希（DHT）实现算法，设计目标是为了解决因特网中的热点(Hot spot)问题，初衷和CARP十分类似。一致性哈希修正了CARP使用的简 单哈希算法带来的问题，使得分布式哈希（DHT）可以在P2P环境中真正...原创 2015-07-30 00:59:07 · 112 阅读 · 0 评论 -
分布式事务、XA、两阶段提交、一阶段提交
本文原文连接: http://blog.csdn.net/bluishglc/article/details/7612811 ,转载请注明出处！ 1.XA XA是由X/Open组织提出的分布式事务的规范。XA规范主要定义了(全局)事务管理器(Transaction Manager)和(局部)资源管理器(Resource Manager)之间的接口。XA接口是双向的系统接口，在事务管...转载 2016-10-05 03:48:44 · 1356 阅读 · 0 评论 -
【转】一致性hash算法与server列表维护
考虑到不用重复造轮子，特此转载好文，出处http://shift-alt-ctrl.iteye.com/blog/1963244 普通的hash算法有个很大的问题:当hash的"模数"发生变化时,整个hash数据结构就需要重新hash,重新hash之后的数据分布一定会和hash之前的不同;在很多场景下,"模数"的变化时必然的,但是这种"数据分布"的巨大变化却会带来一些麻烦.所以,...原创 2016-02-05 18:27:27 · 113 阅读 · 0 评论 -
高并发系统之限流特技
[京东技术]声明：本文转载自微信公众号“开涛的博客”，转载务必声明。 在开发高并发系统时有三把利器用来保护系统：缓存、降级和限流。缓存的目的是提升系统访问速度和增大系统能处理的容量，可谓是抗高并发流量的银弹；而降级是当服务出问题或者影响到核心流程的性能则需要暂时屏蔽掉，待高峰或者问题解决后再打开；而有些场景并不能用缓存和降级来解决，比如稀缺资源（秒杀、抢购）、写服务（如评论、下单）原创 2017-01-16 18:51:21 · 516 阅读 · 0 评论 -
高并发系统之降级特技
[京东技术]转自kaitao.toutiao.im, 转载务必声明在开发高并发系统时有三把利器用来保护系统：缓存、降级和限流。之前已经有一些文章介绍过缓存和限流了。本文将详细聊聊降级。当访问量剧增、服务出现问题（如响应时间慢或不响应）或非核心服务影响到核心流程的性能时，仍然需要保证服务还是可用的，即使是有损服务。系统可以根据一些关键数据进行自动降级，也可以配置开关实现人工降级。本文将介绍一原创 2017-01-16 18:52:25 · 529 阅读 · 0 评论 -
使用Nginx+Lua(OpenResty)开发高性能Web应用
[京东技术]转自kaitao.toutiao.im, 转载务必声明在互联网公司，Nginx可以说是标配组件，但是主要场景还是负载均衡、反向代理、代理缓存、限流等场景；而把Nginx作为一个Web容器使用的还不是那么广泛。Nginx的高性能是大家公认的，而Nginx开发主要是以C/C++模块的形式进行，整体学习和开发成本偏高；如果有一种简单的语言来实现Web应用的开发，那么Nginx绝对是把好的瑞士...原创 2017-01-16 19:01:33 · 1294 阅读 · 0 评论 -
【揭密：刘强东9年密谋的商业布局—京东快物流背后的核心技术盘点】
【揭密：刘强东9年密谋的商业布局—京东快物流背后的核心技术盘点】黄刚-物流与供应链 原创 2016-06-16 00:20:30阅读数：4865首次全面盘点刘强东9年物流布局，全面梳理京东物流每一个技术细节和刘强东甘蔗理论背后的战略(作者：@黄刚-物流与供应链 2016.06.15)一、全球零售和电商巨头的核心竞争力零售巨头沃尔玛被专业人士转载 2016-06-16 01:42:19 · 9404 阅读 · 1 评论 -
高并发系统之HTTP缓存
[京东技术]本文转载自kaitao.hongxi.org, 转载务必声明。 简介最近遇到很多人来咨询我关于浏览器缓存的一些问题，而这些问题都是类似的，因此总结本文来解答以后遇到类似问题的朋友。 因本文主要以浏览器缓存场景介绍，所以非浏览器场景下的一些用法本文不会介绍，而且本文以chrome为测试浏览器。 浏览器缓存是指当我们使用浏览器访问一些网站页面或者http服...原创 2018-03-09 17:49:16 · 300 阅读 · 0 评论 -
【转】单日峰值2T发送量邮件营销平台实践经验
[京东技术]声明：本文转载自微信公众号“开涛的博客”，转载务必声明。 作者：刘锟洋，独立博主，系统架构师。就职于京东成都研究院，做过A/B Test，精准营销平台，会员营销平台。公司内部开源小组发起人，内部开源过多个开源项目，对性能全链路优化和分布式服平台有浓厚兴趣。笔者博客：http://www.liuinsect.com/。 EDM简介EDM是Ema...原创 2018-03-09 17:48:43 · 749 阅读 · 0 评论 -
淘宝分布式调度框架TBSchedule
声明：本文为CSDN原创投稿文章，未经许可，禁止任何形式的转载。 作者：周立伟（ITeye博客：mycolababy.iteye.com），京东商城高级工程师，关注分布式、高并发和Java中间件的研究。 责编：钱曙光，关注架构和算法领域，寻求报道或者投稿请发邮件qianshg@csdn.net，另有「CSDN 高级架构师群」，内有诸多知名互联网公司的大牛架构师，欢迎架构师加微信qshugu原创 2017-01-13 19:50:49 · 8495 阅读 · 2 评论 -
京东分布式存储建设之路(JFS)
[京东技术]声明：本文转载自微信公众号“IPDCHAT”，转载务必声明。 一拍而合，京东分布式存储起航1 在项目中你经常会遇到，有一些图片、视频或者文本需要存储，你希望它不丢失的同时还要能提供高速读写的能力。对于京东来说，这样的需求每天都在发生着，而且要求会更高，因为这些可能是用户的订单数据，你希望即使在写的时候断电了、磁盘坏了，你的数据还在；你希望即使服务器故原创 2017-01-13 19:44:52 · 6222 阅读 · 0 评论 -
【转】京东抢购服务高并发实践
声明：本文转载自微信公众号“开涛的博客”，转载务必声明。 作者：张子良，京东高级开发工程师，在京东负责抢购后端服务系统架构和开发工作。 服务介绍限时抢购又称闪购，英文Flash sale，起源于法国网站Vente Privée。闪购模式即是以互联网为媒介的B2C电子零售交易活动，以限时特卖的形式，定期定时推出国际知名品牌的商品，一般以原价1-5折的价格供专属原创 2016-12-17 12:06:40 · 935 阅读 · 0 评论 -
【转】服务化框架技术选型与京东JSF解密
声明：本文转载自微信公众号“开涛的博客”，转载务必声明。 作者：章耿，原京东资深架构师，曾负责京东服务框架，配置中心等基础平台。近十年工作经验，专注于基础中间件等底层技术架构，对分布式系统/服务化/DevOps建设有一定经验。 |前言 首先本文不讨论为什么要服务化，包括服务化的优点缺点。 其次本文也不讨论什么是微服务，也不讨论微服务和SOA的区别。原创 2016-12-22 10:48:48 · 5261 阅读 · 0 评论 -
为什么说分布式事务不再适用于微服务架构
http://www.toutiao.im传统应用使用本地事务和分布式事务保证数据一致性，但是在微服务架构中数据都是服务私有的，需要通过服务提供的API来访问，所以分布式事务不再适用微服务架构。那么微服务架构又该如何保证数据一致性呢？本文就来谈谈这个话题。传统分布式事务不是微服务中数据一致性的最佳选择微服务架构中应满足数据最终一致性原则微服务架构实现原创 2017-01-07 20:22:23 · 32402 阅读 · 7 评论 -
京东核心中间件是如何支撑业务快速发展
[京东技术]www.toutiao.im原创 2016-12-31 22:09:53 · 811 阅读 · 0 评论 -
京东消息中间件JMQ
[京东技术]京东的MQ经历了JQ->AMQ->JMQ的发展，其中JQ的基于关系数据库，严格意义上讲称不上消息中间件，JMQ的存储是JFS和HBase，AMQ即ActiveMQ，本文说说JMQ。JMQ是京东自主研发的一款消息中间件系统，具有高可用、数据高可靠等特性。广泛应用于公司内部系统，包括订单、支付、库房等场景。整体结构 系统包括服务端、客户端、管理端与其他支撑模块。 ...原创 2017-01-13 19:37:03 · 9592 阅读 · 6 评论 -
京东消息中间件的演进
[京东技术]转载务必声明 本文转载自IPD-Chat，IPD-Chat为京东商城基础平台部门官方公众号，扫一扫二维码进行关注。 本文将简单介绍下京东消息中间件的演进历程。以及作为消息中间件在每一代产品中我们是如何解决MQ面临的一些通用问题，比如：如何处理IO，消息如何存储，消息如何路由等等。 我们在开始之前要明确一些基本概念：Broker：消息中间件服务端的一个实例；Producer：消息的发...原创 2017-01-13 19:34:27 · 2570 阅读 · 1 评论 -
京东JMQ如何保证消息顺序消费
[京东技术]在要求严格顺序消息的场景下，消息的发送者，BROKER端（BROKER端和消息存储放在一起），消息的消费者都要求按照顺序进行，三者任何一个环节的乱序都会导致消息最终的消费顺序被打乱。如果为每一个消息维护一个有序的ID，发送和存储消息无序，消费逻辑会变得非常复杂，消费端要对消息进行重新编排，会影响消费的性能。为了保证消息发送、保存、消费三个环节都有顺序，就要求在同一个时刻只能有一个同步发...原创 2017-01-13 19:39:24 · 3998 阅读 · 0 评论 -
京东云缓存JIMDB建设之路
[京东技术]声明：本文转载自微信公众号“IPDCHAT”，转载务必声明。 缓存的大背景 缓存在软件应用特别是在互联网应用中无处不在，从数据库到应用服务、再到前端的页面每一层都会使用缓存进行加速，即使是硬件产品比如CPU、磁盘、网卡等也都会有相应的缓存或缓冲区。 当一个网页被打开时，为了提供良好的用户体验，提高用户购买的转化率，往往一个纯静态的页面已无原创 2017-01-13 19:41:39 · 2983 阅读 · 0 评论 -
【转】构建需求响应式亿级商品详情页
[京东技术]声明：本文转载自微信公众号“开涛的博客”，转载务必声明。 该文章是根据velocity 2015技术大会的演讲《京东网站单品页618实战》细化而来，希望对大家有用。 商品详情页是什么商品详情页是展示商品详细信息的一个页面，承载在网站的大部分流量和订单的入口。京东商城目前有通用版、全球购、闪购、易车、惠买车、服装、拼购、今日抄底等许多套模板。各...原创 2018-03-09 17:48:25 · 1164 阅读 · 0 评论 -
《京东技术解密》读后感
[京东技术] 摘要: 本文是本人阅读《京东技术解密》后整理的重点内容和抒发的一些感想，主观部分纯属个人意见，不必求同 京东技术体系简介 京东技术团队目前有超过4000名员工，2013年市场交易额达到1255亿元，信息系统涵盖交易、供应链、仓储、配送、客服和售后全流程，电商业务、物流平台、技术平台和互联网金融“四...原创 2018-03-09 17:48:19 · 1058 阅读 · 0 评论 -
聊聊高并发系统之队列技术
[京东技术]声明：本文转载自微信公众号“开涛的博客”，转载务必声明。 队列在数据结构中是一种线性表，从一端插入数据，然后从另一端删除数据。本文目的不是讲解各种队列算法，而是在应用层面讲述使用队列能解决哪些场景问题。 在我开发过的系统中，不是所有的业务都必须实时处理、不是所有的请求都必须实时反馈结果给用户、不是所有的请求/处理都必须100%处理成功、不知道谁依...原创 2018-03-09 17:40:32 · 1717 阅读 · 0 评论 -
【转】京东一元抢宝系统的数据库架构优化
[京东技术]声明：本文转载自微信公众号“开涛的博客”，转载务必声明。 作者：匙凯明，京东高级开发工程师，在京东负责一元抢宝系统架构和开发工作；多年互联网经验，对于系统架构和设计有自己的见解和经验。 本文是根据凯明在京东内部进行的#京东技术节#《一元抢宝分库分别策略与实现》技术分享整理而成。 一元抢宝系统是京东虚拟新兴的一个业务系统，上线以来订单量一直持续...原创 2018-03-09 17:43:53 · 273 阅读 · 0 评论 -
千万级规模高性能、高并发的网络架构经验分享
主 题 ：INTO100沙龙时间 ：2015年11月21日下午地点 ：梦想加联合办公空间分享人：卫向军（毕业于北京邮电大学，现任微博平台架构师，先后在微软、金山云、新浪微博从事技术研发工作，专注于系统架构设计、音视频通讯系统、分布式文件系统和数据挖掘等领域。）架构以及我理解中架构的本质在开始谈我对架构本质的理解之前，先谈谈对今天技术沙龙主题的个人见解，千...转载 2018-03-09 17:43:44 · 203 阅读 · 0 评论 -
高性能高并发服务的瓶颈及突破思路
服务的瓶颈有哪些通常来说程序的定义是算法+数据结构+数据，算法简单的理解就是一种计算方式，数据结构顾名思义是一种存储组织数据的结构，这两者体现了程序需要用到的计算机资源涉及到CPU资源、内存资源，而数据部分除了内存资源，往往还可能涉及到硬盘资源，甚至是彼此之间传输数据时会消耗网络(网卡)资源。当我们搞清楚程序运行起来时涉及哪些资源后，就可以更好地分...转载 2018-03-09 17:42:50 · 272 阅读 · 0 评论 -
【转】聊聊java高并发系统之异步非阻塞
在做电商系统时，流量入口如首页、活动页、商品详情页等系统承载了网站的大部分流量，而这些系统的主要职责包括聚合数据拼装模板、热点统计、缓存、下游功能降级开关、托底数据等等。其中聚合数据需要调用其它多个系统服务获取数据、拼装数据/模板然后返回给前端，聚合数据来源主要有依赖系统/服务、缓存、数据库等;而系统之间的调用可以通过如http接口调用(如HttpCli...转载 2018-03-09 17:41:45 · 1014 阅读 · 0 评论 -
【转】京东评价系统海量数据存储设计
[京东技术]声明：本文转载自微信公众号“开涛的博客”，转载务必声明。 作者：韦仕，京东商城交易平台评价社区负责人，2010年加入京东，先后参与了用户、商品、评论等系统的架构升级工作。 京东的商品评论目前已达到数十亿条，每天提供的服务调用也有数十亿次，而这些数据每年还在成倍增长，而数据存储是其中最重要的部分之一，接下来就介绍下京东评论系统的数据存...原创 2018-03-09 17:40:56 · 233 阅读 · 0 评论 -
【转】京东活动系统亿级流量应对之术
[京东技术]声明：本文转载自微信公众号“开涛的博客”，转载务必声明。 作者： 干天星，2012年初加入京东，先后在京东审计、搭配购、jshop活动系统等项目从事系统研发和架构工作。目前主要负责jshop活动系统架构升级，以及jshop数据中心实现运算架构设计。对构建高并发web架构，以及高性能实时大数据运算，有一定的见解。入职前有过5年电信传统行业开发、...原创 2018-03-09 17:45:02 · 289 阅读 · 0 评论 -
支付宝系统架构
支付宝系统架构概况典型处理默认资金处理平台财务会计支付清算核算中心交易柔性事务支付宝的开源分布式消息中间件–Metamorphosis(MetaQ)Metamorphosis (MetaQ) 是一个高性能、高可用、可扩展的分布式消息中间件，类似于LinkedIn的Kafka，具有消息存储顺序写、吞吐量大和支持本地和XA事务等特性，适用 于大吞吐量、顺序...原创 2018-03-09 17:45:08 · 444 阅读 · 0 评论 -
【转】京东云缓存JIMDB建设之路
[京东技术]声明：本文转载自微信公众号“IPDCHAT”，转载务必声明。 缓存的大背景 缓存在软件应用特别是在互联网应用中无处不在，从数据库到应用服务、再到前端的页面每一层都会使用缓存进行加速，即使是硬件产品比如CPU、磁盘、网卡等也都会有相应的缓存或缓冲区。 当一个网页被打开时，为了提供良好的用户体验，提高用户购买的转化率，往往一个纯静态的页面已无法满...原创 2018-03-09 17:47:51 · 437 阅读 · 0 评论 -
【转】淘宝大秒系统设计详解
一些数据大家还记得2013年的小米秒杀吗？三款小米手机各11万台开卖，走的都是大秒系统，3分钟后成为双十一第一家也是最快破亿的旗舰店。经过日志统计，前端系统双11峰值有效请求约60w以上的QPS ，而后端cache的集群峰值近2000w/s、单机也近30w/s，但到真正的写时流量要小很多了，当时最高下单减库存tps是红米创造，达到1500/s。热点隔离秒...原创 2018-03-09 17:47:43 · 202 阅读 · 0 评论 -
高并发之隔离术
京东技术本文转载自kaitao.hongxi.org，转载务必声明。 隔离是指将系统或资源分割开，系统隔离是为了在系统发生故障时能限定传播范围和影响范围，即发生故障后不会出现滚雪球效应，从而保证只有出问题的服务不可用，其他服务还是可用的；而资源隔离有脏数据隔离、通过隔离后减少资源竞争提升性能等。我遇到的比较多的隔离手段有线程隔离、进程隔离、集群隔离、机房隔离、读写隔离、动静隔离、...原创 2018-03-09 17:47:36 · 293 阅读 · 0 评论 -
【转】商品详情页系统的Servlet3异步化实践
[京东技术]声明：本文转载自微信公众号“开涛的博客”，转载务必声明。 在京东工作的这一年多时间里，我在整个商品详情页系统（后端数据源）及商品详情页统一服务系统（页面中异步加载的很多服务，如库存服务、图书相关服务、延保服务等）中使用了Servlet3请求异步化模型，总结了Servlet3请求异步化的一些经验和想法跟大家分享和交流。 我将从如下几点阐述Servlet3异步化之后的...原创 2018-03-09 17:47:19 · 263 阅读 · 0 评论 -
【转】京东分布式服务跟踪系统-CallGraph
京东技术 www.toutiao.im本文转自微信公众号IPDCHAT，转载务必声明。CallGraph根据Google为其基于日志的分布式跟踪系统Dapper发表的论文，由京东商城基础平台部自主研发，目前已经上线。 一、CallGraph的产生背景随着京东业务的高速增长，京东研发体系陆续实施了SOA化和微服务战略，以应对日益复杂的业务和急剧增加的应用种...原创 2018-03-09 17:46:34 · 722 阅读 · 0 评论 -
异地多活没那么难
1. 引言有幸参与了阿里游戏的一个高可用方案的设计，并且在网上发表了方案（面向业务的立体化高可用架构设计），后来参加GOPS全球运维大会深圳站，与众多行业高手交流，发现大家对“异地多活”这个方案设计非常感兴趣，毕竟“异地多活”的方案价值非常大，尤其是互联网行业，规模稍微大一点几乎都必须是标配；但同时大家都觉得“异地多活”的方案设计又很难，网络、数据、...原创 2018-03-09 17:46:28 · 11977 阅读 · 0 评论 -
JIMDB数据持久化实践
京东技术 www.toutiao.im 背景JIMDB是京东自主研发的基于Redis的分布式缓存与高速键值存储服务，支持大容量缓存，数据高可用，支持多种I/O策略，故障自动切换，支持动态扩容，目前服务于京东的几乎所有的业务系统，包括很多重要的业务系统，例如， 前台的商品详情页， 交易平台， 广告，搜索， 即时通讯等, 后台的订单履约， 库存管理， 派送...原创 2018-03-09 17:45:46 · 906 阅读 · 0 评论