黄小斜

微信公众号【黄小斜】 大厂程序员,互联网职场新知,终身学习践行者,懂技术,懂职场,更想懂你。...

搞懂分布式技术30:为什么Kubernetes天然适合微服务?

为什么Kubernetes天然适合微服务?   架构  容器  微服务  kubernetes 最近在反思,为什么在支撑容器平台和微服务的竞争中,Kubernetes会取得最终的胜出。因为在很多角度来讲三大容器平台从功能角度来说,最后简直是一摸一样,具体的比较可以参考本人前面的两篇文章。...

2018-07-13 22:53:34

阅读数 648

评论数 2

搞懂分布式技术29:从 Spring Cloud 看一个微服务框架的「五脏六腑」

从 Spring Cloud 看一个微服务框架的「五脏六腑」 25 MARCH 2018 on 服务架构, Spring Cloud 浏览量:2142 Spring Cloud 是一个基于 Spring Boot 实现的微服务框架,它包含了实现微服务架构所需的各种组件。 注:Spring ...

2018-07-13 22:28:43

阅读数 167

评论数 0

搞懂分布式技术28:微服务(Microservice)那点事

微服务(Microservice)那点事 肥侠 2016-01-13 09:46:53 浏览58371 评论15 分布式系统与计算  微服务 摘要: 微服务架构被提出很短的时间内,就被越来越多的开发人员推崇,简单来说其主要的目的是有效的拆分应用,实现敏捷开发和部署 。本分享即尝试介绍微服务架...

2018-07-13 22:15:07

阅读数 822

评论数 0

后端技术杂谈13:秒杀系统架构设计与优化

前言最近在部门内部分享了原来在电商业务做秒杀活动的整体思路,大家对这次分享反馈还不错,所以我就简单整理了一下,分享给大家参考参考业务介绍什么是秒杀?通俗一点讲就是网络商家为促销等目的组织的网上限时抢购活动比如说京东秒杀,就是一种定时定量秒杀,在规定的时间内,无论商品是否秒杀完毕,该场次的秒杀活动都...

2018-07-13 21:53:25

阅读数 1698

评论数 0

搞懂分布式系统27:消息队列设计精要总结之高级特性篇

消息队列设计精要总结之高级特性篇队列高级特性设计上面都是些消息队列基本功能的实现,下面来看一些关于消息队列特性相关的内容,不管可靠投递/消息丢失与重复以及事务乃至于性能,不是每个消息队列都会照顾到,所以要依照业务的需求,来仔细衡量各种特性实现的成本,利弊,最终做出最为合理的设计。可靠投递(最终一致...

2018-07-13 16:01:26

阅读数 371

评论数 0

搞懂分布式技术26:消息队列设计精要总结之基础篇

消息队列设计精要总结之基础篇消息队列概述消息队列已经逐渐成为企业IT系统内部通信的核心手段。它具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能,成为异步RPC的主要手段之一。当今市面上有很多主流的消息中间件,如老牌的ActiveMQ、RabbitMQ,炙手可热的Kafka,阿里巴巴自主...

2018-07-13 10:50:35

阅读数 442

评论数 2

搞懂分布式技术25:初探大数据计算框架与平台

1. 前言计算机的基本工作就是处理数据,包括磁盘文件中的数据,通过网络传输的数据流或数据包,数据库中的结构化数据等。随着互联网、物联网等技术得到越来越广泛的应用,数据规模不断增加,TB、PB量级成为常态,对数据的处理已无法由单台计算机完成,而只能由多台机器共同承担计算任务。而在分布式环境中进行大数...

2018-07-11 17:23:17

阅读数 198

评论数 0

搞懂分布式技术24:基于Flume+Kafka+ Elasticsearch+Storm的海量日志实时分析平台:

0背景介绍随着机器个数的增加、各种服务、各种组件的扩容、开发人员的递增,日志的运维问题是日渐尖锐。通常,日志都是存储在服务运行的本地机器上,使用脚本来管理,一般非压缩日志保留最近三天,压缩保留最近1个月,其它直接删除或迁移到日志服务器上。运维会将这些日志mount到远程的日志服务器上,然后开发人员...

2018-07-05 22:06:21

阅读数 1373

评论数 1

搞懂分布式技术23:SpringBoot Kafka 整合使用

Spring Boot系列文章(一):SpringBoot Kafka 整合使用2018-01-05×文章目录1. 前提2. 创建项目2.1. 项目整体架构:3. Kafka 设置3.1. 启动 zk3.2. 启动 Kafka 服务4. 运行5. 关注我6. 最后前提假设你了解过 SpringBo...

2018-07-05 09:22:14

阅读数 787

评论数 0

搞懂分布式技术22:Kafka 安装及快速入门

Kafka 安装及快速入门2018-01-04×文章目录1. 介绍2. 安装 kafka3. 功能验证:3.1. 1、启动 zk3.2. 2、启动Kafka 服务3.3. 3、创建 topic3.4. 4、产生消息3.5. 5、消费消息3.6. 6、查看描述 topics 信息4. 集群配置4.1...

2018-07-05 09:21:18

阅读数 132

评论数 0

搞懂分布式技术21:浅谈分布式消息技术 Kafka

浅谈分布式消息技术 Kafka本文主要介绍了这几部分内容:1基本介绍和架构概览2kafka事务传输的特点3kafka的消息存储格式:topic和parition4副本(replication)策略:主从broker部署和partition备份,以及选主机制5kafka消息分组,通过comsumer...

2018-07-05 00:12:02

阅读数 419

评论数 0

分布式系统实践学习总结

分布式技术 分布式数据和nosql 分布式一般是指分布式部署的数据库。 比如Hbase基于HDFS分布式部署,所以他是一个分布式数据库。 当然MySQL也可以分布式部署,比如按照不同业务部署,或者把单表内容拆成多个表乃至多个库进行部署。 一般MySQL的扩展方式有: 1 主从复制 ...

2018-07-04 17:53:44

阅读数 2042

评论数 0

分布式系统理论学习总结

分布式理论 CAP CAP定理讲的是三个性。consistency数据一致性,availability可用性,partition tolerance分区容错性。 三者只能选其中两者。为什么呢,看看这三个性质意味着什么吧。 首先看看分区容错性,分区容错性指的是网络出现分区(丢包,断网,超...

2018-07-04 17:53:11

阅读数 2007

评论数 0

搞懂分布式技术20:消息队列因何而生

消息队列设计精要王烨 ·2016-07-01 16:10消息队列已经逐渐成为企业IT系统内部通信的核心手段。它具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能,成为异步RPC的主要手段之一。当今市面上有很多主流的消息中间件,如老牌的ActiveMQ、RabbitMQ,炙手可热的Kafk...

2018-06-24 16:31:42

阅读数 842

评论数 0

搞懂分布式技术19:使用RocketMQ事务消息解决分布式事务

初步认识RocketMQ的核心模块rocketmq模块rocketmq-broker:接受生产者发来的消息并存储(通过调用rocketmq-store),消费者从这里取得消息。rocketmq-client:提供发送、接受消息的客户端API。rocketmq-namesrv:NameServer,...

2018-06-24 15:01:20

阅读数 3172

评论数 0

搞懂分布式技术18:分布式事务常用解决方案

分布式事务的解决方案分布式事务的解决方案有如下几种:全局消息基于可靠消息服务的分布式事务TCC最大努力通知方案1:全局事务(DTP模型)全局事务基于DTP模型实现。DTP是由X/Open组织提出的一种分布式事务模型——X/Open Distributed Transaction Processin...

2018-06-24 12:42:05

阅读数 963

评论数 0

搞懂分布式技术17:浅析分布式事务

众所周知,数据库能实现本地事务,也就是在同一个数据库中,你可以允许一组操作要么全都正确执行,要么全都不执行。这里特别强调了本地事务,也就是目前的数据库只能支持同一个数据库中的事务。但现在的系统往往采用微服务架构,业务系统拥有独立的数据库,因此就出现了跨多个数据库的事务需求,这种事务即为“分布式事务...

2018-06-24 11:38:56

阅读数 343

评论数 0

分布式系统理论进阶7:Paxos变种和优化

分布式系统理论进阶 - Paxos变种和优化2016-12-18 20:38 by bangerlee, 2826 阅读, 0 评论, 收藏, 编辑引言《分布式系统理论进阶 - Paxos》中我们了解了Basic Paxos、Multi Paxos的基本原理,但如果想把Paxos应用于工程实践,了...

2018-06-24 10:45:19

阅读数 157

评论数 0

分布式系统理论基础5:选举、多数派和租约

分布式系统理论基础 - 选举、多数派和租约选举(election)是分布式系统实践中常见的问题,通过打破节点间的对等关系,选得的leader(或叫master、coordinator)有助于实现事务原子性、提升决议效率。 多数派(quorum)的思路帮助我们在网络分化的情况下达成决议一致性,在le...

2018-06-24 10:29:39

阅读数 223

评论数 0

分布式系统理论基础3: 时间、时钟和事件顺序

分布式系统理论基础 - 时间、时钟和事件顺序2016-05-03 10:58 by bangerlee, 7436 阅读, 3 评论, 收藏, 编辑 十六号…… 四月十六号。一九六零年四月十六号下午三点之前的一分钟你和我在一起,因为你我会记住这一分钟。从现在开始我们就是一分钟的朋友,这是事实,你改...

2018-06-24 10:19:48

阅读数 563

评论数 0

提示
确定要删除当前文章?