2018年05月_taoy86

11月 10月 09月 08月 06月 05月 04月 03月

转载异地多活问题

1. 引言有幸参与了阿里游戏的一个高可用方案的设计，并且在网上发表了方案（面向业务的立体化高可用架构设计），后来参加GOPS全球运维大会深圳站，与众多行业高手交流，发现大家对“异地多活”这个方案设计非常感兴趣，毕竟“异地多活”的方案价值非常大，尤其是互联网行业，规模稍微大一点几乎都必须是标配；但同时大家都觉得“异地多活”的方案设计又很难，网络、数据、事务等各种问题混杂在一起，很多问题看似是无法解决...

2018-05-30 20:14:25 3990

转载数据库水平扩展与垂直扩展

在互联网应用中。数据库经常是我们存储和訪问数据的经常使用介质。随着负载的增大，对数据库读写性能的要求往往成为非常大的挑战。在这种情况下我们能够考虑数据库相关的replication机制提高读写的性能。因为一般采用一写多读的replication机制（写master同步到多个slaves），导致这种机制往往会有缺陷。首先它依赖于读写的比例，假设写的操作过多，导致master往往成为性能的瓶颈所在，从...

2018-05-25 17:40:10 1362

转载究竟啥才是互联网架构中的高并发！

作者：58沈剑出处：微信公众号--架构师之路一、什么是高并发高并发是互联网分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计保证系统能够同时并行处理很多请求。高并发相关常用的一些指标有响应时间、吞吐量、每秒查询率QPS、并发用户数等。响应时间：系统对请求做出响应的时间。例如系统处理一个HTTP请求需要200ms，这个200ms就是系统的响应时间。吞吐量：单位时间内处理的请求数量。QPS：...

2018-05-25 17:21:44 338

转载从零开始玩转JMX(一)——简介和Standard MBean

JMX的全称为Java Management Extensions. 顾名思义，是管理Java的一种扩展。这种机制可以方便的管理、监控正在运行中的Java程序。常用于管理线程，内存，日志Level，服务重启，系统环境等。基本术语MBean：是Managed Bean的简称，可以翻译为“管理构件”。在JMX中MBean代表一个被管理的资源实例，通过MBean中暴露的方法和属性，外界可以获取被管理的资...

2018-05-23 11:31:04 162

转载 kafka 消息服务

apache kafka参考http://kafka.apache.org/documentation.html消息队列方式：点对点：消息生产者生产消息发送到queue中，然后消息消费者从queue中取出并且消费消息。这里要注意：消息被消费以后，queue中不再有存储，所以消息消费者不可能消费到已经被消费的消息。Queue支持存在多个消费者，但是对一个消息而言，只会有一个消费者可以消费。发布/订阅...

2018-05-11 20:28:22 999

转载 Kafka：(Consumer配置)

PropertyDefaultDescriptiongroup.id 用来唯一标识consumer进程所在组的字符串，如果设置同样的group id，表示这些processes都是属于同一个consumer groupzookeeper.connect 指定zookeeper的连接的字符串，格式是hostname：port，此处host和port都是zookeeper server的host和po...

2018-05-11 14:17:18 814

转载 Kafka：Producer Config 配置

Producer Configs 配置属性描述类型默认值bootstrap.servers用于建立与kafka集群的连接，这个list仅仅影响用于初始化的hosts，来发现全部的servers。格式：host1:port1,host2:port2,…，数量尽量不止一个，以防其中一个down了list acksServer完成 producer request 前需要确认的数量。acks=0时，pr...

2018-05-11 14:03:03 1325

转载 kafka顺序消息

原文链接：http://www.lpnote.com/2017/01/17/sequence-message-in-kafka/顺序消息包括以下两方面：全局顺序局部顺序全局顺序全局顺序就目前的应用范围来讲，可以列举出来的也就限于binlog日志传输，如mysql binlog日志传输要求全局的顺序，不能有任何的乱序。这种的解决办法通常是最为保守的方式：全局使用一个生产者全局使用一个消费者（并严格到...

2018-05-10 20:26:04 2946

转载 kafka常用命令

创建kafka topicbin/kafka-topics.sh --zookeeper node01:2181 --create --topic t_cdr --partitions 30 --replication-factor 2注： partitions指定topic分区数，replication-factor指定topic每个分区的副本数partitions分区数:partitions...

2018-05-10 14:56:54 143

转载 B树、B+树、B*树总结

文章详细摘自：https://blog.csdn.net/v_july_v/article/details/6530142 1.1磁盘的构造磁盘是一个扁平的圆盘(与电唱机的唱片类似)。盘面上有许多称为磁道的圆圈，数据就记录在这些磁道上。磁盘可以是单片的，也可以是由若干盘片组成的盘组，每一盘片上有两个面。如下图11.3中所示的6片盘组为例，除去最顶端和最底端的外侧面不存储数据之外，一共有10个...

2018-05-09 20:17:05 1300

转载 CPU 硬盘性能到底相差多少

CPU 硬盘性能到底相差多少本文以一个现代的、实际的个人电脑为对象，分析其中CPU（Intel Core 2 Duo 3.0GHz）以及各类子系统的运行速度——延迟和数据吞吐量。通过粗略的估算PC各个组件的相对运行速度，希望能给大家留下一个比较直观的印象。本文中的数据来自实际应用，而非理论最大值。时间的单位是纳秒（ns，十亿分之一秒），毫秒（ms，千分之一秒），和秒（s）。吞吐量的单位是兆字节（M...

2018-05-07 17:41:41 593

转载 TCP连接状态详解及TIME_WAIT过多的解决方法

TIME_WAIT状态原理----------------------------通信双方建立TCP连接后，主动关闭连接的一方就会进入TIME_WAIT状态。客户端主动关闭连接时，会发送最后一个ack后，然后会进入TIME_WAIT状态，再停留2个MSL时间(后有MSL的解释)，进入CLOSED状态。下图是以客户端主动关闭连接为例，说明这一过程的。 TIME_WAIT状态存在的理由TCP/IP协议...

2018-05-04 16:28:52 234

转载从源头入手，一分钟秒懂为什么要搞微服务架构？

这个图本身的内容、关于各个架构的描述、优缺点等等，网上简单搜索一下有大把大把的。软件发展的不同时期、阶段，对技术的理解、选择和应用都有着不一样的诉求。架构的选型，永远只有“合适与不合适”，永远没有“哪个更好”的说法。我们今天来谈论微服务，并不是因为它更牛，而是经过谨慎分析，认为微服务的思想更符合我们的目标。提到微服务，就没法不提到这位“大神”——马丁·福勒，他没有直接给微服务下一个精准的定义，而是...

2018-05-03 20:21:16 272

转载 flume 的source 、channel和sink 多种组合

flume 有三大组件source 、channel和sink，各个组件之间都可以相互组合使用，各组件间耦合度低。使用灵活，方便。1.多sinkchannel 的内容只输出一次，同一个event 如果sink1 输出，sink2 不输出；最终 sink1+sink2=channel 中的数据。配置文件如下：a1.sources = r1 a1.sinks = k1 k2 a1.channels ...

2018-05-02 17:47:31 316

转载 Flume单Channel多Sink配置

转自 https://blog.csdn.net/a632189007/article/details/74643000 多sink可以直接按常规配置，这样的话每个sink会启动一个sinkrunner，相当于每个线程一个sink，互不干扰，负载均衡是通过channel实现的，效率会提高为n倍，如果在此基础上加入sinkgroup，则sinkgroup会启动一个sinkrunner,就是单线程，s...

2018-05-02 17:41:16 1669

转载 Flume入门

Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。一个独立的Flume进程称之为Agent,包含组件Source、Channel、Sink Source。Flume OG:Flume original generation ，即Flume 0.9.x版本；...

2018-05-02 10:55:47 273