2018年12月_随风去。

原创 Mycat节点扩缩容及高可用集群方案

数据迁移与扩容实践：　　工具目前从 mycat1.6，准备工作：1、mycat 所在环境安装 mysql 客户端程序。 2、mycat 的 lib 目录下添加 mysql 的 jdbc 驱动包。 3、对扩容缩容的表所有节点数据进行备份，以便迁移失败后的数据恢复。　　步骤：1、复制 schema.xml、rule.xml 并重命名为 newSchema.xml、newRul...

2018-12-29 13:39:00 1031

原创 Mycat配置文件详解及全局序列号

　　来详细的看看 mycat的配置文件，更多信息请查看：mycat权威指南。schema.xml：　　Schema.xml 作为 MyCat 中重要的配置文件之一，管理着 MyCat 的逻辑库、表、分片规则、DataNode 以及 DataSource。<?xml version="1.0"?><!DOCTYPE mycat:schema SYS...

2018-12-28 10:21:00 990

原创 Mycat实现mysql主从复制(读写分离)

数据库性能瓶颈主要原因：随着用户数的增多，带来的是数据库连接的大幅度增长随着业务体量的增长，表数据量（空间存储的问题）的大幅增长，其中涉及到索引的优化，mysql默认的索引是硬盘级别的，BTREE（B树）硬件资源限制（QPS\TPS）数据性能优化方案：sql优化缓存建好索引读写分离分库分表　　在分布式架构的数据库优化方案中，最有效的...

2018-12-28 09:49:00 1275

原创 linux下安装mysql-5.6.41

1.下载安装包，下载地址: https://dev.mysql.com/downloads/mysql/5.7.html#downloads 。选择完版本，然后点击下方No thanks, just start my download.　　先看一下我服务器的版本信息: lsb_release -a列出所有版本信息　　查看内核版本信息：cat /proc/version...

2018-12-26 12:28:00 1219

原创 redis客户端、分布式锁及数据一致性

　　Redis Java客户端有很多的开源产品比如Redission、Jedis、lettuce等。　　Jedis是Redis的Java实现的客户端，其API提供了比较全面的Redis命令的支持；Redisson实现了分布式和可扩展的Java数据结构，和Jedis相比，功能较为简单，不支持字符串操作，不支持排序、事务、管道、分区等Redis特性。Redisson主要是促进使用者对Re...

2018-12-25 11:32:00 1277

原创 redis-cluster分片集群搭建

　　Redis3.0版本之前，可以通过Redis Sentinel（哨兵）来实现高可用 ( HA )，从3.0版本之后，官方推出了Redis Cluster，它的主要用途是实现数据分片(Data Sharding)，不过同样可以实现HA，是官方当前推荐的方案。在Redis Sentinel模式中，每个节点需要保存全量数据，冗余比较多，而在Redis Cluster模式中...

2018-12-24 13:25:00 955

原创 redis主从复制

　　先来简单了解下redis中提供的集群策略, 虽然redis有持久化功能能够保障redis服务器宕机也能恢复并且只有少量的数据损失，但是由于所有数据在一台服务器上，如果这台服务器出现硬盘故障，那就算是有备份也仍然不可避免数据丢失的问题。在实际生产环境中，我们不可能只使用一台redis服务器作为我们的缓存服务器，必须要多台实现集群，避免出现单点故。　　Redis虽然读取写入的速度都特...

2018-12-21 16:26:00 947

原创 redis持久化之AOF

一：Redis的AOF是什么？　　以日志的形式来记录每个写操作（读操作不记录），将Redis执行过的所有写指令记录下来(读操作不记录)，只许追加文件但不可以改写文件，redis启动之初会读取该文件重新构建数据，换言之，redis重启的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作。RDB可以搞定备份恢复的事情，为什么还会出现AOF？　　使用RDB进行保存时候，...

2018-12-21 10:17:00 981

原创 redis持久化之RDB

一：什么是redis的持久化Redis 持久化Redis 提供了不同级别的持久化方式:RDB持久化方式能够在指定的时间间隔能对你的数据进行快照存储.AOF持久化方式记录每次对服务器写的操作,当服务器重启的时候会重新执行这些命令来恢复原始的数据,AOF命令以redis协议追加保存每次写的操作到文件末尾.Redis还能对AOF文件进行后台重写,使得AOF文件的体积不至于...

2018-12-21 10:16:00 983

原创 CentOS7安装Redis及基本的认识

1.Redis 下载地址：https://redis.io/download2.上传到服务器指定文件夹，我这边传到了根目录下/mysoft 这个目录下　解压 tar -zxvf redis-4.0.8.tar.gz -C /mysoft/3.进行编译安装cd redis-4.0.8make //编译cd srcmake install PREFIX=/usr/l...

2018-12-21 09:59:00 1024

原创 kafka消息存储与partition副本原理

消息的存储原理：　　消息的文件存储机制:　　前面我们知道了一个 topic 的多个 partition 在物理磁盘上的保存路径，那么我们再来分析日志的存储方式。通过 ll /tmp/kafka-logs/testTopic-0/ 命令找到对应 partition 下的日志内容:　　kafka 是通过分段的方式将 Log 分为多个 LogSegment，LogSegment 是一个...

2018-12-20 17:05:00 1203

原创 kafka消息的分发与消费

关于 Topic 和 Partition：　　Topic：在 kafka 中，topic 是一个存储消息的逻辑概念，可以认为是一个消息集合。每条消息发送到 kafka 集群的消息都有一个类别。物理上来说，不同的 topic 的消息是分开存储的，每个 topic 可以有多个生产者向它发送消息，也可以有多个消费者去消费其中的消息。　　Partition：　　每个 topi...

2018-12-19 13:58:00 1160

原创 kafka 的安装部署及整合springboot

Kafka 的简介：　　Kafka 是一款分布式消息发布和订阅系统，具有高性能、高吞吐量的特点而被广泛应用与大数据传输场景。它是由 LinkedIn 公司开发，使用 Scala 语言编写，之后成为 Apache 基金会的一个顶级项目。kafka 提供了类似 JMS 的特性，但是在设计和实现上是完全不同的，而且他也不是 JMS 规范的实现。kafka 产生的背景：　　kafka 作为一...

2018-12-18 14:33:00 1013

原创 ActiveMQ消息的消费原理

消费端消费消息：　　在初识ActiveMQ 中我提到过，两种方法可以接收消息，一种是使用同步阻塞的ActiveMQMessageConsumer#receive方法。另一种是使用消息监听器MessageListener。这里需要注意的是，在同一个session下，这两者不能同时工作，也就是说不能针对不同消息采用不同的接收方式。否则会抛出异常。至于为什么这么做，最大的原因还是在事务性会...

2018-12-14 16:51:00 1243

原创 ActiveMQ消息的持久化策略

持久化消息和非持久化消息的存储原理：　　正常情况下，非持久化消息是存储在内存中的，持久化消息是存储在文件中的。能够存储的最大消息数据在${ActiveMQ_HOME}/conf/activemq.xml文件中的systemUsage节点SystemUsage配置设置了一些系统内存和硬盘容量。<systemUsage> <systemUsage>...

2018-12-12 11:15:00 953

持久化消息和非持久化消息的发送策略：消息同步发送和异步发送　　ActiveMQ支持同步、异步两种发送模式将消息发送到broker上。同步发送过程中，发送者发送一条消息会阻塞直到broker反馈一个确认消息，表示消息已经被broker处理。这个机制提供了消息的安全性保障，但是由于是阻塞的操作，会影响到客户端消息发送的性能。异步发送的过程中，发送者不需要等待broker提供反馈，所以性能相对较高...

2018-12-12 10:08:00 1113

原创初识ActiveMQ及整合springboot

消息中间件的初步认识什么是消息中间件？　　消息中间件是利用高效可靠的消息传递机制进行平台无关的数据交流，并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型，可以在分布式架构下扩展进程之间的通信。消息中间件能做什么？　　消息中间件主要解决的就是分布式系统之间消息传递的问题，它能够屏蔽各种平台以及协议之间的特性，实现应用程序之间的协同。举个非常简单的例子，就拿一个电...

2018-12-11 15:31:00 962

原创 dubbo(2.5.3)源码之Directory与LoadBalance

Directory：集群目录服务Directory，代表多个Invoker, 可以看成List<Invoker>,它的值可能是动态变化的比如注册中心推送变更。集群选择调用服务时通过目录服务找到所有服务StaticDirectory: 静态目录服务，它的所有Invoker通过构造函数传入，服务消费方引用服务的时候，服务对多注册中心的引用，将Invokers集合直...

2018-12-06 13:12:00 938

原创 dubbo(2.5.3)源码之服务消费

消费端启动初始化过程：　　消费端的代码解析也是从配置文件解析开始的，服务发布对应的<dubbo:service,解析xml的时候解析了一个ServiceBean，并且调用ServiceConfig进行服务的发布。服务的消费对应的<dubbo:reference，在初始化的过程中也解析了一个ReferenceBean类去做处理。在bean加载后会调用里面的afterPr...

2018-12-04 16:46:00 957

吴振照