南北雪树-CSDN博客

转载 MySQL几种常用的存储引擎区别

MySQL是我们经常使用的数据库处理系统（DBMS），不知小伙伴们有没有注意过其中的“存储引擎”（storage_engine）呢？有时候面试题中也会问道MySQL几种常用的存储引擎的区别。这次就简短侃一下存储引擎那些事儿。先去查一下“引擎”概念。引擎（Engine）是电子平台上开发程序或系统的核心组件。利用引擎，开发者可迅速建立、铺设程序所需的功能，或利用其

2017-12-14 21:25:09 2424

转载 Mysql集群和一主多从之后如何分库分表的方案实现（三）

4-3、使用MyCat配置横向拆分之前文章中我们介绍了如何使用MyCat进行读写分离，类似的关系型数据库的读写分离存储方案可以在保持上层业务系统透明度的基础上满足70%业务系统的数据承载规模要求和性能要求。比起单纯使用LVS + Replicaion的读写分离方案而言最大的优势在于更能增加对上层业务系统的透明性。当然如果您觉得单个MyCat节点在高可用范畴或者性能范畴上还需要增强，还

2017-12-13 11:15:05 6514

转载 HADOOP离线分析+实时分析框架使用技术框架Hadoop+Flume+Kafka+Storm+Hive+Sqoop+mysql/oracle

离线分析框架搭建hadoop集群搭建部署Hadoop HA部署Hive安装部署Sqoop组件安装部署实时分析框架搭建 storm kafkakafka安装配置storm集群安装部署

2017-12-13 10:59:47 1069

转载 kafka和flume的区别和对比使用

（1）kafka和flume都是日志系统。kafka是分布式消息中间件，自带存储，提供push和pull存取数据功能。flume分为agent（数据采集器）,collector（数据简单处理和写入）,storage（存储器）三部分，每一部分都是可以定制的。比如agent采用RPC（Thrift-RPC）、text（文件）等，storage指定用hdfs做。（2）kafka做日志缓存应该是更

2017-12-13 10:47:01 5770

转载 Mysql集群和一主多从的方案实现（二）

4、改进方式三：MyCat数据库中间件在上文中我们介绍了MySQL读写分离集群的持续优化方式。按照这样的方式，集群中负责读写分离的MySQL节点基本上能够分别实现真对上层业务系统访问的透明化。这样的MySQL集群方式已经可以承载读者遇到的大部分业务系统的结构化数据规模，但整个集群方案还有一些明显的问题：首先就是业务开发人员始终还是需要分配一定的精力去分别管理读操作会话和写操作会话的数据库连

2017-12-05 20:28:23 1643

转载 Mysql集群和一主多从的方案实现（一）

1、MySQL主从方案业务层的问题在之前的文章中，我们提到MySQL一主多从集群模式下，对上层业务系统的访问带来了一些问题。本编文章中我们将深入分析这个问题，并介绍如何对这个问题进行改进。MySQL一主多从集群对上层业务系统带来的主要问题是，上层业务系统需要自行控制本次MySQL数据操作需要访问MySQL集群中的哪个节点。产生这个问题的主要原因，是因为MySQL一主多从集群本身并没有提供现

2017-12-04 19:44:09 4620 1

转载系统间通信方式之（Kafka的实际使用场景和使用方案三）（二十五）

5-7、解决方案三：非侵入式方案以上两种方案中为了让业务系统能够集成日志采集功能，我们或多或少需要在业务系统端编写一些代码。虽然通过一些代码结构的设计，可以减少甚至完全隔离这些代码和业务代码的耦合度，但是毕竟需要业务开发团队花费精力对这些代码进行维护，业务系统部署时业务对这些代码的配置信息做相应的调整。这里我们再为读者介绍一种非侵入式的日志采集方案。我们都知道业务系统被访问时，都会

2017-11-23 14:26:45 2160

转载系统间通信方式之（Kafka的实际使用场景和使用方案二）（二十四）

5-3、解决方案二：改进半侵入式方案5-3-1、解决方法一的问题所在方案一并不是最好的半侵入式方案，却容易理解架构师的设计意图：至少做到业务级隔离。方案一最大的优点在于日志采集逻辑和业务处理逻辑彼此隔离，当业务逻辑发生变化的时候，并不会影响日志采集逻辑。但是我们能为方案一列举的问题却可以远远多于方案一的优点：需要为不同开发语言分别提供客户端API包。上文中我

2017-11-23 11:43:33 1426

转载系统间通信方式之（Kafka的实际使用场景和使用方案）（二十三）

5、场景应用——电商平台：浏览记录收集功能事件/日志收集系统是大中型软件不得不面对的话题。目前第三方业务系统对事件/日志收集系统的集成思路主要有两大类：侵入式收集方案和非侵入式收集方案。侵入式收集方案，是指任何需要使用事件/日志收集系统的第三方系统，都需要做有针对的编码工作，这个编码工作或者是新增代码用于调用事件/日志收集系统提供的客户端API，又或者是修改已有的代码，以便适应事件

2017-11-23 09:45:06 2076

转载 JAVA8新特性之Stream如何“骚”起来

1.Stream初体验我们先来看看Java里面是怎么定义Stream的：A sequence of elements supporting sequential and parallel aggregate operations.我们来解读一下上面的那句话：1.Stream是元素的集合，这点让Stream看起来用些类似Iterator；2.可以支持顺序和并行的对原Str

2017-11-22 16:18:00 2280

转载系统间通信方式之（Kafka的集群方案介绍结束3）（二十二）

4-5、Kafka原理：消费者作为Apache Kafka消息队列，它的性能指标相当一部分取决于消费者们的性能——只要消息能被快速消费掉不在Broker端形成拥堵，整个Apache Kafka就不会出现性能瓶颈问题。4-5-1、基本使用我们首先使用Kafka Client For JAVA API为各位读者演示一下最简单的Kafka消费者端的使用。以下示例代码可以和上文中所

2017-11-20 15:42:05 387

转载系统间通信方式之（Kafka的集群方案介绍2）（二十一）

4-3、复制功能我们在上文中已经讨论了Kafka使用分区的概念存储消息，一个topic可以有多个分区它们分布在整个Kafka集群的多个Broker服务节点中，并且一条消息只会按照消息生产者的要求进入topic的某一个分区。那么问题来了：如果某个分区中的消息在被消费端Pull之前，承载该分区的Broker服务节点就因为各种异常原因崩溃了，那么在这个Broker重新启动前，消费者就无法收到消息

2017-11-20 14:42:57 1061

转载系统间通信方式之（Kafka的集群方案介绍1）（二十）

在本月初的写作计划中，我本来只打算粗略介绍一下Kafka（同样是因为进度原因）。但是，最近有很多朋友要求我详细讲讲Kafka的设计和使用，另外两年前我在研究Kafka准备将其应用到生产环境时，由于没有仔细理解Kafka的设计结构所导致的问题最后也还没有进行交代。所以我决定即使耽误一些时间，也要将Kafka的原理和使用场景给读者详细讨论讨论。这样，也算是对两年来自己学习和使用Kafka的一个总结。

2017-11-17 16:52:06 2672

转载系统间通信方式之（ActiveMQ的集群方案介绍结束2之高潮部分了【(1master+2slave)*cluster】）（十九）

转载：http://blog.csdn.net/lifetragedy/article/details/51869032ActiveMQ的集群内嵌代理所引发的问题：消息过载管理混乱如何解决这些问题——集群的两种方式：Master slave Broker clustersActiveMQ的集群有两种方式：MA

2017-11-17 10:16:30 681

转载系统间通信方式之（ActiveMQ的集群方案介绍结束）（十八）

3、ActiveMQ热备方案ActiveMQ热备方案，主要保证ActiveMQ的高可用性。这种方案并不像上节中我们主要讨论的ActiveMQ高性能方案那样，同时有多个节点都处于工作状态，也就是说这种方案并不提高ActiveMQ集群的性能；而是从集群中的多个节点选择一个，让其处于工作状态，集群中其它节点则处于待命状态。当主要的工作节点由于各种异常情况停止服务时，保证处于待命的节点能够无缝接替

2017-11-16 11:29:04 2642

转载系统间通信方式之（ActiveMQ的集群方案介绍上）（十七）

1、综述通过之前的文章，我们讨论了ActiveMQ的基本使用，包括单个ActiveMQ服务节点的性能特征，关键调整参数；我们还介绍了单个ActiveMQ节点上三种不同的持久化存储方案，并讨论了这三种不同的持久化存储方案的配置和性能特点。但是这还远远不够，因为在生产环境中为了保证让我们设计的消息服务方案能够持续工作，我们还需要为消息中间件服务搭建集群环境，从而在保证消息中间件服务可靠性和处理

2017-11-15 22:32:07 747

转载系统间通信方式之（ActiveMQ的使用性能优化之冰火两重天5）（十六）

7、ActiveMQ的持久消息存储方案前文已经讲过，当ActiveMQ接收到PERSISTENT Message消息后就需要借助持久化方案来完成PERSISTENT Message的存储。这个介质可以是磁盘文件系统、可以是ActiveMQ的内置数据库，还可以是某种外部提供的关系型数据库。本节笔者将向读者讲解三种ActiveMQ推荐的存储方案的配置使用。如上图2.1的

2017-11-15 18:30:28 3315

转载系统间通信方式之（ActiveMQ的使用性能优化之干柴烈火4）（十五）

6、ActiveMQ处理规则和优化在ActiveMQ单个服务节点的优化中，除了对ActiveMQ单个服务节点的网络IO模型进行优化外，生产者发送消息的策略和消费者处理消息的策略也关乎整个消息队列系统是否能够高效工作。请看下图所示的消息生产者和消息消费者的简要工作原理图：Producer既是消息生产者，作为一个发送消息的客户端它既可以使用同步消息发送模式，也可以使用异

2017-11-15 15:23:29 502

转载系统间通信方式之（ActiveMQ的使用性能优化3）（十四）

3、ActiveMQ性能优化思路上篇文章中的两节内容，主要介绍消息中间件ActiveMQ的安装和基本使用。从上篇文章给出的安装配置和示例代码来看，我们既没有修改ActivieMQ服务节点的任何配置，也没有采用任何的集群方案。这种情况只适合各位读者熟悉ActiveMQ的工作原理和基本操作，但是如果要将ActivieMQ应用在生产环境下，上文中介绍的运行方式远远没有挖掘出它的潜在性能。

2017-11-14 22:44:56 1959

原创系统间通信方式之（ActiveMQ的基础使用参数详解2）（十三）

先来一个使用ActiveMQ的一般基本配置基础类/** * @author whb * @date 2017年11月14日下午6:35:03 * @Description: ActiveMQ消息配置 */public class ActiveMQConfig { private int sessionCacheSize = 20; private String brok

2017-11-14 19:06:28 1882

转载系统间通信方式之（ActiveMQ的基础使用详细介绍1）（十二）

1、前言之前我们通过两篇文章（架构设计：系统间通信（19）——MQ：消息协议（上）、架构设计：系统间通信（20）——MQ：消息协议（下））从理论层面上为大家介绍了消息协议的基本定义，并花了较大篇幅向读者介绍了三种典型的消息协议：XMPP协议、Stomp协议和AMQP协议。本小节开始，我们基于之前的知识点讲解这些协议在具体的“消息队列中间件”中是如何被我们操作的。由于本人在实际工作中经常使用

2017-11-14 17:34:24 1012

转载系统间通信方式之（基于DUBBO的详细介绍）（十一）

偷懒了，详细的文章链接如下：服务治理与DUBBO介绍1、http://blog.csdn.net/yinwenjie/article/details/50113139服务治理与DUBBO介绍2、http://blog.csdn.net/yinwenjie/article/details/50193987服务治理与DUBBO介绍3、http://blog.csdn.net/yin

2017-11-14 11:43:24 363

转载使用git将项目上传到github的方法

首先你需要一个github账号，所有还没有的话先去注册吧！https://github.com/我们使用git需要先安装git工具，这里给出下载地址，下载后一路直接安装即可：https://git-for-windows.github.io/1.进入Github首页，点击New repository新建一个项目 2.填写相应信息后点击create

2017-11-14 10:05:53 302

转载系统间通信方式之（RPC的基本概念）（十）

1、概述经过了详细的信息格式、网络IO模型的讲解，并且通过JAVA RMI的讲解进行了预热。从这篇文章开始我们将进入这个系列博文的另一个重点知识体系的讲解：RPC。在后续的几篇文章中，我们首先讲解RPC的基本概念，一个具体的RPC实现会有哪些基本要素构成，然后我们详细介绍一款典型的RPC框架：Apache Thrift。接下来我们聊聊服务治理和DUBBO服务框架。最后总结一下如何在实际工作

2017-11-13 22:18:10 7742

转载系统间的通信方式之（Java RMI方式详解下）（九）

接上文《架构设计：系统间通信（8）——通信管理与RMI 上篇》。之前说过，JDK中的RMI框架在JDK1.1、JDK1.2、JDK1.5、JDK1.6+几个版本中做了较大的调整。以下我们讨论的RMI工作原理都是基于JDK1.6+版本的。3、JAVA RMI 工作原理通过上面的两组代码，我们大概知道了RMI框架是如何使用的。下面我们来讲解一下RMI的基本原理。本人翻阅网上的众多RMI资料基本...

2017-11-13 21:02:28 1720 1

转载系统间通信方式之（Java之RMI初步使用详解）（八）

1、概述在概述了数据描述格式的基本知识、IO通信模型的基本知识后。我们终于可以进入这个系列博文的重点：系统间通信管理。在这个章节我将通过对RMI的详细介绍，引出一个重要的系统间通信的管理规范RPC，并且继续讨论一些RPC的实现；再通过分析PRC的技术特点，引出另一种系统间通信的管理规范ESB，并介绍ESB的一些具体实现。最后我们介绍SOA：面向服务的软件架构。2、RMI基本使用

2017-11-13 18:01:13 1383

转载系统间通信方式之（Java之Netty初步详解）（七）

上篇文章我们讨论了Netty的基本原理，重要概念，并使用java代码描述了Netty的基本使用。当然Netty的技术涵盖点远远不是那一篇基础代码就可以全部概括的，但是至少可以给读者一个切入点。让大家去思考一个我们一直在讨论的问题：为什么有了JAVA NIO框架后我们还需要有Netty这样的框架对底层再次进行封装？5-1、IO模型的封装5-1-1、再次总结IO模型在前文中我们

2017-11-13 17:24:09 1433

转载系统间通信方式之（Java之Netty初步详解）（六）

这里是详解解释的地址，偷懒了一次啊：http://blog.csdn.net/yinwenjie/article/details/48829419

2017-11-13 17:01:33 395

转载系统之间的通讯方式之（Java AIO异步详解）（五）

7、异步IO上面两篇文章中，我们分别讲解了阻塞式同步IO、非阻塞式同步IO、多路复用IO 这三种IO模型，以及JAVA对于这三种IO模型的支持。重点说明了IO模型是由操作系统提供支持，且这三种IO模型都是同步IO，都是采用的“应用程序不询问我，我绝不会主动通知”的方式。异步IO则是采用“订阅-通知”模式：即应用程序向操作系统注册IO监听，然后继续做自己的事情。当操作系统发生IO事件

2017-11-11 17:29:30 3516 2

原创系统间通讯方式之（Java NIO多路复用模式）（四）

4、多路复用IO模型在“上篇”文章中，我们已经提到了使用多线程解决高并发场景的问题所在，这篇文章我们开始4-1、现实场景我们试想一下这样的现实场景：一个餐厅同时有100位客人到店，当然到店后第一件要做的事情就是点菜。但是问题来了，餐厅老板为了节约人力成本目前只有一位大堂服务员拿着唯一的一本菜单等待客人进行服务。那么最笨（但是最简单）的方法是（方法A），无论有

2017-11-11 16:37:16 5187 2

转载系统之间通讯方式之（Java阻塞同步模式和非阻塞同步模式详解）（三）

1、全文提要系统间通信本来是一个很大的概念，我们首先重通信模型开始讲解。在理解了四种通信模型的工作特点和区别后，对于我们后文介绍搭建在其上的各种通信框架，集成思想都是有益的。目前常用的IO通信模型包括四种（这里说的都是网络IO）：阻塞式同步IO、非阻塞式同步IO、多路复用IO、和真正的异步IO。这些IO模式都是要靠操作系统进行支持，应用程序只是提供相应的实现，对操作系统进行调用。

2017-11-11 15:22:18 1011

转载系统之间通讯方式（BIO和NIO的区别）（二）

4-3、NIO通信框架目前流行的NIO框架非常的多。在论坛上、互联网上大家讨论和使用最多的有以下几种：原生JAVA NIO框架： JAVA NIO通信框架基于多路复用IO原理，我们将详细讲解它的工作原理。APACHE MINA 2：是一个网络应用程序框架，用来帮助用户简单地开发高性能和高可扩展性的网络应用程序。它提供了一个通过Java NIO在不同的传

2017-11-11 13:43:30 5082

转载系统之间通讯方式（BIO和NIO的区别）（一）

从这篇博文开始，我们将进入一个新文章系列。这个文章系列专门整理总结了目前系统间通信的主要原理、手段和实现。我们将讲解典型的信息格式、讲解传统的RMI调用并延伸出来重点讲解RPC调用和使用案例；最后我们还会讲到SOA架构的实现，包括ESB实现和服务注册/治理的实现，同样包括原理、实现和使用案例。系统间通信是架构师需要掌握的又一个关键技术领域，如果说理解和掌握负载均衡层技术需要您有一定的lin

2017-11-09 23:26:07 2554

转载如何计算系统用户并发数，系统最大并发数

与并发用户数相关的概念还包括：“并发用户数”、“系统用户数”和“同时在线用户数”，下面用一个实际的例子来说明它们之间的差别。假设有一个OA系统，该系统有2000个使用用户——这就是说，可能使用该OA系统的用户总数是2000名，这个概念就是“系统用户数”，该系统有一个“在线统计”功能（系统用一个全局变量记数所有已登录的用户），从在线统计功能中可以得到，最高峰时有500人在线（这

2017-11-09 22:57:14 25305

转载项目中为什么首先spring cloud，而不是dubbo

上次写了一篇文章叫Spring Cloud在国内中小型公司能用起来吗?介绍了Spring Cloud是否能在中小公司使用起来，这篇文章是它的姊妹篇。其实我们在这条路上已经走了一年多，从16年初到现在。在使用Spring Cloud之前我们对微服务实践是没有太多的体会和经验的。从最初的开源软件云收藏来熟悉Spring Boot，到项目中的慢慢使用，再到最后全面拥抱Spring Cloud。这篇文

2017-11-09 11:58:08 3372

转载 Spring Boot应用Docker打包成镜像

本教程将引导你通过建立一个Docker镜像来运行Spring Boot应用。你将构建什么Docker是一个具有社區性的Linux容器管理工具集，它允許用户发布镜像或者使用其他开发者发布的镜像。Docker镜像本質上是一个進程的运行環境。在這篇guide中，我們将构建一个運行Spring Boot应用程序的鏡像。构建之前你要准备的东西大约十五分钟的时间一个你最喜欢的文

2017-11-09 10:31:48 10030

转载 Spring Cloud之Spring EL和AOP（3）

3.3、Spring EL 与 AOP（Aspectj）3.3.1、Spring 和 AOP的关系AOP是面向切面编程的简称，Spring的设计思路受到这个思想的指导。所以我们在使用Spring各种组建的时候都能看到这个设计思路的影子。再举一些实际的例子：我们使用Spring托管hibernate就是一个典型的AOP例子，事务的开启、提交、回滚操作无需业务开发人员进

2017-11-08 15:44:26 1085

转载单点部署nginx+zookeeper方式

本文是原创持续连载发布，这篇是SpringMVC + dubbo +zookeeper + oracle 单机版初级架构，这是基本系统雏形。以下文章顺序是按本人实施顺序来的。本人会尽可能不断去完善细节点，提高系统可行性及实用性。从前端的选择、系统中单点问题、发布及部署、数据缓存及数据库优化等问题着手考虑。本文系统架构图image.png安装软件版本linux虚拟机CentOS-6.5-x

2017-11-07 20:22:55 3898

转载系统集成Jenkins+git+maven方式

本文是原创持续连载发布，这篇主要是继承（1）的内容，亲手搭建下Jenkins + git + maven 自动化部署。如有文中有书写或部署问题，请留言指导修正，互相交流，共同进步，本人QQ：417213902。安装文件版本linux虚拟机CentOS-6.5-x86_64-bin-DVD1.isojdkjdk-8u112-linux-x64.tar.gztomcatapache-tomcat-

2017-11-07 20:18:48 359

转载 Spring Cloud之Spring EL（2）

3、Spring EL 与第三方信息3.1、Spring EL 与集合Spring EL基本表达式可以对集合中的信息进行读取操作，包括Collection、Map性质的集合。请看如下实例：/** * 在这个bean被初始化时，进行集合数据的添加 * @author yinwenjie */@Component("myCollection")public class

2017-11-07 18:49:02 223