2016年08月_追寻北极

12月 11月 10月 09月 08月 07月 05月 04月 03月 02月 01月

转载 TDDL、Amoeba、Cobar、MyCAT架构比较

布式数据库中间件TDDL、Amoeba、Cobar、MyCAT架构比较分比较了业界流行的MySQL分布式数据库中间件，关于每个产品的介绍，网上的资料比较多，本文只是对几款产品的架构进行比较，从中可以看出中间件发展和演进路线框架比较TDDLAmoebaCobarMyCat点评TDDL不同于其它几款

2016-08-30 18:26:10 1577

转载 MogileFS与FastDFS的个人见解

MogileFS & FastDFS 为两个开源分布式文件系统，都主要适用于互联网文件共享，上传，下载等功能，主要用于多上传和下载，不经常修改的操作。M和F部署架构都比较类似，设计中都避免的cluster中某一个环节的单点问题。 MogileFS————————-官网：https://code.google.com/p/mogilefs/基本架构：TrackerServer

2016-08-29 18:33:57 1786

转载 Spring Integration

The Cafe Sample(小卖部订餐例子) 小卖部有一个订饮料服务，客户可以通过订单来订购所需要饮料。小卖部提供两种咖啡饮料 LATTE(拿铁咖啡)和MOCHA(摩卡咖啡)。每种又都分冷饮和热饮整个流程如下： 1.有一个下订单模块，用户可以按要求下一个或多个订单。 2.有一个订单处理模块，处理订单中那些

2016-08-29 18:33:17 3577

转载 Spring框架介绍

看了几周Spring相关框架的书籍和官方demo，是时候开始总结下这中间的学习感悟。首先，最想说的是，当你要学习一套最新的技术时，官网的英文文档是学习的最佳渠道。因为网上流传的多数资料是官网翻译而来，很多描述的重点也都偏向于作者自身碰到的问题，这样就很容易让你理解和操作出现偏差，最开始我就进入了这样误区。官网的技术导读真的描述的很详细，虽然对于我们看英文很费劲，但如果英文不是很差，请选择沉

2016-08-29 17:05:07 760

转载 Spring Cloud构建微服务

这个文章的目的不在于展示一个完整的项目，主要是为了提供一种思路，一种利用spring boot以及spring cloud相关技术构建微服务系统所以有些细节部分不会太详实，还请见谅首先了解下项目结构请忽略config-service，这里先不说这个pom.xml配置dependencies> dependency> groupId>or

2016-08-29 17:04:11 1429

转载 7天学会spring cloud系列

《7天学会spring cloud系列》之创建配置管理服务器及实现分布式配置管理应用。　　本文涉及到的项目：开源项目：http://git.oschina.net/zhou666/spring-cloud-7simplecloud-config-repo：配置文件存放的文件夹cloud-simple-service：一个使用mybatis的数据库应用　　分布式配置管理应该是分布式

2016-08-29 17:03:31 9065

转载 hdfs性能调优

参照官方文档：http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_ig_yarn_tuning.html1）对YARN调优：我们实际是2颗CPU，一共24核心数，上面的服务用掉了5核，还剩下24-5=19核心我们实际的64G的内存，64-1-1-（64*

2016-08-29 16:44:16 2165

转载 Cloudera Manager 5.3.2 和 CDH5.3.2 环境配置

系统环境9台DELL R720xd服务器（192.168.3.245-253），1台R410master节点（192.168.3.243）网卡：1000M9台DELL R720xd服务器各有12*4T磁盘。网络环境内网Centos6.6 x64 (Final) 1、准备工作卸载系统自带OPEN-JDK（所有节点）安装好的Centos系统有时会自动

2016-08-29 16:42:33 444

转载最靠谱的CDH5安装指南

字数2106 阅读3520 评论0 喜欢9系统要求系统：CentOS 6.5Cloudera:CM5.2.0 + CDH 5.2.0内存：主节点4G内存以上，其他节点需要2G以上内存Hadoop版本选择目前Hadoop比较流行的主要有2个版本，Apache和Cloudera版本。Apache Hadoop：维护人员比较多，更新频率比较快，但是稳定

2016-08-29 16:15:00 2414

转载微服务架构的基础框架选择：Spring Cloud还是Dubbo？

最近一段时间不论互联网还是传统行业，凡是涉及信息技术范畴的圈子几乎都在讨论微服务架构。近期也看到各大技术社区开始组织一些沙龙和论坛来分享Spring Cloud的相关实施经验，这对于最近正在整理Spring Cloud相关套件内容与实例应用的我而言，还是有不少激励的。目前，Spring Cloud在国内的知名度并不高，在前阵子的求职过程中，与一些互联网公司的架构师、技术VP或者CTO在

2016-08-29 15:59:35 1902

转载华为内部如何实施微服务架构？基本就靠这5大原则

随着业务的发展，代码量的膨胀和团队成员的增加，传统单体式架构的弊端越来越凸显，严重制约了业务的快速创新和敏捷交付。为了解决传统单体架构面临的挑战，先后演进出了SOA服务化架构、RPC框架、分布式服务框架，最后就是当今非常流行的微服务架构。微服务化架构并非银弹，它的实施本身就会面临很多陷阱和挑战，涉及到设计、开发、测试、部署、运行和运维等各个方面，一旦使用不当，则会导致整个微服务架构改造的效

2016-08-29 11:31:23 1641

转载深入理解G1垃圾收集器

G1 GC是Jdk7的新特性之一、Jdk7+版本都可以自主配置G1作为JVM GC选项；作为JVM GC算法的一次重大升级、DK7u后G1已相对稳定、且未来计划替代CMS、所以有必要深入了解下：不同于其他的分代回收算法、G1将堆空间划分成了互相独立的区块。每块区域既有可能属于O区、也有可能是Y区，且每类区域空间可以是不连续的（对比CMS的O区和Y区都必须是连续的）。这种将O区划分成多块的理

2016-08-25 16:50:09 1001

转载深入理解G1垃圾收集器

Garbage First(G1)致力于在多CPU和大内存服务器上对垃圾收集提供软实时目标(soft real-time goal )和高吞吐量(high throughput )。从JDK 6u14开始就已经在Hotspot上试验，到现在的JDK7依然没有走出实验室。是最终将用于代替Concurrent Mark-Sweep garbage collector(CMS GC)的新一代垃圾回收

2016-08-25 16:48:38 3237

转载 Java 8: 从永久代（PermGen）到元空间（Metaspace）

永久代(PermGen)和元空间(Metaspace)的今世前缘：原文链接：原文作者：Monica Beckwith 以下为本人翻译，仅用于交流学习，版权归原作者和InfoQ所有，转载注明出处，请不要用于商业用途在Java虚拟机(JVM)内部，class文件中包括类的版本、字段、方法、接口等描述信息，还有运行时常量池，用于存放编译器生成的各种字面量

2016-08-25 16:41:23 1041

Garbage-First（后文简称G1）收集器是当今收集器技术发展的最前沿成果，在Sun公司给出的JDK RoadMap里面，它被视作JDK 7的HotSpot VM 的一项重要进化特征。从JDK 6u14中开始就有Early Access版本的G1收集器供开发人员实验、试用，虽然在JDK 7正式版发布时，G1收集器仍然没有摆脱“Experimental”的标签，但是相信不久后将会有一个成熟的商

2016-08-25 16:40:38 525

转载 G1垃圾收集器，永久带和元数据区

G1垃圾收集器，永久带和元数据区我们收到了一些围绕G1垃圾收集器和使用永久带的一些问题。当G1作为垃圾收集器的时候，hotspot JVM并没有使用永久带，这看上起可能有点迷惑。下面是一些澄清：JDK7：永久带JDK7和它的更新中仍然存在永久带，所有的垃圾收集器都在使用。在JDK7里面，开始进行去掉永久带的努力，永久带中的一些数据已经被转移到Java堆或者是native堆中

2016-08-25 16:22:48 1048

转载 protobuf,thrift,avro之序列化性能测试

简要记述一下在c++环境下protobuf、thrift与avro序列化性能结果。测试方法：分别用三种协议定义一个包含同样字段的数据结构，然后重复调用多次，比较三者之间花费的时间。具体定义的数据结构为：[cpp] view plain copy Person { int id; string name; stri

2016-08-24 18:04:30 1668

转载用Docker封装一个web应用(Django)

一.复用以前一个封装了SSH的镜像，如果没有封装SSH，可以使用自己的镜像或参考我以前博文：叫板OpenStack:用Docker实现私有云的前五步接下来便是正题.二.部署过程1.查看镜像REPOSITORY TAG IMAGE ID CREATED VIR

2016-08-18 18:31:03 2763

转载使用Jenkins来构建Docker容器

当开发更新了代码，提交到Gitlab上，然后由测试人员触发Jenkins，于是一个应用的新版本就被构建了。听起来貌似很简单，duang~duang~duang，我用了是这样，你们用了也是这样，看起来这个过程很自动化，其实这里面加了很多特技，根本就没有这样的头发，不对，根本就没有这样简单的方式，其环境搭建的过程十分繁琐，jenkins的上下文关系配置更是相当困难。今天我来介绍一种简单的新方法-使用J

2016-08-18 18:29:50 714

转载 ubuntu下安装配置部署zabbix——基于docker

最近听说zabbix这个很好用的监听工具，正好项目用得上，就花了点功夫研究了一下。zabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。zabbix能监视各种网络参数，保证服务器系统的安全运营;并提供柔软的通知机制以让系统管理员快速定位/解决存在的各种问题。zabbix 由2部分构成，zabbix server 与可选组件zabbix agent。za

2016-08-12 18:48:13 1090

转载 zabbix企业应用之监控docker容器资源情况

原创作品，允许转载，转载时请务必以超链接形式标明文章原始出处、作者信息和本声明。否则将追究法律责任。http://dl528888.blog.51cto.com/2382721/1660844关于docker的监控，无论开源的CAdvisor、Data Dog还是我自己写的监控（http://dl528888.blog.51cto.com/2382721/1635951），不是通过

2016-08-12 18:46:23 4132

转载 zabbix自动发现实现批量监控docker状态

原创作品，允许转载，转载时请务必以超链接形式标明文章原始出处、作者信息和本声明。否则将追究法律责任。http://xianglinhu.blog.51cto.com/5787032/1697427最近在搞zabbix监控docker以及docker内部应用状态信息，网上找的资料好少，只找到了一个大神的一篇文章，用的是python实现监控docker容器的基本状态，我在他给的脚本基础

2016-08-12 18:41:59 11135 1

转载 Docker 简单监控

https://segmentfault.com/a/1190000002362911从 VM 迁移到 Docker 容器是非常容易的，除了监控部分。一个简单的方法，运行一个数据收集客户端（比如 Zabbix 客户端），绝对不是一个好的解决方案，因为它与 Docker 的每个容器中只有一个清楚明确任务的哲学相悖，并且也因为它要求使用定制的镜像。从收集 LXC 和 Docker 容器

2016-08-12 18:39:51 2762

转载基于Zabbix + Docker开发的监控系统

（原文地址：https://blog.goquxiao.com/posts/2015/02/17/ji-yu-zabbix-dockerkai-fa-de-jian-kong-xi-tong/）背景团队所开发的持续监测网站/APP的产品，需要有一项监控功能，具体来说就是，对URL/域名进行周期性（小于1分钟）监测，并且能对异常事件进行实时告警。在最近这几个月，我一直将大部分时间和精

2016-08-12 18:32:45 3716

转载 docker+jenkins+git持续部署实践

以前搭建spring-cloud的时候看到别人代码里面总有Dockerfile，然后了解到Docker容器的概念，玩了两个星期玩不下去了，就放下了，无意间在网上看到一篇文章Docker持续部署，就想着自己也搭建一套玩玩。流程网上那篇文章介绍的流程涉及到多个docker镜像，我这里为了入门就简单化了。自动化部署效果就是：你修改了本地的代码然后push到git上面，

2016-08-12 18:24:30 1300

转载 (CentOS 7)Docker：安装&配置

安装docker说明：此次安装没有根据官网安装教程的步骤进行，而是直接yum install安装。安装docker yum install docker关闭防火墙 service firewalld stop启动服务 service docker start设置开机启动 systemctl enable docker配置docker说明：swarm是通过

2016-08-12 18:12:58 1625

转载 warm创建docker集群:服务发现-etcd

不详细介绍swarm、docker的原理、架构通过Docker + Etcd + Swarm 搭建docker集群术语本文中用到的术语书名Docker节点(docker node)：docker的运行环境，通常为物理机或者虚拟机测试环境2个docker主机的配置如下所示[root@localhost ~]# cat /etc/redhat-r

2016-08-12 18:11:44 947

转载 Docker的Web UI管理：shipyard+swarm-（手动）安装&试用

shipyard是对Docker进行管理的Web UI版。主要有以下特性： 1. 镜像管理 - 镜像的下载 2. 容器管理 - 容器的run、start、stop、rm 3. registry管理 - 增加、删除 4. swarm集群管理：因为shipyard使用了swarm，所以可以对swarm集群中的集群进行管理其中比较好玩的是：可以通过web ui在容

2016-08-12 18:07:23 851

转载 kubernetes实战-基于redis和docker的留言簿案例

一、介绍本案例基于Kubernetes和Docker，其中包括1、web前端2、redis master3、redis slave其中web前端通过javascript redis api和redis master交互kubernetes体系架构二、配置0、先决条件Kuberne

2016-08-12 18:04:14 425

转载 Docker集中化web界面管理平台shipyard

Shipyard（github）是建立在Docker集群管理工具Citadel之上的可以管理容器、主机等资源的web图形化工具。包括core和extension两个版本，core即shipyard主要是把多个 Docker host上的 containers 统一管理（支持跨越多个host），extension即shipyard-extensions添加了应用路由和负载均衡、集中化日志、部署等

2016-08-12 17:59:09 422

转载 apache kafka监控系列-KafkaOffsetMonitor

概览最近kafka server消息服务上线了，基于jmx指标参数也写到zabbix中了，但总觉得缺少点什么东西，可视化可操作的界面。zabbix中数据比较分散，不能集中看整个集群情况。或者一个cluster中broker列表，自己写web-console比较耗时耗力，用原型工具画了一些管理界面东西，关键自己也不前端方面技术，这方面比较薄弱。这不开源社区提供了kafka的web管理平台Ka

2016-08-12 17:13:14 379

转载 Docker集中化web界面管理平台shipyard

2016-08-12 17:11:26 957

转载 Kubernetes初探

Kubernetes是Google开源的容器集群管理系统。它构建于docker技术之上，为容器化的应用提供资源调度、部署运行、服务发现、扩容缩容等整一套功能，本质上可看作是基于容器技术的mini-PaaS平台。本文旨在梳理Kubernetes的架构、概念及基本工作流，并且通过运行一个简单的示例应用来介绍如何使用Kubernetes。总体概览如下图所示是我初步阅读文档

2016-08-12 17:06:52 802

转载基于Kubernetes构建Docker集群管理详解

Kubernetes是Google开源的容器集群管理系统，基于Docker构建一个容器的调度服务，提供资源调度、均衡容灾、服务注册、动态扩缩容等功能套件，目前最新版本为0.6.2。本文介绍如何基于CentOS7.0构建Kubernetes平台。作者简介：刘天斯，目前就职于腾讯-互动娱乐部(高级工程师)，曾就职于天涯社区，担任架构师/系统管理员，热衷开源技术的研究，包括系统架构、运维开发

2016-08-12 15:06:48 1260