追寻北极-CSDN博客

转载 warm创建docker集群:服务发现-etcd

不详细介绍swarm、docker的原理、架构通过Docker + Etcd + Swarm 搭建docker集群术语本文中用到的术语书名Docker节点(docker node)：docker的运行环境，通常为物理机或者虚拟机测试环境2个docker主机的配置如下所示[root@localhost ~]# cat /etc/redhat-r

2016-08-12 18:11:44 965

转载 Docker的Web UI管理：shipyard+swarm-（手动）安装&试用

shipyard是对Docker进行管理的Web UI版。主要有以下特性： 1. 镜像管理 - 镜像的下载 2. 容器管理 - 容器的run、start、stop、rm 3. registry管理 - 增加、删除 4. swarm集群管理：因为shipyard使用了swarm，所以可以对swarm集群中的集群进行管理其中比较好玩的是：可以通过web ui在容

2016-08-12 18:07:23 876

转载 kubernetes实战-基于redis和docker的留言簿案例

一、介绍本案例基于Kubernetes和Docker，其中包括1、web前端2、redis master3、redis slave其中web前端通过javascript redis api和redis master交互kubernetes体系架构二、配置0、先决条件Kuberne

2016-08-12 18:04:14 440

转载 Docker集中化web界面管理平台shipyard

Shipyard（github）是建立在Docker集群管理工具Citadel之上的可以管理容器、主机等资源的web图形化工具。包括core和extension两个版本，core即shipyard主要是把多个 Docker host上的 containers 统一管理（支持跨越多个host），extension即shipyard-extensions添加了应用路由和负载均衡、集中化日志、部署等

2016-08-12 17:59:09 437

转载 apache kafka监控系列-KafkaOffsetMonitor

概览最近kafka server消息服务上线了，基于jmx指标参数也写到zabbix中了，但总觉得缺少点什么东西，可视化可操作的界面。zabbix中数据比较分散，不能集中看整个集群情况。或者一个cluster中broker列表，自己写web-console比较耗时耗力，用原型工具画了一些管理界面东西，关键自己也不前端方面技术，这方面比较薄弱。这不开源社区提供了kafka的web管理平台Ka

2016-08-12 17:13:14 395

转载 Kubernetes初探

Kubernetes是Google开源的容器集群管理系统。它构建于docker技术之上，为容器化的应用提供资源调度、部署运行、服务发现、扩容缩容等整一套功能，本质上可看作是基于容器技术的mini-PaaS平台。本文旨在梳理Kubernetes的架构、概念及基本工作流，并且通过运行一个简单的示例应用来介绍如何使用Kubernetes。总体概览如下图所示是我初步阅读文档

2016-08-12 17:06:52 820

转载基于Kubernetes构建Docker集群管理详解

Kubernetes是Google开源的容器集群管理系统，基于Docker构建一个容器的调度服务，提供资源调度、均衡容灾、服务注册、动态扩缩容等功能套件，目前最新版本为0.6.2。本文介绍如何基于CentOS7.0构建Kubernetes平台。作者简介：刘天斯，目前就职于腾讯-互动娱乐部(高级工程师)，曾就职于天涯社区，担任架构师/系统管理员，热衷开源技术的研究，包括系统架构、运维开发

2016-08-12 15:06:48 1311

Dockfile是一种被Docker程序解释的脚本，Dockerfile由一条一条的指令组成，每条指令对应Linux下面的一条命令。Docker程序将这些Dockerfile指令翻译真正的Linux命令。Dockerfile有自己书写格式和支持的命令，Docker程序解决这些命令间的依赖关系，类似于Makefile。Docker程序将读取Dockerfile，根据指令生成定制的image。相比im

2016-07-07 11:22:11 760

转载 Docker学习笔记--Docker常用命令

1. 查看docker信息（version、info）[plain] view plaincopy# 查看docker版本 $docker version # 显示docker系统的信息 $docker info 2. 对image的操作（search、pull、images、rmi、his

2016-07-07 11:21:05 681

转载 docker镜像相关命令

创建/登录：docker login （设置用户名，密码，邮箱，首次注册用户要激活邮箱，激活之后再用docker login 可以登录）从默认仓库下载镜像：sudo docker pull ubuntu:12.04等价于 sudo docker pull registry.hub.docker.com/ubuntu:12.04从其他仓库下载镜像（下载下来的镜像放在本地镜

2016-07-07 11:09:21 573

转载 docker 容器相关命令

启动容器：方法一：从镜像启动(docker run)：启动容器并执行shell，然后退出：docker run registry.intra.weibo.com/yushuang3/centos:v1 /bin/echo "hello world"启动容器并进行交互：docker run -t -i registry.intra.weibo.com/yushuang3/cen

2016-07-07 10:58:19 419

原创 centos7 elasticsearch 安装kaka-river 报错 "java.security.InvalidAlgorithmParameterException"

1,安装报错如下[hadoop@Slave1 elasticsearch1.7]$ bin/plugin -install kafka-river -url https://github.com/mariamhakobyan/elasticsearch-river-kafka/releases/download/v1.2.1/elasticsearch-river-kafka-1.2.

2016-07-04 17:06:48 1674

原创 CentOS7 docker安装

1,安装docker[hadoop@Slave2 Desktop]$ sudo yum install docker2,报错如下:Total 298 kB/s | 11 MB 00:36 Running transaction checkRunning transaction test

2016-07-04 17:01:12 934

转载 apache kafka监控系列-KafkaOffsetMonitor

2016-05-30 10:21:51 1077

转载 Mb（全称为Mbps）与MB（Mbytes）的区别

从事IDC数据中心业务多年，和无数的企业技术网管打过交道，在带宽单位的问题上，80%的技术都有典型误解。本人特针对此问题在QQ上详细阐明，希望对网管人员进行网络基础扫盲。一般在书写带宽单位的时候，我们会写网络带宽是10M，很多网管误以为最大下载流量可以达到每秒下载10M的文件。其实是10/8 =1.25M。原因：带宽的单位和硬盘的单位是不一样的。容易误解的技术概念：Kb是否等于KB

2016-05-27 11:03:04 30498

转载 Hadoop集群上使用Lzo压缩

自从Hadoop集群搭建以来，我们一直使用的是Gzip进行压缩当时，我对gzip压缩过的文件和原始的log文件分别跑MapReduce测试，最终执行速度基本差不多而且Hadoop原生支持Gzip解压，所以，当时就直接采用了Gzip压缩的方式关于Lzo压缩，twitter有一篇文章，介绍的比较详细，见这里：Lzo压缩相比Gzip压缩，有如下特点：压缩解压的速度

2016-05-26 10:51:05 598

转载 flume-ng与flume-og对比

转载地址：http://www.ibm.com/developerworks/cn/data/library/bd-1404flumerevolution/index.html背景Cloudera 开发的分布式日志收集系统 Flume，是 Hadoop 周边组件之一。其可以实时的将分布在不同节点、机器上的日志收集到 hdfs 中。Flume 初始的发行版本目前被统称为 Flum

2016-05-26 10:48:52 803

转载 elasticsearch 使用事项

template的使用刚开始的时候，每次实验都去改/etc/elasticsearch/elasticsearch.yml配置文件。事实上在template里修改settings更方便而且灵活！当然最主要的，还是调节里面的properties设定，合理的控制store和analyze了。 template设定也有多种方法。最简单的就是和存储数据一样POST上去。长期的办法，就是写成j

2016-05-22 00:48:56 2783

转载 elasticsearch 配置详解

elasticsearch的config文件夹里面有两个配置文件：elasticsearch.yml和logging.yml，第一个是es的基本配置文件，第二个是日志配置文件，es也是使用log4j来记录日志的，所以logging.yml里的设置按普通log4j配置文件来设置就行了。下面主要讲解下elasticsearch.yml这个文件中可配置的东西。配置es的集群名称，默认是elas

2016-05-22 00:41:49 3185 1

转载 log4j集成flume-ng

flume-ng是时下比较流行的日志收集方案，log4j也是Java领域内常用的日志组件。那有什么简单的办法把他们结合起来呢？背景：通常，我们的应用程序已经在使用log4j来记录日志了，有一天我们的日志需要导入到其他地方（同时文本日志暂时也不想丢），用来分析（hdfs）或者检索（elasticsearch），我们就想到通过一个数据管道来做这件事情，flume似乎是一个不错的选择。

2016-05-22 00:41:01 1178

转载基于Flume的野狗实时日志系统的演进和优化

在讲解日志架构之前，先介绍一下我们野狗的业务。我们的业务共有两类SDK，基于两种连接技术。第一类是WebSocket长连接或用Long polling模拟的长连接，另外一类是HTTP REST短连接。大家看这张图，野狗的业务架构分为两层，第一层是接入层，包括NodeJs接入层、Nginx Rest API接入层；第二层是核心业务处理层，包括数据处理和Push server同步推

2016-05-22 00:39:49 2359

转载 ELK(ElasticSearch, Logstash, Kibana)搭建实时日志分析平台

日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开

2016-05-22 00:36:39 1158

转载 Dubbo基本原理机制(优秀推荐)

分布式服务框架：–高性能和透明化的RPC远程服务调用方案–SOA服务治理方案-Apache MINA 框架基于Reactor模型通信框架，基于tcp长连接Dubbo缺省协议采用单一长连接和NIO异步通讯，适合于小数据量大并发的服务调用，以及服务消费者机器数远大于服务提供者机器数的情况分析源代码，基本原理如下：client一个线程调用远程接口，生成一个唯一的ID（比如一段随机字符

2016-04-03 18:06:40 871

转载 Dubbo超时机制导致的雪崩连接

2014-11-09 categories:资料 author:iigadmin来源：http://www.taobaotest.com/blogs/2535BUG作者：许晓Bug标题：Dubbo超时机制导致的雪崩连接Bug影响：Dubbo服务提供者出现无法获取Dubbo服务处理线程异常，后端DB爆出拿不到数据库连接池，导致前端响应时间异常飙高，系统处理能力下

2016-04-03 01:44:51 26238

转载 Dubbo框架结合Zookeeper注册中心使用初探

【参考文章】http://www.cnblogs.com/Javame/p/3632473.html （灰常感谢这篇启蒙文章！！）【文章有错，修改见删除线处。。】一、基本概念【Dubbo】Dubbo是一个来源于阿里巴巴的分布式服务框架，本质上是一个服务调用的东西，主要在分布式场景中使用。它是以服务者/消息者的模式在dubbo上注册的。

2016-04-03 01:43:19 5216

转载 dubbo入门

dubbo是阿里巴巴开源的单一长连接服务框架，底层通信采用nio框架，支持netty,mina,grizzly，默认是netty。对dubbo比较感兴趣的是：1. client端的线程模型是什么样的？传统的io client是请求应答模式，发送请求-->等待远程应答。dubbo底层是异步IO的，所有请求复用单一长连接，所以调用都不会阻在IO上，而是阻在Future超时wait上。2.

2016-04-03 01:42:03 1595

转载 dubbo协议下的单一长连接与多线程并发如何协同工作

上班的路上突然就冒出了这么个问题：既然在dubbo中描述消费者和提供者之间采用的是单一长连接，那么如果消费者端是高并发多线程模型的web应用，单一长连接如何解决多线程并发请求问题呢？其实如果不太了解socket或者多线程编程的相关知识，不太容易理解这个问题。传统的最简单的RPC方式，应该是为每次远程调用请求创建一个对应的线程，我们先不说这种方式的缺点。至少优点很明显，就是简单。简单体现在哪

2016-04-03 01:19:43 18254 5

转载 Dubbo基本原理机制

2016-04-03 01:18:50 1413

转载 Dubbo学习过程、使用经验分享及实现原理简单介绍

原文见：http://blog.csdn.net/hzzhoushaoyu/article/details/43273099一、前言部门去年年中开始各种改造，第一步是模块服务化，这边初选dubbo试用在一些非重要模块上，慢慢引入到一些稍微重要的功能上，半年时间，学习过程及线上使用遇到的些问题在此总结下。整理这篇文章差不多花了两天半时间，请尊重劳动

2016-04-03 00:56:49 850

转载阿里巴巴Dubbo实现的源码分析（优秀）

1. Dubbo概述Dubbo是阿里巴巴开源出来的一个分布式服务框架，致力于提供高性能和透明化的RPC远程服务调用方案，以及作为SOA服务治理的方案。它的核心功能包括：#remoting:远程通讯基础，提供对多种NIO框架抽象封装，包括“同步转异步”和“请求-响应”模式的信息交换方式。#Cluster: 服务框架核心，提供基于接口方法的远程过程调用，包括多协议支持

2016-04-03 00:45:44 519

转载 Alibaba Dubbo框架同步调用原理分析-2

关键代码：com.taobao.remoting.impl.DefaultClient.java//同步调用远程接口public Object invokeWithSync(Object appRequest, RequestControl control) throws RemotingException, InterruptedException {

2016-04-03 00:44:14 496

转载 Alibaba Dubbo框架同步调用原理分析

由于Dubbo底层采用Socket进行通信，自己对通信理理论也不是很清楚，所以顺便把通信的知识也学习一下。n 通信理论计算机与外界的信息交换称为通信。基本的通信方法有并行通信和串行通信两种。1.一组信息（通常是字节）的各位数据被同时传送的通信方法称为并行通信。并行通信依靠并行I／O接口实现。并行通信速度快，但传输线根数多，只适用于近距离（相距数公尺）的通信。2.一

2016-04-03 00:43:25 592

转载 dubbo解析导读

详情见：http://blog.csdn.net/jnqqls/article/details/43283957

2016-04-03 00:42:26 390

转载 Dubbo之旅--问题汇总

在工作和学习的过程中,具体运用Dubbo的时候遇到了很多的问题,这些问题一方面让自己进一步了解所谓的dubbo,另一方面通过对它们的总结和分析能够在工作中加倍的提高效率,接下来将会对遇到的和别人总结的一些常见的问题进行汇总. 1.增加提供服务版本号和消费服务版本号. 这个具体来说不算是一个问题,而是一种问题的解决方案,在我们的实际工作中会面

2016-04-03 00:38:56 726

转载搭建dubbo测试环境

这个测试环境的搭建基于上一篇dubbo源码编译的基础上开始的。（补充说明，在那边文章之后又重新编译了2.4.10的源码，这个测试是基于2.4.10版本的）注册中心的安装首先先安装一个zookeeper，至于zookeeper的安装这里就不多做介绍了，可自行查找。监控中心安装进入dubbo-simple/dubbo-monitor-simple/target目录，可以看到dubbo-

2016-04-01 16:46:31 896

转载 Maven中maven-source-plugin,maven-javadoc-plugin插件的使用：

摘要：今天领导说要把项目通过maven生产源码包和文档包并发布到自己的私服上，经过查看mavne官网发现有两个maven插件可以做到这些工作，一个是maven-source-plugin，另一个是maven-javadoc-plugin，现在记录一下！一：首先在你的项目的pom.xml文件中加入如下配置：[html] view plain copy

2016-03-25 10:40:42 1005

转载 Ehcache 整合Spring 使用页面、对象缓存

Ehcache在很多项目中都出现过，用法也比较简单。一般的加些配置就可以了，而且Ehcache可以对页面、对象、数据进行缓存，同时支持集群/分布式缓存。如果整合Spring、Hibernate也非常的简单，Spring对Ehcache的支持也非常好。EHCache支持内存和磁盘的缓存，支持LRU、LFU和FIFO多种淘汰算法，支持分布式的Cache，可以作为Hibernate的缓存插件。同时它也能

2016-03-24 18:21:14 471

转载基于Twemproxy的群集部署方案

本文描述的twemproxy基于nutcracker-0.2.4版本。 twemproxy是memcached 和redis的协议层面的代理，其提供的features如下：注：twemproxy不会增加redis的性能指标数据，据业界测算，使用twemproxy相比直接使用redis会带来~10%的性能下降。但是单个redis进程的内存管理能力有限。据测算，单个

2016-03-24 10:54:10 412

转载 Redis代理twemproxy安装,配置,使用

Twemproxy(nutcracker)是一个memcache、redis协议的轻量级代理。它的主要作用是减少后端缓存服务器的连接数；它支持作为多个后端服务器的代理，并对数据进行sharding分片存储到多个服务器；能够暂时移除后端不可用的服务器节点。（一）安装1、安装libtoolyum -y install libtool (解决运行autoconf 缺少 acloc

2016-03-24 10:53:45 618