- 博客(2479)
- 资源 (28)
- 收藏
- 关注
转载 warm创建docker集群:服务发现-etcd
不详细介绍swarm、docker的原理、架构通过Docker + Etcd + Swarm 搭建docker集群术语本文中用到的术语书名Docker节点(docker node):docker的运行环境,通常为物理机或者虚拟机测试环境2个docker主机的配置如下所示[root@localhost ~]# cat /etc/redhat-r
2016-08-12 18:11:44 965
转载 Docker的Web UI管理:shipyard+swarm-(手动)安装&试用
shipyard是对Docker进行管理的Web UI版。主要有以下特性: 1. 镜像管理 - 镜像的下载 2. 容器管理 - 容器的run、start、stop、rm 3. registry管理 - 增加、删除 4. swarm集群管理:因为shipyard使用了swarm,所以可以对swarm集群中的集群进行管理其中比较好玩的是:可以通过web ui在容
2016-08-12 18:07:23 876
转载 kubernetes实战-基于redis和docker的留言簿案例
一、介绍本案例基于Kubernetes和Docker,其中包括1、web前端2、redis master3、redis slave其中web前端通过javascript redis api和redis master交互kubernetes体系架构二、配置0、先决条件Kuberne
2016-08-12 18:04:14 440
转载 Docker集中化web界面管理平台shipyard
Shipyard(github)是建立在Docker集群管理工具Citadel之上的可以管理容器、主机等资源的web图形化工具。包括core和extension两个版本,core即shipyard主要是把多个 Docker host上的 containers 统一管理(支持跨越多个host),extension即shipyard-extensions添加了应用路由和负载均衡、集中化日志、部署等
2016-08-12 17:59:09 437
转载 apache kafka监控系列-KafkaOffsetMonitor
概览最近kafka server消息服务上线了,基于jmx指标参数也写到zabbix中了,但总觉得缺少点什么东西,可视化可操作的界面。zabbix中数据比较分散,不能集中看整个集群情况。或者一个cluster中broker列表,自己写web-console比较耗时耗力,用原型工具画了一些管理界面东西,关键自己也不前端方面技术,这方面比较薄弱。这不开源社区提供了kafka的web管理平台Ka
2016-08-12 17:13:14 395
转载 Docker集中化web界面管理平台shipyard
Shipyard(github)是建立在Docker集群管理工具Citadel之上的可以管理容器、主机等资源的web图形化工具。包括core和extension两个版本,core即shipyard主要是把多个 Docker host上的 containers 统一管理(支持跨越多个host),extension即shipyard-extensions添加了应用路由和负载均衡、集中化日志、部署等
2016-08-12 17:11:26 972
转载 Kubernetes初探
Kubernetes是Google开源的容器集群管理系统。它构建于docker技术之上,为容器化的应用提供资源调度、部署运行、服务发现、扩容缩容等整一套功能,本质上可看作是基于容器技术的mini-PaaS平台。本文旨在梳理Kubernetes的架构、概念及基本工作流,并且通过运行一个简单的示例应用来介绍如何使用Kubernetes。总体概览如下图所示是我初步阅读文档
2016-08-12 17:06:52 820
转载 基于Kubernetes构建Docker集群管理详解
Kubernetes是Google开源的容器集群管理系统,基于Docker构建一个容器的调度服务,提供资源调度、均衡容灾、服务注册、动态扩缩容等功能套件,目前最新版本为0.6.2。本文介绍如何基于CentOS7.0构建Kubernetes平台。作者简介:刘天斯,目前就职于腾讯-互动娱乐部(高级工程师),曾就职于天涯社区,担任架构师/系统管理员,热衷开源技术的研究,包括系统架构、运维开发
2016-08-12 15:06:48 1311
转载 如何使用Dockerfile构建镜像
Dockfile是一种被Docker程序解释的脚本,Dockerfile由一条一条的指令组成,每条指令对应Linux下面的一条命令。Docker程序将这些Dockerfile指令翻译真正的Linux命令。Dockerfile有自己书写格式和支持的命令,Docker程序解决这些命令间的依赖关系,类似于Makefile。Docker程序将读取Dockerfile,根据指令生成定制的image。相比im
2016-07-07 11:22:11 760
转载 Docker学习笔记--Docker常用命令
1. 查看docker信息(version、info)[plain] view plaincopy# 查看docker版本 $docker version # 显示docker系统的信息 $docker info 2. 对image的操作(search、pull、images、rmi、his
2016-07-07 11:21:05 681
转载 docker镜像相关命令
创建/登录:docker login (设置用户名,密码,邮箱,首次注册用户要激活邮箱,激活之后再用docker login 可以登录)从默认仓库下载镜像:sudo docker pull ubuntu:12.04等价于 sudo docker pull registry.hub.docker.com/ubuntu:12.04从其他仓库下载镜像(下载下来的镜像放在本地镜
2016-07-07 11:09:21 573
转载 docker 容器相关命令
启动容器:方法一:从镜像启动(docker run): 启动容器并执行shell,然后退出:docker run registry.intra.weibo.com/yushuang3/centos:v1 /bin/echo "hello world"启动容器并进行交互:docker run -t -i registry.intra.weibo.com/yushuang3/cen
2016-07-07 10:58:19 419
原创 centos7 elasticsearch 安装kaka-river 报错 "java.security.InvalidAlgorithmParameterException"
1,安装报错如下[hadoop@Slave1 elasticsearch1.7]$ bin/plugin -install kafka-river -url https://github.com/mariamhakobyan/elasticsearch-river-kafka/releases/download/v1.2.1/elasticsearch-river-kafka-1.2.
2016-07-04 17:06:48 1675
原创 CentOS7 docker安装
1,安装docker[hadoop@Slave2 Desktop]$ sudo yum install docker2,报错如下:Total 298 kB/s | 11 MB 00:36 Running transaction checkRunning transaction test
2016-07-04 17:01:12 934
转载 apache kafka监控系列-KafkaOffsetMonitor
概览最近kafka server消息服务上线了,基于jmx指标参数也写到zabbix中了,但总觉得缺少点什么东西,可视化可操作的界面。zabbix中数据比较分散,不能集中看整个集群情况。或者一个cluster中broker列表,自己写web-console比较耗时耗力,用原型工具画了一些管理界面东西,关键自己也不前端方面技术,这方面比较薄弱。这不开源社区提供了kafka的web管理平台Ka
2016-05-30 10:21:51 1077
转载 Mb(全称为Mbps)与MB(Mbytes)的区别
从事IDC数据中心业务多年,和无数的企业技术网管打过交道,在带宽单位的问题上,80%的技术都有典型误解。本人特针对此问题在QQ上详细阐明,希望对网管人员进行网络基础扫盲。 一般在书写带宽单位的时候,我们会写网络带宽是10M,很多网管误以为最大下载流量可以达到每秒下载10M的文件。其实是10/8 =1.25M。 原因:带宽的单位和硬盘的单位是不一样的。 容易误解的技术概念:Kb是否等于KB
2016-05-27 11:03:04 30501
转载 Hadoop集群上使用Lzo压缩
自从Hadoop集群搭建以来,我们一直使用的是Gzip进行压缩当时,我对gzip压缩过的文件和原始的log文件分别跑MapReduce测试,最终执行速度基本差不多而且Hadoop原生支持Gzip解压,所以,当时就直接采用了Gzip压缩的方式关于Lzo压缩,twitter有一篇文章,介绍的比较详细,见这里:Lzo压缩相比Gzip压缩,有如下特点:压缩解压的速度
2016-05-26 10:51:05 598
转载 flume-ng与flume-og对比
转载地址:http://www.ibm.com/developerworks/cn/data/library/bd-1404flumerevolution/index.html背景Cloudera 开发的分布式日志收集系统 Flume,是 Hadoop 周边组件之一。其可以实时的将分布在不同节点、机器上的日志收集到 hdfs 中。Flume 初始的发行版本目前被统称为 Flum
2016-05-26 10:48:52 803
转载 elasticsearch 使用事项
template的使用 刚开始的时候,每次实验都去改/etc/elasticsearch/elasticsearch.yml配置文件。事实上在template里修改settings更方便而且灵活!当然最主要的,还是调节里面的properties设定,合理的控制store和analyze了。 template设定也有多种方法。最简单的就是和存储数据一样POST上去。长期的办法,就是写成j
2016-05-22 00:48:56 2783
转载 elasticsearch 配置详解
elasticsearch的config文件夹里面有两个配置文件:elasticsearch.yml和logging.yml,第一个是es的基本配置文件,第二个是日志配置文件,es也是使用log4j来记录日志的,所以logging.yml里的设置按普通log4j配置文件来设置就行了。下面主要讲解下elasticsearch.yml这个文件中可配置的东西。 配置es的集群名称,默认是elas
2016-05-22 00:41:49 3185 1
转载 log4j集成flume-ng
flume-ng是时下比较流行的日志收集方案,log4j也是Java领域内常用的日志组件。那有什么简单的办法把他们结合起来呢?背景:通常,我们的应用程序已经在使用log4j来记录日志了,有一天我们的日志需要导入到其他地方(同时文本日志暂时也不想丢),用来分析(hdfs)或者检索(elasticsearch),我们就想到通过一个数据管道来做这件事情,flume似乎是一个不错的选择。
2016-05-22 00:41:01 1178
转载 基于Flume的野狗实时日志系统的演进和优化
在讲解日志架构之前,先介绍一下我们野狗的业务。我们的业务共有两类SDK,基于两种连接技术。第一类是WebSocket长连接或用Long polling模拟的长连接,另外一类是HTTP REST短连接。大家看这张图,野狗的业务架构分为两层,第一层是接入层,包括NodeJs接入层、Nginx Rest API接入层;第二层是核心业务处理层,包括数据处理和Push server同步推
2016-05-22 00:39:49 2359
转载 ELK(ElasticSearch, Logstash, Kibana)搭建实时日志分析平台
日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误。通常,日志被分散的储存不同的设备上。如果你管理数十上百台服务器,你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理,例如:开
2016-05-22 00:36:39 1158
转载 Dubbo基本原理机制(优秀推荐)
分布式服务框架:–高性能和透明化的RPC远程服务调用方案–SOA服务治理方案-Apache MINA 框架基于Reactor模型通信框架,基于tcp长连接Dubbo缺省协议采用单一长连接和NIO异步通讯,适合于小数据量大并发的服务调用,以及服务消费者机器数远大于服务提供者机器数的情况分析源代码,基本原理如下:client一个线程调用远程接口,生成一个唯一的ID(比如一段随机字符
2016-04-03 18:06:40 871
转载 Dubbo超时机制导致的雪崩连接
2014-11-09 categories:资料 author:iigadmin来源:http://www.taobaotest.com/blogs/2535BUG作者:许晓Bug标题:Dubbo超时机制导致的雪崩连接Bug影响:Dubbo服务提供者出现无法获取Dubbo服务处理线程异常,后端DB爆出拿不到数据库连接池,导致前端响应时间异常飙高,系统处理能力下
2016-04-03 01:44:51 26238
转载 Dubbo框架结合Zookeeper注册中心使用初探
【参考文章】http://www.cnblogs.com/Javame/p/3632473.html (灰常感谢这篇启蒙文章!!) 【文章有错,修改见删除线处。。】 一、基本概念 【Dubbo】Dubbo是一个来源于阿里巴巴的分布式服务框架,本质上是一个服务调用的东西,主要在分布式场景中使用。它是以服务者/消息者的模式在dubbo上注册的。
2016-04-03 01:43:19 5216
转载 dubbo入门
dubbo是阿里巴巴开源的单一长连接服务框架,底层通信采用nio框架,支持netty,mina,grizzly,默认是netty。对dubbo比较感兴趣的是:1. client端的线程模型是什么样的?传统的io client是请求应答模式,发送请求-->等待远程应答。dubbo底层是异步IO的,所有请求复用单一长连接,所以调用都不会阻在IO上,而是阻在Future超时wait上。2.
2016-04-03 01:42:03 1595
转载 dubbo协议下的单一长连接与多线程并发如何协同工作
上班的路上突然就冒出了这么个问题:既然在dubbo中描述消费者和提供者之间采用的是单一长连接,那么如果消费者端是高并发多线程模型的web应用,单一长连接如何解决多线程并发请求问题呢?其实如果不太了解socket或者多线程编程的相关知识,不太容易理解这个问题。传统的最简单的RPC方式,应该是为每次远程调用请求创建一个对应的线程,我们先不说这种方式的缺点。至少优点很明显,就是简单。简单体现在哪
2016-04-03 01:19:43 18254 5
转载 Dubbo基本原理机制
分布式服务框架:–高性能和透明化的RPC远程服务调用方案–SOA服务治理方案-Apache MINA 框架基于Reactor模型通信框架,基于tcp长连接Dubbo缺省协议采用单一长连接和NIO异步通讯,适合于小数据量大并发的服务调用,以及服务消费者机器数远大于服务提供者机器数的情况分析源代码,基本原理如下:client一个线程调用远程接口,生成一个唯一的ID(比如一段随机字符
2016-04-03 01:18:50 1413
转载 Dubbo学习过程、使用经验分享及实现原理简单介绍
原文见:http://blog.csdn.net/hzzhoushaoyu/article/details/43273099一、前言部门去年年中开始各种改造,第一步是模块服务化,这边初选dubbo试用在一些非重要模块上,慢慢引入到一些稍微重要的功能上,半年时间,学习过程及线上使用遇到的些问题在此总结下。整理这篇文章差不多花了两天半时间,请尊重劳动
2016-04-03 00:56:49 850
转载 阿里巴巴Dubbo实现的源码分析(优秀)
1. Dubbo概述Dubbo是阿里巴巴开源出来的一个分布式服务框架,致力于提供高性能和透明化的RPC远程服务调用方案,以及作为SOA服务治理的方案。它的核心功能包括:#remoting:远程通讯基础,提供对多种NIO框架抽象封装,包括“同步转异步”和“请求-响应”模式的信息交换方式。#Cluster: 服务框架核心,提供基于接口方法的远程过程调用,包括多协议支持
2016-04-03 00:45:44 519
转载 Alibaba Dubbo框架同步调用原理分析-2
关键代码:com.taobao.remoting.impl.DefaultClient.java//同步调用远程接口public Object invokeWithSync(Object appRequest, RequestControl control) throws RemotingException, InterruptedException {
2016-04-03 00:44:14 496
转载 Alibaba Dubbo框架同步调用原理分析
由于Dubbo底层采用Socket进行通信,自己对通信理理论也不是很清楚,所以顺便把通信的知识也学习一下。n 通信理论计算机与外界的信息交换称为通信。基本的通信方法有并行通信和串行通信两种。1.一组信息(通常是字节)的各位数据被同时传送的通信方法称为并行通信。并行通信依靠并行I/O接口实现。并行通信速度快,但传输线根数多,只适用于近距离(相距数公尺)的通信。2.一
2016-04-03 00:43:25 592
转载 Dubbo之旅--问题汇总
在工作和学习的过程中,具体运用Dubbo的时候遇到了很多的问题,这些问题一方面让自己进一步了解所谓的dubbo,另一方面通过对它们的总结和分析能够在工作中加倍的提高效率,接下来将会对遇到的和别人总结的一些常见的问题进行汇总. 1.增加提供服务版本号和消费服务版本号. 这个具体来说不算是一个问题,而是一种问题的解决方案,在我们的实际工作中会面
2016-04-03 00:38:56 726
转载 搭建dubbo测试环境
这个测试环境的搭建基于上一篇dubbo源码编译的基础上开始的。(补充说明,在那边文章之后又重新编译了2.4.10的源码,这个测试是基于2.4.10版本的)注册中心的安装首先先安装一个zookeeper,至于zookeeper的安装这里就不多做介绍了,可自行查找。监控中心安装进入dubbo-simple/dubbo-monitor-simple/target目录,可以看到dubbo-
2016-04-01 16:46:31 896
转载 Maven中maven-source-plugin,maven-javadoc-plugin插件的使用:
摘要:今天领导说要把项目通过maven生产源码包和文档包并发布到自己的私服上,经过查看mavne官网发现有两个maven插件可以做到这些工作,一个是maven-source-plugin,另一个是maven-javadoc-plugin,现在记录一下!一:首先在你的项目的pom.xml文件中加入如下配置:[html] view plain copy
2016-03-25 10:40:42 1005
转载 Ehcache 整合Spring 使用页面、对象缓存
Ehcache在很多项目中都出现过,用法也比较简单。一般的加些配置就可以了,而且Ehcache可以对页面、对象、数据进行缓存,同时支持集群/分布式缓存。如果整合Spring、Hibernate也非常的简单,Spring对Ehcache的支持也非常好。EHCache支持内存和磁盘的缓存,支持LRU、LFU和FIFO多种淘汰算法,支持分布式的Cache,可以作为Hibernate的缓存插件。同时它也能
2016-03-24 18:21:14 471
转载 基于Twemproxy的群集部署方案
本文描述的twemproxy基于nutcracker-0.2.4版本。 twemproxy是memcached 和redis的协议层面的代理,其提供的features如下: 注:twemproxy不会增加redis的性能指标数据,据业界测算,使用twemproxy相比直接使用redis会带来~10%的性能下降。 但是单个redis进程的内存管理能力有限。据测算,单个
2016-03-24 10:54:10 412
转载 Redis代理twemproxy安装,配置,使用
Twemproxy(nutcracker)是一个memcache、redis协议的轻量级代理。它的主要作用是减少后端缓存服务器的连接数;它支持作为多个后端服务器的代理,并对数据进行sharding分片存储到多个服务器;能够暂时移除后端不可用的服务器节点。(一)安装1、安装libtoolyum -y install libtool (解决运行autoconf 缺少 acloc
2016-03-24 10:53:45 618
struts2.0中文帮助手册.chm
2010-03-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人