自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(156)
  • 收藏
  • 关注

原创 配置 Docker 镜像下载的本地 mirror 服务

Docker registry 工具现在已经很好的支持了 mirror 功能,使用它可以配置一个本地的 mirror 服务,将 pull 过的镜像 cache 在本地,这样其它主机再次 pull 的时候会极大提高响应速度。使用 docker-compose 启动 registry mirror 服务以 ubuntu 为例,首先要安装 docker 和 docker-compose。

2015-07-16 19:28:20 3954

原创 Mesos 热门框架

framework 是实际干活的,可以理解为 mesos 上跑的 应用,需要先注册到 master 上。长期运行的服务Aurora利用 mesos 调度安排的任务,保证任务一直在运行。提供 REST 接口,客户端和 webUI(8081 端口)Marathon一个 PaaS 平台。保证任务一直在运行。如果停止了,会自动重启一个新的任务。

2015-06-30 17:33:12 2400

原创 Mesos 配置项解析

Mesos 的 配置项 可以通过启动时候传递参数或者配置目录下文件的方式给出(推荐方式,一目了然)。分为三种类型:通用项(master 和 slave 都支持),只有 master 支持的,以及只有 slave 支持的。通用项--ip=VALUE 监听的 IP 地址--firewall_rules=VALUE endpoint 防火墙规则,VALUE 可以是 JSON

2015-06-29 15:49:35 8398

原创 OpenStack 主要项目一览

OpenStack 发展十分迅速,目前已经包括了几十个正式项目,和大量的孵化项目,基本实现了 AWS 的大部分功能。业务项目基础架构层计算服务Compute (Nova):提供虚拟机形式的虚拟化Bare Metal (Ironic):提供裸机形式的虚拟化注:目前除了不完整的 Nova-Docker,还没有提供容器形式的虚拟化项目,Magnum 目前定位更多的

2015-06-28 18:57:08 4357

原创 浅析 hyper -- 新一代虚拟机技术?

容器技术的快速发展,挤占了传统虚拟机技术的很多地盘。没办法,在启动速度和运行性能上,容器实在有着太多的优势,而虚拟机技术的发展实在太过缓慢。现在,受到容器技术的刺激,,推出了启动速度可以跟容器媲美的下一代虚拟化技术 -- hyper。简介简单的说,hyper = Hypervisor + Kernel + Docker Image,本质上还是一种虚拟机技术。hype

2015-06-26 11:36:56 2900

原创 Pacemaker 安装与使用

Pacemaker 只做资源管理器(CRM),底下的消息系统采用 corosync。安装以 ubuntu 为例,sudo aptitude install -y pacemaker corosync配置 corosync修改 /etc/default/corosync 文件,修改 start=yes,否则服务脚本无法启动。

2015-06-25 16:31:03 5445

原创 Mesos 基本原理与架构

首先,Mesos 是一个资源调度框架,并非一整套完整的应用管理平台,本身是不能干活的。但是它可以比较容易的跟各种应用管理或者中间件平台整合,一起工作,提高资源使用效率。架构 master-slave 架构,master 使用 zookeeper 来做 HA。master 单独运行在管理节点上,slave 运行在各个计算任务节点上。各种具体任务的管理平台,即

2015-06-23 19:06:49 6509

原创 Mesos + Marathon 安装与使用

简介Mesos 是一个集群资源的调度工具,Apache 开源项目,它的定位是要做数据中心操作系统的内核。目前由 Mesosphere 公司维护,更多信息可以自行查阅 Mesos 项目地址或 Mesosphere。Marathon 是可以跟 Mesos 一起协作的一个 framework,用来运行持久性的应用。安装一共需要安装四种组件,mesos-master、mar

2015-06-19 20:24:41 13267

原创 云计算容器服务该何去何从

容器技术最近很火,各家项目纷纷提出自己的支持方案,比如 OpenStack、CF、Mesos,以及一堆本身就基于容器的平台方案,更是跟容器技术脱不开关系。这也直接导致了暧昧已久的 IaaS 和 PaaS 开始正面的跨界冲突。在 IaaS 看来,做 PaaS 无非就是提供几个应用模板嘛,原来虚机不好做,现在用 Docker,瞬间给你把服务整起来。更别提还有最近出来搅局的 hyper,

2015-06-18 11:24:44 2336 2

原创 一张图说明实践中该如何使用 git workflow

ref: https://github.com/xirong/my-git/blob/master/git-workflow-tutorial.md

2015-06-16 22:08:14 1507

原创 从 Kubernetes 谈容器网络

Pod首先,Kubernetes 中的基本单元是 Pod,而非 Docker 容器。Pod 是一组共享了下面资源的容器: 进程命名空间 网络命名空间 IPC 命名空间 UTS 命名空间简单的讲,一个 Pod 是一个小型的“虚拟机”,里面运行若干个不同的进程,每个进程实际上就是一个容器。Kubernetes 要干的事情是要把这些 Pod 给互相连接起来,是不是联想到了

2015-06-10 16:54:06 8686 2

原创 OpenStack Magnum 项目简介

背景Magnum 项目是 2014 年 11 月加入 OpenStack 的年轻项目,由 Rackspace主导发起,其定位是提供容器即服务(Container as a Service)的 API 框架,计划在 2015 年 10 月推出的 Liberty 版本时成熟。我们知道,目前 OpenStack 中 Nova 项目已经通过 nova-docker 的形式支持了 Docke

2015-06-02 16:27:27 2784

原创 网络大数据分析 -- 使用 ElasticSearch + LogStash + Kibana 来可视化网络流量

简介ELK 套装包括 ElasticSearch、LogStash 和 Kibana。 其中,ElasticSearch 是一个数据搜索引擎(基于 Apache Lucene)+分布式 NoSQL 数据库;LogStash 是一个消息采集转换器,类似 Syslog,可以接收包括日志消息在内的多种数据格式,然后进行格式转换,发送给后端继续处理;Kibana 是一个 Web 前段,带有强大

2015-04-28 10:35:03 17114 1

原创 IPsec 和 NAT 的冲突问题详解

背景IPsec 协议可以用来在 IP 层提供校验和加密等安全特性。基于 IPsec 的 VPN 已经成为 site-site 模式下高可靠连通方案的首选。NAT 最初是为了解决地址不足的问题,它将 NAT 网关后的实际地址隐藏起来,对外呈现一个外部地址,通常包括基于地址的映射(设备负责将内外地址进行对应和替换)和基于端口(通常外部为同一地址,根据到达端口的不同替换为内部不同的地址和

2015-03-25 17:04:42 14466 1

原创 netfilter/iptables 结构要点

四张表,每个表有若干链。filterINPUT(路由表决策后,到本机的进程)FORWARD(路由决策后,发现不是到本地)OUTPUT(本机进程发包,路由决策后准备发到外面)iptables -t TABLE 操作 CHAIN 序号 规则-m state --state ESTABLISHEDnatPREROUTING(路由之前)POS

2015-03-16 20:20:41 1556

原创 正确使用 Docker 技术的四项基本原则

Docker 大热之后,不少公司都试图搞清楚 Docker 能给自己的业务带来什么好处,有些团队甚至一股脑地把东西都往容器里面塞。其实,技术领域不存在能一劳永逸的“银弹”,要正确的使用 Docker 容器技术才能给自己带来好处,否则可能带来难以预料的后果。下面四条基本原则,在选择容器技术,而不是裸应用或者虚拟机的时候都应该先认真衡量下。1、是否需要支持分发。Do

2015-03-13 14:03:11 2172

原创 DevStack 安装 OpenStack 多节点(Juno+Neutron+ML2+VXLAN)

目前安装 OpenStack 常见的方案有 Redhat 的 RDO 和社区的 DevStack。当然,也可以手动安装,可以参考:github.com/ChaimaGhribi/OpenStack-Juno-Installation/blob/master/OpenStack-Juno-Installation.rst其中,RDO 功能比较强大,运行也稳定,可以在一个节点上通过一个

2015-03-06 15:42:47 5393 4

原创 Libvirt/KVM 中的网络模式

NAT默认方式。虚拟机获取一个私有 IP(例如 192.168.122.0/24 网段的),并通过本地主机的 NAT 访问外网。创建一个本地网桥 virbr0,包括两个端口:virbr0-nic 为网桥内部端口,vnet0 为虚拟机网关端口(192.168.122.1)。brctl showbridge name bridge id STP enabled inte

2015-02-13 15:34:50 15505 1

原创 C10K 问题引发的技术变革

C10K 问题服务器同时支持并发 10K 量级的连接,这些连接可能是保持存活状态的。解决这一问题,思路主要有两个方面,一个是对于每个连接处理分配一个独立的进程/线程;另一个思路是用同一进程/线程来同时处理若干连接。每个进程/线程处理一个连接这一思路最为直接。但是由于申请进程/线程会占用相当可观的系统资源,同时对于多进程/线程的管理会对系统造成压力,因此这种方案不具备

2015-01-26 14:30:34 14787 3

原创 网络流量监测技术概述

监控指标延迟(Latency)丢包率(Packet Loss)吞吐量(Throughput)链路使用率(Link Utilization)可用性(Availability)测量手段主动 vs 被动单点 vs 多点网络层 vs 应用层镜像 vs 采样主机端 vs 交换节点流量抓取协议镜像/SPAN把被监控端口的流量复制一份,发送到特定目的端口。某些硬件

2015-01-25 15:20:03 8997

原创 数据中心核心网络技术一览

主机内二层转发(即服务器内虚机间转发)基于本地软件交换机交换VMWare 方案,通过服务器上软件交换机(如 Linux 网桥、OpenvSwitch)来实现。主要问题是对服务器性能有消耗。802.1Qbh BPE(Bridging Port Extend)已终止。Cisco 主导,数据层面为 PE(Port Extender)。802.1BRCisc

2015-01-21 13:18:58 5111

原创 OpenvSwitch 的 Open Virtual Network(OVN)项目

几天前(1 月 13 日),OpenvSwitch 团队正式宣布了 OVN(Open Virtual Network )项目。正文参考 Open Virtual Network Annoucement。这个项目挺有意思,简单谈下我的看法。众所周知,OpenvSwitch 已经是现在数据中心里软件交换机的事实标准。由于硬件交换设备的成本一直降不下来,而且用硬件交换设备去延伸管控服

2015-01-19 14:11:47 4403

原创 网络技术正当革命时

计算机网络自诞生之后,面向的应用场景主要包括局域网、广域网两大类。在各种环境中,通过层级结构将局域网连接起来,形成一个网络的网络,即所谓的互联网。无论什么网络,唯一的事实标准就是 TCP/IP 协议栈以及围绕这个协议栈的各种管理和应用技术,即便后来推出的 IPv6、CCN、SDN 等网络技术,都没有完全超出这个范畴。所以,看起来基于 TCP/IP 的修修补补在相当长的一段时间里满足了各种场景下对于

2015-01-13 23:11:47 1362

原创 Docker 使用 OpenvSwitch 网桥

Docker 默认使用的是 Linux 自带的网桥实现,实际上,OpenvSwitch 项目作为一个成熟的虚拟交换机实现,具备更丰富的功能。个人认为,将来 Docker 必然会选择 OpenvSwitch 作为其默认网桥实现。有兴趣的同学欢迎通过如下的步骤来尝鲜。环境在 Ubuntu 14.04 系统中进行测试。操作流程也适用于 RedHat/CentOS 系列系统,但少数命令和配

2015-01-09 15:23:07 21322 1

原创 产品经理 vs PhD

产品经理带团队做产品的过程,跟博士生带课题写论文其实很像。产品调研市场状况和用户需求,写 PRD、BRD、MRD;科研课题要有分析应用前景和技术趋势,写立项申请。产品要有同类产品分析,写好研究报告;论文要做相关工作综述,写好背景知识。做产品前要定好 feature,根据资源定好范围;写论文前要设计创新点,根据篇幅安排内容。产品正式上线前要先做个预研 demo,最好能小规模用户试用下;课题成

2015-01-08 20:06:50 2266

原创 一张图比较 Docker 和 Git:镜像管理设计理念

Docker 的镜像管理设计中大量借鉴了 Git 的理念。下面这张图将对两者的核心概念和操作进行比较,有助于大家快速掌握管理 Docker 镜像的正确方式。

2014-12-15 14:58:26 3773 1

原创 OpenStack 网络项目(Neutron)的历史、现状与未来

历史OpenStack 作为最热门的云计算开源项目,自 2010 年 10 月发布第一个版本 Austin 以来,到 2014 年 10 月 发布 Juno 版本,已经经历了 10 个主要版本。基本稳定为每年 4 月和 10 月各发布一次大的版本更新。网络功能实现是自第二个版本,即 Bexar 版本引入,最初作为 Nova 项目的一个功能 Nova-Network,仅支持所有用户共

2014-12-07 17:19:03 3774

原创 查看 Docker 容器的名字空间

熟悉 Linux 技术的人都知道,容器只是利用名字空间进行隔离的进程而已,Docker 在容器实现上也是利用了 Linux 自身的技术。有时候,我们需要在宿主机上对容器内进行一些操作,当然,这种绕过 Docker 的操作方式并不推荐。如果你使用的是比较新的 Docker 版本,会尴尬的发现,直接使用系统命令,会无法访问到容器名字空间。这里,首先介绍下 ip netns 系列

2014-12-03 13:40:14 11775

原创 OpenStack HeatClient 源码分析

已经完成,可以从 http://yeasy.gitbooks.io/openstack_code_heatclient 在线阅读。

2014-11-27 19:00:10 1365

原创 支持 Markdown 的网页 slides 工具总结

支持 Markdown 的网页 slides 工具总结在注重效率的今天,很多人都不喜欢制作 PPT,特别是技术人员。流行的 PPT 制作工具往往需要用户关注太多内容无关的细节。而像 TeX 这样强大的系统又似乎太过于重量级了。现在越来越流行制作网页格式的 slides,并通过浏览器来播放和发布。 这样做有很多优点:包括跨平台(特别在移动端)、无需特殊软件支持、分享方便、轻量级等。

2014-11-25 13:45:09 7583

原创 OpenStack Heat 源码分析

目前还在进行中,开源在 https://github.com/yeasy/openstack_code_Heat,欢迎大家参与完善。

2014-10-30 20:21:45 2943

翻译 云计算时代应用设计十二要素

云计算时代,设计和应用软件应用应该注意哪些因素?Docker 为什么最近这么火?Heroku平台提出了推荐的应用风格,对我们设计PaaS和SaaS应用都有很好的参考意义。代码一个代码库,使用版本管理,形成多个部署。依赖显式定义,隔离不同依赖。配置在环境变量中保存配置。后端服务后端服务作为可挂载资源使用。生命周期

2014-10-25 22:13:50 2499

原创 Docker 1.3 发布

Docker 1.3 发布Docker 1.3 已经正式发布,新的特性包括镜像签名、进程注入、新的创建和运行容器命令、安全选项和 Mac OS 上进行目录共享。特别是针对安全方面的改进,成为本地发布的亮点。镜像签名支持对镜像的发布者和镜像文件进行验证。进程注入除了通过 nsinit 和 nsenter 的方式查看容器内应用之外,可以使用更方便的 docker e

2014-10-17 11:41:30 1529

原创 Dockerfile指令总结

指令的一般格式为INSTRUCTION arguments,指令包括FROM、MAINTAINER、RUN等。FROM格式为FROM 或FROM :。第一条指令必须为FROM指令。并且,如果在同一个Dockerfile中创建多个镜像时,可以使用多个FROM指令(每个镜像一次)。MAINTAINER格式为MAINTAINER ,指定维护者信息。RUN格式为RUN 或RUN

2014-10-13 11:09:46 13381

原创 IO模式——同步(阻塞、非阻塞)、异步

不少人把同步、异步、阻塞、非阻塞放到一起讨论,很多时候难以区分。这里从根上剖析下该怎么看待这几个概念。首先,异步和同步是相对的,而同步情况下又有阻塞和非阻塞之分。异步很容易理解。当用户程序需要进行IO的时候,发出IO请求,然后就立刻返回,可以继续做其它事情。例如,从网络收包,当包抵达后放到内核某个缓存区,并且从内核空间放置到程序需要的用户空间后(一种是直接复

2014-10-10 21:54:16 1474

原创 也谈并发和并行

并发(concurrency)和并行(parallelism)都是常见的概念,并且很多时候并不容易进行区分,甚至被用作表达同样的概念。网上最流行的解释,并发是一个人吃三个馒头;并行是三个人吃三个馒头。这样理解简单概况了主要区别,但其实并不是太完整。从对象的角度,并发是一种任务分配模式,指的是同一个处理器被调度处理不同的任务,这些任务往往都是同一性质的任务。例如浏览器打开多个页面

2014-10-09 15:01:21 1379

原创 网络虚拟化基础协议之Geneve

网络虚拟化最基础的技术莫过于分层(Overlay、Underlay),要实现分层有两种手段,一个是映射(Mapping),一个是封装(Encapsulation)。映射,主要思路是转发时替换报文语义,如何替换将需要设备进行查询。封装,则是把需要的报文语义添加到网包中,处理的时候一层层的解封装即可,尽量对设备透明。不少协议都实现了封装的部分或完整功能,包括IP-in-IP

2014-10-09 11:33:38 8251

原创 Docker本地仓库的创建方法

Docker支持采用仓库(本处指的是registry)来支持镜像的分发和更新管理。这极大的便利了用户。官方提供了dockerhub网站来作为一个公开的集中仓库。然而,本地访问dockerhub速度往往很慢,并且很多时候我们需要一个本地的私有仓库只供网内使用。关于如何创建和使用本地仓库,其实已经有很多文章介绍了。但是这些文章要么内容已经过时,要么给出了错误的配置,导致无法正常创建仓库。

2014-09-24 13:22:26 12076 2

原创 OpenStack节点地址改变

正常在生产环境中,各个节点会做HA,可以用域名机制来管理节点。但是有时候如果用了

2014-09-24 10:42:52 1413

原创 Docker的安全性

现在讨论Docker安全性的话题颇多,主要集中在对使用容器方式的隔离性、攻击防护性等方面。往往与虚拟机方式进行比较。首先,从安全性上看,Docker容器的安全性比不上虚拟机,这点是毋庸置疑的。容器内的应用可以直接访问到主机系统内核;而虚拟机中的应用首先要访问到虚拟机的操作系统,然后在经过hypervisor层才能访问到外部的系统。而且,虚拟机方式在生产环境中经过诸多检验,更加成熟一

2014-09-23 13:24:51 1950

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除