云计算
feng1456
热爱技术,勤于学习,乐于分享!
展开
-
vMWare - Introduction to the Software-Defined Data Center
The software-defined data center (SDDC) architecture enables a fully automated, zero-downtime infrastructure for any application, and any hardware, now and in the future.An Evolutionary Journey with转载 2015-06-29 19:11:37 · 776 阅读 · 0 评论 -
Cloud Design Pattern - Runtime Reconfiguration Pattern(运行时配置)
1.前言上一篇我们讨论了云计算设计模式之重试模式,了解了如何封装一个服务来负责处理瞬时连接失败时的问题.这一篇,我们来讨论下如何在系统运行时对系统进行配置而不需要重启系统,从而提升系统的高可用性.2.概念通常系统配置都是在一个系统配置文件中(app.config/web.config),在系统启动后,配置文件里面的内容会被加载到系统的某个配置对象中,如果修改配置而不重启系统,那么配置是原创 2015-11-16 15:06:16 · 1072 阅读 · 0 评论 -
Cloud Design Pattern - Sharding Pattern(分片模式) [上篇]
1.前言上一篇我们讨论了云计算设计模式之调度代理主管模式,了解了在多任务处理系统中,如何设计出支持内部异常处理,外部资源访问重试机制的架构.这一篇,我们讨论下数据处理的分片切割模式.该模式的目标是提升系统性能及扩展性,尤其是针对大数据处理方面,能够在不使用Hadoop或者Spark方面最大限度地提升数据处理效率.2.问题存储在单一服务器上的数据会受到以下约束:1)存储空间.大规模的原创 2015-11-23 22:05:36 · 996 阅读 · 0 评论 -
Cloud Design Pattern - Scheduler Agent Supervisor (调度代理主管模式)
1.前言上一篇我们讨论了云计算设计模式之运行时配置模式,了解了如何设计一个支持运行时修改系统配置的系统架构,从而提升系统高可用性.这一篇我们讨论下分布式任务处理系统中的任务调度,监测,异常处理等问题。2.概念调度主管模式需要处理的事项包括:1)协调分布式环境中的服务(Service)或者资源(Resource)协同工作;2)能够独立处理任务(Job)执行过程中的异常;3)当原创 2015-11-20 11:20:38 · 1250 阅读 · 0 评论 -
Cloud Design Pattern - Queue-Based Load Leveling(队列负载均衡)
1.前言上一篇我们讨论了云计算设计模式之优先级队列模式,介绍了在消息队列中,按照消息的优先级来决定消息的被处理顺序.这一篇我们来讨论下如何基于队列的负载均衡模式.原创 2015-11-13 14:54:58 · 1189 阅读 · 0 评论 -
Cloud Design Pattern - Sharding Pattern(分片模式) [下篇]
6.需要考虑的问题分片模式需要考虑以下几点:1) 分片机制是对其他形式的分区机制的一种补充,比如垂直分区和函数分区.举例来说,一个分片的数据可能是已经被垂直分区后的数据,多分片的数据可以作为函数分区的一种实现.这个理解起来可能比较抽象,了解垂直分区和函数分区,请点击:Data Partitioning Guidance2) 确保操作各个分片的负载是均衡的,即对于各个分片的操作的I/原创 2015-11-29 19:21:54 · 754 阅读 · 0 评论 -
Cloud Design Pattern - Static Content Hosting Pattern(静态内容托管)
1.前言上一篇我们讨论了云计算设计模式之数据分片模式,介绍了如何根据应用的主要查询需求合理地设计数据分区存储方案,从而有效地提升系统的性能和扩展性.这一篇也是属于提升系统性能有关的,那就是静态内容托管.2.概念顾名思义,静态内容托管就是把动态内容静态化.网页通常都是动态页面,页面加载需要从数据存储中查询数据并加载到前端,然后呈现给用户.然而,云端的应用往往并发量很大,给数据库查询带来很原创 2015-11-29 20:02:30 · 1125 阅读 · 0 评论 -
Cloud Design Pattern - Throttling Pattern(节流模式)
1.前言上一篇我们讨论了云计算设计模式之静态内容托管模式,了解如何使用存储服务来实现静态内容托管,提升网站性能.这一篇我们继续讨论如何提升性能的话题,这一篇我们要讨论的是云计算的节流模式.2.概念原创 2015-11-30 10:24:09 · 1212 阅读 · 0 评论 -
Openstack 01 - Architect Design
1.发展历史Openstack 是2010年由美国国家航天局(NASA)和Rackspace合作研发的项目,以Apache许可证开源.当年Openstack发布了第一个版本Austin,这是第一个开源的云计算操作系统(也可称之为开源的云计算平台).微软也在当年表示支持Openstack和Windows Server 2008 R2 的整合.2011年Openstack开始支持Hyper-V原创 2015-12-01 11:24:36 · 1182 阅读 · 0 评论 -
Cloud Design Pattern - Valet Key Pattern
1.前言前一篇我们讨论了云计算设计模式之节流模式,了解了如何通过设定系统的资源消耗阀值来控制资源使用率及如何快速弹性扩容.这一篇我们了解下如何控制对应用程序依赖但不受原创 2015-11-30 16:51:23 · 1354 阅读 · 0 评论 -
Openstack 02 - Keystone
1.前言上一篇我们介绍了Openstack的整体架构,了解了Openstack包含的服务及服务之间的关系.从这一篇开始我们深入到Openstack各个服务(模块)内部,深入了解下Openstack的设计及通信方式,从而更加深入地了解Openstack的设计.2.KeystoneKeystone是openstack的identity service,主要提供两种服务:1) 用户、角色原创 2015-12-02 15:16:35 · 1234 阅读 · 0 评论 -
Golang Basic - select and channel usage
今天学习了一下Golang 的 tag,select 和 channel ,记录在此!1.tag 的作用package mainimport ( "encoding/json" "fmt" "reflect")type Accout struct { UserId int `json:"user_id" bson:"user_id"` UserName string原创 2016-04-25 13:24:37 · 5639 阅读 · 0 评论 -
Golang - Mysql ang Http Basic fucntions
今天总结了一些Golang的基本用法,作为记录在此!package mainimport ( "database/sql" "fmt" "io/ioutil" "log" _ "mysql-master/mysql-master" "net/http" "strings")func httpGet(url string) { resp, err := http.Get(原创 2016-04-20 00:13:01 · 4592 阅读 · 0 评论 -
Go-restful Usage
1.前言Go 语言是一种表达能力非常强大的语言。目前有一个Golang实现的restful webservice 包,go-restful使用起来很简单。2.Demo例子实现了一个查询操作,更详细的Demo见这里:https://github.com/emicklei/go-restful/blob/master/examples/restful-user-resource.gopackage m原创 2016-06-29 17:01:30 · 3738 阅读 · 0 评论 -
Ubnutu 部署 k8s 的一个坑
1.背景在Ubnutu14.04 上部署K8S过程大致如下:1.执行apt-get update 和 apt-upgrade2.配置apt的代理(公司网络通过代理上网)3.通过apt-get install docker.io方式安装docker4.编译k8s,以本地模式启动2.问题发现无法正常启动,无法执行kubectl 命令,日志中包含的错误信息为:某个资源在Busy状态,并且无法删除。最终跟原创 2016-06-29 23:30:20 · 2900 阅读 · 2 评论 -
kubernetes scheduler 模块分析
1.背景kubernetes 社区十分火热,版本迭代非常快,本分析基于社区Kubernetes master版本。2.scheduler模块介绍调度器是kubernetes中独特而又重要的一个模块。独特是因为在kubernetes体系中,scheduler是唯一一个以plugin形式存在的模块,重要是因为kubernetes中最重要的基础单元pod的部署是通过scheduler完成的。正常情形下s原创 2016-08-05 23:15:48 · 4203 阅读 · 0 评论 -
World Runs on Kubernetes
1.前言Kubernetes 最近发布了1.5版本,很多科技媒体称之为"震撼发布"。从开发者的反馈来看,Kubernetes 确实备受亲睐,越来越多的应用可以在这个平台上运行,解决了部署、升级、运维等诸多方面的问题。今天就介绍下目前几个非常有前瞻性的项目。从这些项目中,我们或许能受到很多启发。2.项目介绍Openstack Kolla该项目是Openstack众多子项目的其中一个,旨在通过容器化的原创 2016-12-26 22:52:03 · 817 阅读 · 0 评论 -
Cloud Design Pattern - Materialized View Pattern(物化视图模式)
1.前言上一篇我们讨论了云计算设计模式之领导选拔模式,讨论了分布式环境中的多任务处理系统如何协调任务执行顺序和共享资源调度.这一篇我们来讨论下通过数据预处理来提升数据查询性能的模式,这种方式与之前我们提到的索引表模式的目的是一致的,都是优化数据查询性能.2.概念在SQL Server 数据库中,数据读取存在逻辑读和物理读的概念.逻辑读是从缓存中进行读取,而物理读是从硬盘上读取.通常展示原创 2015-11-13 09:04:30 · 1137 阅读 · 0 评论 -
Cloud Design Pattern - Priority Queue Pattern(优先级队列模式)
1.前言上一篇我们讨论了云计算设计模式之管道和过滤器模式 了解了如何使用消息队列来协调多任务系统的执行。这一篇,我们继续深入讨论消息队列的使用,即消息队列中的消息是带有优先级别的,优先级别高的先处理,优先级别低的后处理。2.概念带优先级的消息的处理顺序与正常的顺序会有所不同。在向队列中添加消息时可用指定消息的优先级别,消息队列能够根据优先级重新调整处理顺序。在不支持优先级的原创 2015-11-13 14:27:03 · 1115 阅读 · 0 评论 -
Cloud Design Pattern - Retry Pattern(重试模式)
1.前言在上一篇云计算设计模式之基于消息队列的负载均衡模式中,我们讨论了消息队列对于高并发应用的巨大作用.这一篇,我们讨论下重试模式.2.概念准确来说,重试模式只是一个简单的技巧而已.在连接网络、服务的过程中很有可能出现瞬时错误,那么在连接的时候,设计一种内部重试机制就很有必要了.在一定的时间内重试成功,认为连接是成功的,一定时间内重试失败,才认为失败.应用应该在连接网络、服务原创 2015-11-13 15:13:14 · 1179 阅读 · 0 评论 -
存储虚拟化概述
存储虚拟化概述一、基本概念 存储虚拟化(Storage Virtualization)最通俗的理解就是对存储硬件资源进行抽象化表现。典型的虚拟化包括如下一些情况:屏蔽系统的复杂性,增加或集成新的功能,仿真、整合或分解现有的服务功能等。虚拟化是作用在一个或者多个实体上的,而这些实体则是用来提供存储资源或/及服务的。 虚拟化技术到底是什么,其实广义上来说,就是通原创 2015-07-07 20:50:45 · 12169 阅读 · 2 评论 -
Ubnutu14 安装mysql
ubuntu14上安装mysql非常简单只需要几条命令就可以完成1.sudo apt-get install mysql-server2.apt-get isntall mysql-client3.sudo apt-get install libmysqlclient-dev安装过程中会提示设置密码什么的,注意设置了不要忘了,安装完成之后可以使用如下命令来检查是否安装成功:su原创 2015-07-31 12:52:41 · 655 阅读 · 0 评论 -
PowerShell 管理VMWare
VMWare 提供了一套以VCenter为核心的虚拟化解决方案.操作VCenter的方式有很多,最常见的就是使用vSphere直接手动操作VCenter,实现创建DataCenter,Datastore,Cluster及Host/VM 等,这些操作其实都提供了相应的API供应用程序调用。API主要分为三类:检索,创建和删除,监测。上图就是vSphere的客户端,这里我们看到的是主机和群原创 2015-07-23 15:11:21 · 3723 阅读 · 0 评论 -
体验 Docker
1. 环境检查1) Ubnutu必须是64bit,并且内核版本必须大于或者等于3.1.02. 安装1) 更新Ubnutu软件库2) 安装Docker安装后,Docker已经启动3) 检查安装1) 检查Docker进程是否已经启动2) 检查Docker的版本3. 使用原创 2015-08-30 10:24:21 · 627 阅读 · 0 评论 -
Cloud Design Pattern - CQRS Pattern (读写隔离模式)
1.前言上一篇我们讨论了云计算设计模式之服务聚合,这一篇我们来讨论下云计算设计模式之读写分离模式.在传统的应用中我们通过DBContext操作数据库都是在同一个Repository中对数据执行CRUD操作.我们都知道,数据库读写操作的I/O效率有较大差异的.发送到数据库的读写请求,会因为某些耗时的写入操作影响读取数据操作的效率,从而降低了系统吞吐量.另外,从安全的角度来说,读写采用同一个接原创 2015-11-07 15:05:02 · 1351 阅读 · 0 评论 -
Cloud Design Pattern - Circuit Breaker Pattern(断路器模式)
1.前言上一篇,我们讲了云计算设计模式之缓存设计模式,这一篇我们来聊聊云计算设计模式之断路器模式.断路器是一个电路中的元器件,作用是当电路中出现了短路或者瞬间电流过大等问题,断路器直接跳闸,当修复电路中的问题后,必须手动拨动断路器的开关到联通状态,整个电路才恢复正常通电。在云环境中,通常都是微服务的架构,各个服务往往运行在不同的进程中,而且很可能是不同的服务器,甚至是不同的数据中心,服务调用通原创 2015-11-05 20:39:07 · 1669 阅读 · 0 评论 -
Cloud Design Pattern - Compensating Transaction(事务修正)
1.前言上一篇我们讲到了云计算设计模式之断路器模式 今天我们来聊聊云计算设计模式之Compensating Transaction Pattern(事务修正模式).关于这个模式的中文翻译,网上有很多,有的翻译成补偿模式,个人认为也没有什么不妥,个人在阅读了官方材料后,结合模式的特点,翻译成事务修正模式.个人认为这个模式是云计算设计模式中,与云环境结合最紧密的模式,也是构建大型分布式应用最原创 2015-11-06 13:16:09 · 1111 阅读 · 0 评论 -
Cloud Design Pattern - Compute Resource Consolidation(服务聚合)
1.前言上一篇中讲到竞争消费模式,这一篇我们讨论下计算资源整合模式.在如今流行的软件设计架构中,微服务架构备受推崇.微服务架构是单一职责原则在架构方面的具体实践,这种架构模式的原则是将服务拆分成单个的独立单元,明确服务的边界,尽量减小微服务之间的耦合,这种做法是完全符合面向对象设计的基本原则的,因为各个服务都是可以独立替换的,整个系统的架构变得更加松散,扩展性更强,完全符合面向新增开放,面原创 2015-11-06 22:14:49 · 1130 阅读 · 0 评论 -
Cloud Design Pattern - Competing Consumers(竞争消费模式)
1.前言在上一篇中我们讲到云计算设计模式之事务修正,我们分析了云环境中的事务的特点,遇到的问题及解决方案.这一篇我们聊聊竞争消费模式.在云环境中,一个服务可能接收到过多的请求,导致服务延迟,甚至崩溃.这时候就需要更多的负载来异步完成请求的处理,这时候每一个负载相当于一个请求的消费者,各个消费者之间是竞争关系。这也就是竞争消费模式.2.概念基于消息的中间件是分布式系统中经常使用的组件原创 2015-11-06 15:48:13 · 1171 阅读 · 0 评论 -
Cloud Design Pattern - External Configuration Store(配置外部集中)
1.前言每个系统都会有一些配置信息,比如数据库的连接字符串,日志文件路径等等.原创 2015-11-08 10:21:30 · 815 阅读 · 0 评论 -
Cloud Design Pattern - Event Sourcing Pattern(事件溯源模式)
1.前言上一篇我们讨论了云计算设计模式之读写隔离模式,讨论了在读写隔离在云计算架构的设计,这一篇要讨论的设计模式和上一篇有一点关联,即Event Sourcing(事件溯源)模式.我看到网上有作者也在总结归纳这两个模式,并且讨论了二者之间的关联,大多数博客里面都将这二者一起来讨论,个人认为确实能起到承上启下,融会贯通的效果.2.概念传统的应用中,数据库里存的是Domain Model的原创 2015-11-07 23:09:06 · 1997 阅读 · 0 评论 -
Cloud Design Pattern - Federated Identity Pattern(联合身份模式)
1.前言传统应用通常都是多个模块运行在一个进程中,而随着云计算架构的不断演化,应用程序的各个模块以微服务的架构运行在多个进程中运行.最常见的就是ASP.NET WebApi,以WebApi构建的服务可以支持PC端,手机端,PAD端及其他任意形式的数据访问请求,那么api请求的认证如何来做呢?ASP.NET 推出了基于OWIN的OAuth2认证与授权中间件,把认证与授权抽象成一个独立的服务,原创 2015-11-08 18:14:18 · 1110 阅读 · 0 评论 -
Cloud Design Pattern - Gatekeeper Pattern(守门人模式)
1.前言上一篇我们讨论了云计算设计模式之联合身份模式,介绍了云计算环境下的多租户应用的身份认证与授权的问题.这一篇我们将深入到应用程序内部,看如何创建安全的请求,尤其是针对敏感信息的请求.2.概念在REST API 的时代,服务暴露出的都是一些EndPoint,调用者通过向这个EndPoint发起请求来调用,正常情形下,收到请求之后,我们的应用程序就开始响应请求了.然而,应用程序应该防原创 2015-11-09 11:27:57 · 1343 阅读 · 0 评论 -
Cloud Design Pattern - Health Endpoint Monitoring(健康端点监测)
1.前言上一篇我们讨论了云计算设计模式之守门人模式,介绍了通过在服务与客户端之间通过代理来实现请求的过滤的方式来提升系统安全性.这一篇我们讨论下服务的监测的问题.对于任何一个服务来说,监测都是必要的,不仅仅是在服务出问题的时候,我们需要根据监测信息及时追踪问题根源,而且需要跟踪监测信息评估系统性能,做更多的优化工作.2.概念无论是我们自己开发的服务,还是依赖的第三方服务,我们都需要一种原创 2015-11-10 08:58:16 · 1644 阅读 · 0 评论 -
Cloud Design Pattern - Index Table Pattern(索引表模式)
1.前言上一篇我们讨论了云计算设计模式之健康端点监测模式,介绍了如何对云上的App的可用性及性能进行监测,这一篇我们将讨论如何通过优化数据查询来优化云上的App性能.2.概念关系数据库中的索引的概念大家都非常熟悉.在SQL Server 数据库中,主键默认就是聚集索引.我们都知道每一个数据表只能由一个聚集索引,但可以建立多个非聚集索引.当查询数据表的时候,不是根据主键进行查询,那么根据原创 2015-11-11 08:57:42 · 1105 阅读 · 0 评论 -
Cloud Design Pattern - Leader Election Pattern(领导选拔模式)
1.前言上一篇我们讨论了云计算设计模式之索引表模式,了解了Azure Table Storage 存储的机制及如何在云应用中应用这种模式来提升系统的性能.这一篇我们来讨论下在云端的分布式应用中,我们如何来协调不同的Task的运作.2.概念在同时运行的多个Task中,如果没有一个协调者角色的参与往往会发生抢占共享资源而造成死锁,原创 2015-11-11 11:44:05 · 946 阅读 · 0 评论 -
Nginx 入门指南
Nginx 入门指南安装部署针对CentOS7,安装部署如下步骤如下:Repo创建/etc/yum.repos.d/nginx.repo,并写入如下内容[nginx]name=nginx repobaseurl=http://nginx.org/packages/centos/$releasever/$basearch/gpgcheck=0enabled=1这里的$releasever使原创 2017-07-15 17:24:28 · 812 阅读 · 0 评论