- 博客(41)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 Spark 编程起步
Spark是一个开源的分布式计算系统，提供快速的数据分析功能。 官网地址 http://www.spark-project.org/ 据说性能高出hadoop很多(个人理解主要是因为两点：内存和cache)，而且相对更加简单，灵活。非常适合需要反复迭代的计算，比如机器学习。RDDstrack lineage information that can be used to efficientl
2016-01-09 15:53:11
636
原创 Phoenix on HBase
（一）概要Apache Phoenix是基于BSD许可开源的一个Java中间层，可以让开发者在ApacheHBase上执行SQL查询。Apache Phoenix主要特性：嵌入式的JDBC驱动，实现了大部分的java.sql接口，包括元数据API 可以通过多部行键或是键/值单元对列进行建模 完善的查询支持，可以使用多个谓词以及优化的扫描键 DDL支持：通过CREATE TABLE
2016-01-09 15:53:09
940
原创 CDH Parcels 离线安装
Installation Path A - Automated Installation by ClouderaManager要求所有机器都能连网，而且外国网站不太稳定。一旦失败，重装非常痛苦。Installation PathB - Manual Installation Using Cloudera ManagerPackages设置RedHat/CentOS或者Debia
2016-01-09 15:53:07
4599
原创 Hortonworks HDP Ambari自动安装
（一）前提条件设置HOST的FQDN名称SSH免密码禁用IPv6关闭防火墙关闭SELinux设置NTP（二）安装步骤# cd /etc/yum.repos.d/# wget http://public-repo-1.hortonworks.com/ambari/centos6/1.x/updates/1.6.0/ambari.repo# yum clean all
2016-01-09 15:53:04
1179
原创 初识Kafka
（一）Kafka设计背景及原因Kafka最初被LinkedIn设计来处理活动流数据(activitystream data)和系统处理数据(operaitonal data)。活动流数据是指像pageview、用户搜索关键词等等通过用户操作产生的数据，它的常见场景有时间线(timeline)即新鲜事提醒、用户浏览量搜索量排名等等。系统处理数据是服务器性能相关的数据，如CPU、负载、用户请
2016-01-09 15:53:02
1134
1
原创 Trident Storm 批处理流…
本文继《Strom流计算编程模型》之后继续介绍Storm上层高级批处理抽象Trident。（五）高级抽象1、Trident StateStorm是对实时流计算的分布式处理框架，在对Stream中封装的Tuple处理过程中涉及到很多中间过程对Tuple进行存储、查询、更新、聚合、分组等变化，Storm的高级抽象Trident将这些变化封装为TridenState对象，使得Trident可以
2016-01-09 15:52:59
1830
原创 Storm 流计算编程模型
（一）基础介绍随着互联网的更进一步发展，从Portal信息浏览型到Search信息搜索型到SNS关系交互传递型，以及电子商务、互联网旅游生活产品等将生活中的流通环节在线化。对效率的要求让大家对于实时性的要求进一步提升，而信息的交互和沟通正在从点对点往信息链甚至信息网的方向发展，这样必然带来数据在各个维度的交叉关联，数据爆炸已不可避免。因此流式处理加NoSQL产品应运而生，分别解决实时框架和数据
2016-01-09 15:52:57
1203
原创 Twitter-Storm与Zookeeper集群安装…
Storm使用大量的Clojure动态编程语言，是用于解决大规模海量数据实时流分布式计算的编程框架，本文详细记录集群环境搭建过程。1. 搭建Zookeeper集群；2. 安装Storm依赖库；3. 下载并解压Storm发布版本；4. 修改storm.yaml配置文件；5. 启动Storm各个后台进程。1.搭建Zookeeper集群Storm使用Zookeeper协调集
2016-01-09 15:52:55
761
原创 五种Oracle HA高可用架构简述
Database Only Architecture可减少应用宕机和数据库升级停用时间Flashback技术保护用户错误和逻辑异常在线实时重定义和重配置对象或应用数据结构自动化管理备份和还原处理操作基于Data Pump技术的快速而有效的对象重建启动期间Fast-start还原检查点减少实例还原时间与Oracle Enterprise Manager的管控集成RAC Ar
2016-01-09 15:52:52
3727
原创 搭建OpenStack AllInOne的沙箱模拟环境
本文介绍Windows安装 VirtualBox，并创建Ubuntu-Server 12.04 x86_64虚拟机，再在Ubuntu虚拟机中构建一个OpenStack Essex AllInOne的沙箱模拟环境。（一）物理主机设置启用物理主机CPU的VT支持：BIOS Setup Utility Config ==> CPU ==> Intel(R) Virtualiz
2013-09-03 10:22:49
1659
原创 CloudStack学习笔记-安装AllInOne
本文介绍CentOS 6.3操作系统主机安装 CloudStack 4.1.1 AllInOne的运行环境。前置条件Management Server, Database, and Storage System RequirementsOperating system: Preferred: CentOS/RHEL 6.3+ or Ubuntu12.04(.1)64-bit x86 CP
2013-09-03 08:32:52
1572
原创 API Management Platform--SOA发展由系统集成向应用集成的最佳切入点
所谓分久必合，合久必分，在这样一个万古不变的历史长河中，集成永远是一个占据非常重要地位的话题。任何一个事情的发展无疑都是以小试牛刀-初出茅庐-崭露头角-步履维艰-分而治之的趋势在不断演进。做了多年的SOA规划、开发、实施与交付工作，接触很多变化莫测的业务与错综复杂的系统集成需求，从一个小的系统内部SOA组件化，到一个个硕大集团级系统集成、跨域通信、ETL抽取加载，接触过的项目、交流过的客户、合
2013-09-03 08:32:44
1090
原创 CloudStack学习笔记-源代码构建
CloudStack是基于Java语言编写的Apache顶级开源项目，这是Java程序员莫大的福音。本文介绍最新版本CloudStack-4.1.1的源代码构建过程。管理节点所支持的操作系统CentOS 6.3Red Hat Enterprise Linux 6.3Ubuntu 12.04 LTS支持的Hypervisor家族CentOS 6.2 with KVMRe
2013-09-03 08:32:42
1666
原创 CloudStack学习笔记-账户管理
1. 基本概念AccountAccount就是某个服务提供方或者组织机构的服务对象，受众客户。很多User可以共存在一个Account之中。DomainAccount可以通过Domain来分组，Domain通常由很多Account组成，Domain维护了Account相互之间的逻辑关系，并且授权委派了一些Administrator来管理这个Domain和其Subdomain。每一个A
2013-09-03 08:32:40
1007
原创 U盘引导安装64位CentOS-6.4x-86_64
为了获得底层硬件的VT支持，需要直接安装一个Linux操作系统环境，形成双操作系统。而对于没有光驱的笔记本电脑，最好的方式就是使用U盘安装。在安装CentOS-6.4-x86_64时，由于单个ISO镜像文件超过了4GB，FAT32格式的U盘引导盘无法读取，而Linux又不支持NTFS格式作为系统引导盘，所以本文介绍使用在Windows下的Ubuntu虚拟机进行U盘分区和U盘引导盘制作安装Cen
2013-09-03 08:32:38
3093
原创 CloudStack学习笔记-综述
1.1 Region为了增强可靠性，可以将资源分布部署到多个地理位置不同的区域。Region是CloudStack部署计划中最大的组织单元。一个Region由多个可用的Zone组成，每个Zone都控制着它自己的管理服务器集群。Region常被用于容错和灾难恢复的用途。通过将Zone分组到Region中，CloudStack云达到了高可用性和扩展性。用户账户可以扩展Region，从而可以
2013-09-03 08:32:36
1324
原创 CloudStack学习笔记-初探
1.1 什么是CloudStackCloudStack是一个使得计算资源可以池化，从而可以构建基于IaaS的公有云、私有云、混合云的开源软件平台。CloudStack管理着网络、存储和计算节点，并使其构建成为一套云设施。使用CloudStack可以部署、管理和配置云计算环境。一般CloudStack用户分为服务提供商和企业，通过CloudStack可以进行如下工作：a)建立一套按需、弹性的
2013-09-03 08:32:33
1256
原创 重拾CMMI
CMMI模型建立在CMM模型基础上，并与很多学科（软件工程、系统工程、集成化产品及供应商管理等）进行模型扩展，形成了各种CMMI模型，如SEI发布的面向开发CMMI-DEV、面向服务CMMI-ACQ、面向采购CMMI-SVC。CMM只有一种表示法，即阶段式表示法，而CMMI分为阶段式表示法和连续式表示法，阶段式表示法将过程域分作5个能力成熟度等级，连续式表示法将过程域分作4大类型：过程管理过程、项
2013-09-03 08:32:31
958
原创 一键安装OpenStack
对于初学OpenStack的新手来说，能首先将OpenStack安装完成，一览其功能架构，再逐一深入学习各个组件无疑是很惬意的，于是找到了开源脚本OneStack，用以一键安装OpenStack，参考链接http://blog.csdn.net/hilyoo/article/details/7696169 。本文记录以Windows8为Host Server，VirtualBox虚拟化Ubunt
2013-09-03 08:32:29
1434
原创 开源PaaS平台Cloudify介绍
PaaS作为云计算三大服务模式之一，目前业界已有很多解决方案，读者可以参考以下链接作为各PaaS产品比对：http://socialcompare.com/fr/comparison/platform-as-a-service-paas-for-cloud-applications-scalable-cluster-of-services本文主要对Cloudify进行介绍，大部分内容均为官网
2013-09-03 08:32:27
4107
原创 Cloudify Recipe概念与应用类型Rec…
剖析Recipe在Cloudify体系里面，Recipe的概念可以理解为对应用配置运行的一系列说明处方，通过这个Recipe处方可以控制应用的安装、启动、运行、监控、扩展，这所有的一切都无需调整应用的代码或者架构。Recipe的一些基本概念：1.一个应用Application是由一组服务Services组成2.一个应用ApplicationRecipe描述的应用Application的名
2013-09-03 08:32:25
1520
原创 在VirtualBox4.2.12上安装Ubuntu&n…
由于是UbuntuServer，所以没有图形界面，能从Windows的宿主机上共享可执行文件就显得尤其重要，本文记录主要的步骤以供参考。第一步：为快速更新依赖补丁，需要更换一下Ubuntu的源，这里以12.04为例：如果是刚安装好的Server版，那么可以用如下命令修改替换官方的源：$sudo cp /etc/apt/sources.list /etc/apt/sources.list.b
2013-09-03 08:32:22
603
原创 解决VMware Workstation9 安装Ubuntu Desktop 12.04 LTS无法启动图形界面
前提已经将CPU启动VT，在BIOS SetupUtilityConfig==> CPU ==> Intel(R) VirtualizationTechnology ==> 设置为 Enabled问题表象为在用ISO介质安装完虚拟机以后，登陆出现******************************************************************
2013-09-03 08:32:20
1219
原创 企业架构设计思路与实践经验谈
读完了于海澜先生的《企业架构》一书，并回顾自己这几年所参与的企业架构工作的点滴，理论与实践交织，关于企业架构的认识又增进不少。因此写下此文，其一对自己的过往经历做一阶段总结，其二希望对同为从事企业架构（EnterpriseArchitecture ,EA）的朋友有所帮助。目前，很多企业随着自身业务的发展，建立了很多职能部门、流程、系统，但是随着时间的推移，发现它们之间无法有效协调合作，往往
2013-05-20 17:34:55
1941
原创 初试开源PaaS平台--GigaSpaces Cloudify
相比一些需要注册或仅提供有限资源限制的免费PaaS平台，GigaSpacesCloudify要更为大度一些，可以轻松Download并搭建私有云，并在线对任何应用、任何云上的应用，无需任何代码更改即可实现规模伸缩目前Cloudify 支持的云平台包括：Microsoft AzureOpenStackCitrix Cloud Stack (Previously Cloud.C
2013-05-20 17:34:53
1639
1
原创 WebLogic集群启动常见问题（持续更新）
1、java.lang.OutOfMemoryError:PermGen spaceWebLogic JVM加载顺序是 startWebLogic.sh--calls-->setSOADomainEnv.sh--calls-->setDomainEnv.sh--calls-->commEnv.sh，但是如果不是通过startWebLogic.sh启动，而是通过console或者wlst，那么必
2013-05-20 17:34:51
3936
原创 浅谈MySQL Sharding分片技术
一个生产系统总会经历一个业务量由小变大的过程，可扩展性成为了考量系统高可用性的一个重要衡量指标。试想一下，一个记事本应用程序，在存储的很少字节时，能够快速的打开和访问，但是如果硬要让记事本存储百万、千万字节，那么这个记事本估计就罢工了！同样，系统刚开始的时候，用户数量不多，所有的数据都放在了同一个数据库中，此时因为用户少压力小，一个数据库完全可以应付的了。但是随着用户数量不断增加，数据库压力也与日
2013-05-20 17:34:49
1206
原创 浅谈MySQL高可用集群架构
在前面了解了浅谈MySQL高可用复制架构以后，认识到通过简单配置步骤，就能构建出强大的数据库架构，但从复制架构可以看出无论是主备切换，还是主从换位等操作，或多或少都需要一些“短暂的维护”和人工参与，因此若要想达到4个9或者5个9的高可用，光用复制架构还远远不够。除了复制架构以外，MySQL还有一个同样令人瞩目的高可用架构-集群架构。基本概念MySQL集群是一个无共享的、分布式节点架构的高
2013-05-20 17:34:46
1149
原创 浅谈MySQL高可用复制架构
MySQL已然是目前业界最为流行的开源数据库，基于其强大的复制与集群架构构建的高可用数据中心正在被越来越多的公司所采纳。无独有偶，我们公司也正在为客户构建一个低成本、高可用的数据集成平台。因此，对最近学习的MySQL高可用复制架构进行一些总结与分享。从高可用MySQL的阵营大概可以分为两类，一类是轻量级的异步复制架构，另外一类是较为复杂的同步集群架构。当然，在MySQL5.5以后，还有了半同步
2013-05-20 17:34:43
782
原创 将“懒人”哲学运用于大规模的商业SOA应用开发
在读大学的时候，老师就灌输了一个道理，计算机科学与技术很重要的一个重要层面就是解决日常工作的信息化和自动化。因此，尽量要将复杂的事情简单化，简单的事情模板化，可模板重复的事情自动化，可自动的事情规范化，最大程度的释放生产力，使人可以更加关注创新。用马云的哲学解释，就是尽可能的做一个聪明的懒人，懒出风格、懒出境界。在SOA企业架构的框架设计中，在企业ESB平台总线上面不乏存在有大量的接口服务，而
2013-05-20 17:34:41
654
原创 正确认识分布式异构环境下的异步服务和应用场景设计
基础知识首先，“异步服务”完整的解释应该是客户端以异步通信的方式调用Web服务；而非服务端必需要实现一个异步处理机制的服务端Web服务；其次，应用架构设计中是否应用“异步服务”完全取决于客户端应用场景所需，服务端应用无需刻意进行任何设计和实现；因此，基于以上理解，切勿走近实现异步业务场景，必须由服务端配合实现的误区。异步通信的应用场景谈为何需要应用异步通信时，首先，需要搞清楚异
2013-05-20 17:34:39
1028
原创 领域模型驱动开发利器-Sculptor介绍
最近花了一点时间了解Sculptor-一款面向领域模型开发利器，发现其设计理念和功能实现相当不错。以面向模型驱动开发的方式，将DDD的概念和模式运用于DSL（Domain Specific Language）之中，并为其预置了Hibernate和Spring代码框架实现，并且内置很多扩展性特点，完全区别于以往普通的代码生成器，使得开发者更加关注与需求功能实现，而摆脱技术框架的束缚，大大提高了开
2013-05-20 17:34:36
1391
原创 SOA的理解、实践与体会
2007年，在一个偶然的机会投入到了移动集团级全国范围内的大型项目建设，也就是从那里开始了我的SOA职业生涯。至今还一直从事着这样事业，大大小小数十个项目，不乏接触很多系统间集成、很多业务流程梳理，从研发--实施--推广--维护--治理，通过各个环节的不同视角反复推敲SOA的实施究竟为企业信息化产生了多少价值。常思考、多总结的习惯也让自己对SOA有了更深入的一些认识。认识SOA
2013-05-20 17:34:34
843
转载 企业级PAAS平台-总体架构
原文地址：企业级PAAS平台-总体架构作者：人月神话根据前面文章的paas平台架构设计参考，对企业内部私有云和paas平台总体架构进行整理，初步考虑paas平台总体架构如下，除底层iaas层外其余都是paas应用平台需要考虑的内容，如下：数据库即服务提供对底层数据库的统一封装，提供公共的数据访问接口，提供数据库资源池和数据库水平扩展能力，支持分布式数据库，支持非关系型数据库，支持数据库本
2013-05-20 17:34:21
5198
原创 OFM Web层高可用特性
Web组件是Java EE应用中与最终用户如浏览器进行请求和响应的主要媒介。作为应用服务器的外部组件，它最贴近最终用户，与外部请求和内部响应处理进行交互，因此Web组件的设计能否高可用至关重要。在OFM中主要包括Oracle HTTP Server和Oracle Web Cache两个组件。Oracle HTTP Server基于Apache2.2.10的基础框架设计，因此拥有Apache
2013-05-20 17:34:19
761
原创 Oracle数据库GridLink Data Sources配置Oracle RAC高可用特性
OFM自身的组件需要持久化保存数据，部署应用也需要持久化保存数据。因此，考虑数据库高可用是一个恒久不变的架构设计元素。OFM对于数据库高可用的设计有很多方案，例如Cold Failover Clusters、Oracle Real ApplicationClusters、Oracle Data Guard、 OracleStreams机制，详细参考http://docs.oracle.co
2013-05-20 17:34:17
1126
原创 WebLogic Server 高可用特性
什么是WebLogic服务器集群WebLogic Server集群包括多个WebLogicServer服务器实例同时运行并一起工作提供强大的可伸缩性和可靠性。 构成集群的服务器实例可以运行在同一系统上，或位于不同的系统上。 可以通过添加额外的逻辑服务实例，或物理服务器实现现有系统的集群能力的扩展。但集群中的每个服务器实例必须运行同一版本的WebLogicServer。什么是WebLogic
2013-05-20 17:34:14
1426
原创 OFM系统高可用性总体框架设计
高可用性通常用来描述一个系统经过专门的设计，从而减少停工时间，而保持其服务的高度可用性。一个高可用性HA框架是每个系统架构设计的重要考究部分。高可用性一般使用正常服务时间与运行总时间百分比进行测量，以下提供了一些参考数据：可用性百分比全年停机时间95%18 天99%4 天99.9%9 小时99.99%1 小
2013-05-20 17:34:12
858
原创 SOA架构下，服务质量Qos几个关注点与设计思路
随着SOA的发展趋势，越来越多的企业开始搭建ESB，而度量一个ESB是否能够担当企业信息集成通信的脊梁，服务质量Qos的指标测量结果举足轻重，以下是一些主要的关注点：1 性能性能是描述一个Web服务处理请求速度的指标。该指标主要取决于吞吐量、响应时间、持续时间、执行时间、事务时间等。其中，吞吐量是指在特定时间内能够受理的服务数；响应时间是完成一个请求的时间；持续时间是从发出请求到收到响应结
2013-05-20 17:34:10
1308
原创 对Spring JpaTransactionManager的误解
在以前项目中验证Hibernate实现JPA规范的时候发现虽然在AOP配置成只读的readonly的模式，但对数据库的更新操作依旧能够执行提交，如配置文件定义为：逻辑层代码实现如下： public UsergetUser(User o) { return this.entityManager.merge(o); }以前将问题定位为JpaTransacti
2013-05-20 17:34:08
2599
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人