2016年03月_断剑走江湖

原创 Tomcat集群部署

1、Tomcat集群部署，一边情况是nginx+tomcat+memcached，考虑的重点就是Session共享机制，当也可以考虑tomcat自身的合并与复制，但是对扩展的话就多少有些差强人意；2、闲话少说，Memcached-Session-Manager就是进行Session共享的jar包，原本是google project上面的项目无法访问，现上面项目在github上也有保存，地址ht

2016-03-30 09:05:03 515

原创 twemproxy集群部署

1、twemproxy主要用于memcached集群与redis集群的部署，其中定义了不少相关的参数；2、redis集群部署示例：redis1: listen: 0.0.0.0:9999 redis: true hash: fnv1a_64 distribution: ketama auto_eject_hosts: true timeout: 40

2016-03-30 09:04:12 637

原创消息中间件与RPC若干问题简析

1、消息中间件和消息通信与RPC各自具有怎样的优势，如何互补消息中间件主要实现的是异步、弹性消息以及队列，弹性消息有时可以借助于外存从而一定程度上可以实现峰值缓存，有效均衡服务器端压力，同时消息可以进行一定程度上的定于，从而实现了基于分组的广播，同时可以实现消息订阅；RPC则是主要集中于外部的方法调用，通过某种通讯方式实现数据的集中调用与访问，以简单通讯协议为像本地方法一样完成远程方法调用

2016-03-30 09:02:09 4107

原创分布式系统中的高可用若干问题

1、高可用常识系统不可用时间=故障修复时间点-故障发现时间；系统年度可用性=（1-不可用时间/年度时间）*100%；过载、断点、挖断光缆、误操作、代码质量问题、流程过于自动化；如何提高？硬件、环境，x86系统的可靠性比unix低一些；同城、异地负载，系统运维比较关键，适当巡检；系统监控与告警，自动修复；2、打造高可用系统主备（Master-Slave、VIP；自动切换与

2016-03-30 08:59:31 1001

原创分布式高性能的若干问题

1、Linux的什么内核包括LVS，说说LVS的三种负载均衡模式的原理与效率对比；2.6.32之后的内核版本包括LVSLVS-DR，直接相连模式，调度器与实际服务器各有一块网卡，并且都连在相同的网段上，客户端访问调度器，之后直接调度器进行ARP解析，解析到相应的服务器上，从而从服务器返回，在整个过程中公用一个对外访问地址；LVS-NAT，NAT模式，调度器通过端口转发的方式，将数据内容通过

2016-03-30 08:57:06 608

原创 OpenAIS学习笔记

OpenAIS概况资源、服务与节点关系：资源（vip、httpd、filesystem）或多个资源组合，服务运行在某个主机上，所有资源同时运行在一个节点上；资源类型：原生资源（运行于一个节点）、组资源、克隆资源、主从资源；资源故障转移：资源粘性（是否能远离该节点），位置约束，排列约束（优先运行），顺序次序（操作顺序）；节点存在方式节点成员；等同的

2016-03-30 08:55:01 1898

原创 MyCat分布式框架演化过程（安利贴）

1、MyCat为什么没用使用Netty2、简单、高效3、MyCat配置文件的变迁4、引入ZooKeeper配置（配置标准化、易于与其他系统集成）5、跨分片SQL Join的问题6、Spark SQL转化问题7、MyCat Server转发方式8、MyCat高可用（升级问题）

2016-03-30 08:51:09 443

原创一种简单的分布式系统服务架构

1、整体框架2、主要难点：首先，使用一些现有的框架完成时，需要在负载均衡策略上进行一定的考虑，必要时可能会修改一部分现有框架的源码；其次，在异常情况下主负载均衡与备份负载之间需要通过ZooKeeper进行感知及业务转换；另外，在进行服务的过程中需要考虑异常情况下服务器如何进行返回处理数据的问题，可以在不同的服务器上都对ZooKeeper进行监听从而达到变化时内容变化的目

2016-03-30 08:44:16 334

原创 Apache-APR配置方案

cd httpd-2.2.2 安装APR cd srclib/apr #./configure --prefix=/usr/local/apr #make #make install 安装APR-util cd srclib/apr-util #./configure --prefix=/usr/local/apr-util --with-apr=/

2016-03-30 08:41:35 427

原创 Java高性能计算若干内容

1、分布式系统中高性能问题及难点（单一节点能力最高）内存和并发编程领域的难题；网络通信；事件编程；2、内存和并发编程领域的难题Java建立线程与CPU之间的映射及Heap与内存之间的透明化；Java无法直接操作物理内存，目前可以DirectByteBuffer（可在堆外分配内存，可以跳过GC，但是内存释放有一些问题，移动过程中存在内存复制及CPU消耗（序列化与反序列

2016-03-30 08:40:03 1699

原创如何做好数据模型设计及模型管理？

通过这段时间的学习，对数据建模以及建模过程中所涉及的领域、知识有了一个初步的概念，然而如何设计好数据模型，并有效地进行模型管理是一个涉及多领域的话题。例如，在程序开发过程中，数据涉及到需求、设计、开发、测试、后期整理的整个过程，在这个过程中数据、数据模型、模型管理、模型管理流程在其中所充当的角色可能是值得大家考虑及考量的事情，同时如何协调好在开发的过程中与多方的关系又变成了一门管理、沟通方面的

2016-03-30 08:38:08 4786

原创如何成为真正的数据架构师

1、为什么需要构建数据架构数据标准不一致（列名相同数据类型不同、列明相同数据类型相同长度不一、列名没有统一标准识别困难、列名定义不统一类型不一致长度不相同、中文名称相同英文缩写不同或英文缩写相同中文名称不同）数据标准化管理提些（构建动态单词库，标准遵循度自动检测，标准自动应用，标准管理流程化，构建知识库基础内容，为大数据应用提供统一标准）标准化管理实施成果，用语校验机制（申请、校验、标准知

2016-03-30 08:37:20 6353

原创 OLAP系统功能小析

OLAP系统小析OLAP与OLTP系统从本质上都属于数据处理的基本方式，只是在系统的功能与作用上有一定的区分，OLTP更适合或者倾向于业务数据处理，限时返回业务处理结果，同时在业务处理的过程中一般都是业务逻辑的处理过程。而OLAP一般都是倾向于业务数据分析过程，例如在业务数据的基础上进行数据分类、数据检验、数据报表生成以及数据规律的挖掘，从而借助于系统实现知识的不断增长从而达到决策支持的目的。

2016-03-30 08:35:56 1033

原创大数据时代下OLAP的角色转换

在传统的数据仓库下，基本上都是以为数据的完全拥有与完全存储为己任，进而在上面进行相应的数据操作与数据处理，然而大数据时代下OLAP本身的功能需要因为大数据相关技术的发展而产生一些变化。个人感觉可能会产生以下几个方向的转换：1、数据处理方式的变化，之前通过一种数据即可处理数据，当数据量达到一定规模时，就无法依照这种方式进行处理，需要借助于Hadoop或者其他的并行处理框架进行计算，这一点可以当作

2016-03-30 08:34:58 514

原创 ITIL系统数据质量检查

在进行ITIL系统的设计与开发过程中，总是会遇到各种各样的数据处理方案及问题，例如ITIL平台的数据源来自于三个不同的平台，在不同的平台中会有不的数据标准，同时在进行错误检查的过程中又有不同的标示方式标记错误数据。例如，其中一个两个系统以null值作为未获取数据的标示，而另外一个系统以-9999作为未能获取数据标示，所以如果在进行存储及搜取的过程中，需要解决这些问题，将其变成统一

2016-03-30 08:33:41 679

原创数据质量保证若干步骤

1、管理层面：数据质量标准（完整性、唯一性、有效性、一致性、正确性）；数据质量针对具体的数据内容，进行数据内容进行系统检查；2、业务层面：数据质量关键对象（CTQ）：业务上最重要的部分对应的数据；对已发现的问题进行访谈调查，数据剖析：数据概要分析，对数据源表中值进行系统化的预先分析，可以帮助发现业务的实际规

2016-03-30 08:32:21 2354

原创数据标准化与数据模型的管理流程

当一个企业进行数据标准化或数据模型管理时，除了对数据本身标准化规则或者相应表格的构建外，相当大一部分需要考虑标准化流程的管理。而在管理过程中必然会设计到新旧系统、不同部门、不同业务的冲突，这些冲突如果解决不好将会直接导致标准化或者模型管理的失败。从这个角度看，标准化或者模型管理的过程更多的涉及沟通，此时可以当成一个项目来进行处理，此时可以把标准化或者标准写入当成是变更来进行处理

2016-03-30 08:30:32 8290

原创数据标准化中词汇分类中需要注意的小问题

在进行数据标准化方法的学习过程中，结合平常的项目开发的一些例子，感觉我们在词汇整理与规范化过程中需要注意的几个小问题。师出有名。数据标准化需要有一定的驱动或者契机，甲方或者某些利益相关的群体有了这样的需求，需要我们对数据进行标准化，这样就会在标准化的过程中给予一定的支持。有章可循。在进行标准化时，我们需要有一块“黑板”，上面记录了我们已经做的标准，让相关人员可以看到，这样可以让所有人看到标

2016-03-30 08:29:33 593

原创数据标准化中数据域的确定

在进行数据标准化的过程中需要确定属性或者实体的域，通过该域可完成属性或者实体的类别划分以及属性的某些类型约束。例如我们可以在域中确定域的描述信息例如类型、长度以及解释信息，从而实现了域某种程度上的约束。在我看来在数据标准中引入域的概念可能有以下几方面的考虑：构建一种通用的、标准化的数据格式，这样便于系统内部或者标准化主体之间的数据交互；构建一种关于相同信息的统一描述，该描述特指业务

2016-03-30 08:28:46 2617

从广义上来讲，数据标准化的过程可以看作是业务系统内部或业务系统之间，乃至整个数据治理系统中的一个“语言”统一的过程。只有语言统一，才能让同一业务系统或者不同业务系统之间有了对话、调用、通信的可能，从而保证使用的都是特定的某一个方言。同样，数据标准化的过程反映程序及系统设计或架构级别时，就可以看作连接程序、机器、用户的一个枢纽，通过标准化让程序、机器、用户都明白某一个词素的确切含义，如果引入新系统或

2016-03-30 08:27:12 466

hanyueqi的专栏