ang639

业务场景：读取汇总进程模型：

开始按照文档中的https://.../OVSWS/VirtualMachineService.wsdl 引入服务，代理类生成成功了，但是自动生成的配置没有生成endpoint，手工配置上去，结果还是报错。后面随便试试，发现使用https://.../OVSWS/VirtualMachineServiceSoapHttpPort?WSDL生成代理类和配置都OK了但是

迁移是qemu中支持的，libvirt只是封装好命令并传递给qemu的监控模块。1、qemu中使用方法：在server端，在启动qemu的命令行中加入-incoming tcp:0:4444(4444为端口）参数，启动后可以应用netstat -apn 命令查看，4444端口是不是在监听。在client端，启动qemu后（sdl模式下）， 使用ctrl+alt+2切换到监视端口，输入命

#!/bin/bashtypeset in in_old dif_in dif_in1 dif_out1typeset out out_old dif_outin_old=$(cat /proc/net/dev | grep eth1 | sed 's=^.*:==' | awk '{ print $1 }' )out_old=$(cat /proc/net/d

A） MRTG 是采用配置文件的方式来监控的；       RRDtool 则没有配置文件一说。所有操作都是通过命令（也可以写成script方式）执行 B） MRTG 有自动采集数据的功能（通过 snmp）；      RRDtool 没有，需要手工或者通过 shell/perl 脚本来获取数据 C） MRTG 每次运行都会更新图片和日志；      RRD

当你的网卡是工作在网桥模式：DEVICE="em2"NM_CONTROLLED="yes"BOOTPROTO="static"ONBOOT="yes"BRIDGE=br2当前主机的IP就只能配置在网桥上，而物理网卡作为一个端口，运行于混杂模式，处于链路层，所以不能IP交换了。

1. 保证linux有足够的物理内存，可以调整vm的如下参数vm.min_free_kbytes=409600;//默认值是3797，保证物理内存有足够空闲空间，防止突发性换页vm.vfs_cache_pressure=200；//默认是100，增大这个参数设置了虚拟内存回收directory和i-node缓冲的倾向，这个值越大。越易回收vm.swappiness=

当时场景是VM上iowait和%util都是100%。物理机稍微好点， iowait 30%~50%, %util也近100%后面实在不行就对物理机进行重启，启动进不去系统，准备重装时发现硬盘灯有黄灯。由于有raid，把坏硬盘拔掉，就工作正常了。中间定位iowait的过程涉及命令有:# iostat -x 1Linux 2.6.32-220.el6.x86_64 (SN

Libvirt 库是一种实现 Linux 虚拟化功能的 Linux® API，它支持各种虚拟机监控程序，包括 Xen 和 KVM，以及 QEMU 和用于其他操作系统的一些虚拟产品。libvirt 术语：节点： 将物理主机域： OSlibvirt（及其应用程序）在宿主 Linux 操作系统（域 0）中运行。libvirt的管理模式：本地管理异地管理,

1. UseDNS/etc/ssh/sshd_config 修改成 UseDNS no/etc/init.d/sshd restart2.  GSSAPIAuthentication某台客户机连接 ssh 到服务器特别慢，经常是 1min 的时间才能登上，服务端的 UseDNS 已经关闭，-v 开启 debug 模式：$ ssh user@ip -v

VM Template和VM Console那些VM的管理工具上，对VM的使用大体上有VM Template和VM Console之分。VM Template方式，你在VM做的改动会在虚拟机关闭后丢失。VM Console方式，改动会穿透到虚拟机镜像上，虚拟机重启或者复制添加新的虚机，改动都会生效。Note：VM Template方式，后台实现应该是KV

支持存储的开源KV缓存方案Membase和Redis特性比较 MembaseRedisMemcached协议兼容√X虚拟内存√√丰富的数据格式StringList,Dict, Set，String

Convirt是一个相对轻量的虚拟机管理解决方案。他支持基于模板创建虚拟机，虚拟机模式目前只支持vm console，不支持VM Template。创建虚拟机跟其它IaaS管理工具不一样，需要明确指定虚拟机宿主的明确位置。介绍功能：管理端1. 目录结构虚拟机管理目录结构数据中心--》服务器组--》服务器--》虚拟机模板目录结构模板组--》模板2.

fourinone-1.11.09hadoop-0.21.0体积82K71M依赖关系就一个jar,没有依赖约12项jar包依赖配置就一个配置文件较多配置文件和复杂属性集群搭建简单，每台机器放一个jar和配置文件复

Fourinone（中文名字“四不像”）是一个四合一分布式计算框架，在写这个框架之前，我对分布式计算进行了长时间的思考，也看了老外写的其他开源框架,当我们把复杂的hadoop当作一门学科学习时，似乎忘记了我们想解决问题的初衷：我们仅仅是想写个程序把几台甚至更多的机器一起用起来计算，把更多的cpu和内存利用上，来解决我们数量大和计算复杂的问题，当然这个过程中要考虑到分布式的协同和故障处理。如果仅仅是

最近要弄一个高性能的日志采集系统，想顺便弄一个通用的基于网络的反应式框架出来。框架基本思想进程模型：一个接受线程，可配置个工作线程。编程模型：一个管理单例，所有的handler实例跟它注册自己所关注的命令号。管理实例根据命令号进行分发。消息协议：kv格式，格式是k1=v1&k2=v2&...&kn=vn。其中c是关键字，对应的value就是命令号。框架开发

TUN/TAP虚拟网络设备为用户空间程序提供了网络数据包的发送和接收能力。他既可以当做点对点设备（TUN），也可以当做以太网设备（TAP）。实际上，不仅Linux支持TUN/TAP虚拟网络设备，其他UNIX也是支持的，他们之间只有少许差别。原理简介TUN/TAP虚拟网络设备的原理比较简单，他在Linux内核中添加了一个TUN/TAP虚拟网络设备的驱动程序和一个与之相关连的字符设备/dev/

#!/usr/bin/expect -fexp_version -exit 5.0if {$argc!=2} {send_user "usage: remote-exec command password\n"send_user "Eg. remote-exec \"ssh user@host ls\\; echo done\" password\n"send_user "or

IaaS,PaaS,SaaS，..aaS.....IaaS主要是Amazon，万网，世纪互联等托管主机方式PaaS比较广泛，形式也很多。产品有：有基础服务，应用容器，OpenAPI，企业级的专业领域。另外还有商业咨询，和硬件厂商的捆绑销售。一般来说，前三者联系比较紧密，应用容器作为接入点，捆绑用户，然后提供基础服务，OpenAPI提供业务相关的接口。不但增加了营

一般情况下，几句shell脚本，bat脚本，或者简单的100行c#代码都可以做到比较通用的进程管理工具，但是专业化的产品通用性和个性化还是有很多看头的。1. 用ruby来写配置文件很多动态语言都这样，应用都省略了解析过程，而且可以很方便的支持循环之类语句来启动同一应用的不同参数的多个实例2. 支持poll和event方式的检测3. 进程的监控a. 拉起进程

想测试指定文件个数的小文件是比如217K，1W个文件，进行到100多时会报，反复尝试都如此FATAL: Too large position discovered in request!后面想了估计跟block-size有关，估计每个文件的大小必须是blocksize的整数倍才行。尝试了一下，果然如此。 sysbench --test=fileio --num-threads=

MapReduce NextGen aka YARN aka MRv2它相对前任解决了JobTracker：单点，过于繁忙（调度，追踪状态）集群规模横向扩展能力有限，分配策略粗略（以(map/reduce)tasks 的数目来估算资源消耗，而不是计算和内存），升级无法局部化，会影响整个集群。YARN，化整为零，将JobTracker的职责分开还有shardingResource

Hypertable默认支持CDH3和CDH4的HDFS。如果想自己用指定的HDFS怎么办呢。。。下面以hadoop2.2.0为例来解决。1. 配置中指定使用CDH42. 更换CDH4同HDFS交互的JAR/hypertable/current/lib/java/下于haddop2.2.0不兼容的有：hadoop-auth-2.2.0.jarhadoop-common-2.

配置zookeeper，NN的HA依赖它配置vi /opt/zookeeper/conf/zoo.cfgdataDir=/home1/hadoop/zookeeper/datadataLogDir=/home1/hadoop/zookeeper/zk_loglogDir=/home1/hadoop/zookeeper/logsserver.110=192.168.2

HA Hadoop情况下相关端口：dfs.namenode.http-address.ns1.ns1n1 50070dfs.namenode.rpc-address.ns1.ns1n1 8020dfs.datanode.address 50010  //The datanode server address and port for data transfer.dfs.data

uIMG的存储使用的是hypertable， 一个CPP版本的bigtable方案，它提供大数据存储，也提供了缓存，相对KV系统，它的功能和可管理性更强。调用栈Hypertable处于大数据生态系统调用栈的中间，在DFS的之上，它依赖DFS作为底层存储；在各种runtime-script之下，开放了灵活的高性能接口提供给业务策略使用。这是官方提供的一个HBASE

苦逼了4，5天，稍微总结一下。环境：机器：5台 OS: redhat 5.4内存：12G   磁盘：1 / 2T CPU:2*4( Intel(R) Xeon(R) CPU           E5504  @ 2.00GHz)1：ssh的默认端口不是22hadoop 可以通过配置vi /etc/profile 和 vi /opt/hadoop/etc/

Adaptive Counting（简称AC）在“Fast and accurate traffic matrix measurement using adaptive cardinality counting”一文中被提出。其思想也非常简单直观：实际上AC只是简单将LC和LLC组合使用，根据基数量级决定是使用LC还是LLC。具体是通过分析两者的标准差，给出一个阈值，根据阈值选择使用哪种估计。

PaaS供应商dotCloud开源了自有平台上的关键组件Docker。Docker是一种增加了高级API的LinuX Container（LXC）技术，提供了能够独立运行Unix进程的轻量级虚拟化解决方案。它提供了一种在安全、可重复的环境中自动部署软件的方式。Docker使用标准化容器的概念，能够容纳软件组件及其依赖关系——二进制文件、类库、配置文件、脚本、Virtualenv、jar包、ge

硬件环境机器：5台 OS: redhat 5.4内存：12G   磁盘：1 / 2T CPU:2*4( Intel(R) Xeon(R) CPU           E5504  @ 2.00GHz) 软件环境HDFShadoop2.0.0NameNode HA(2), zookeeper(3), datanode(5)

安装依赖软件包apt-get install ubuntu-virt-serverapt-get install ubuntu-virt-mgmtapt-get install kvm libvirt-binapt-get install bridge-utils修改网络为nat，重启网络vi /etc/libvirt/qemu/networks/default.x

海量，分布式，重量级1. Bigtable(G)  HBase(Hadoop)  Hypertable(Zvents)2. Dynamo(Amazon) Cassandra(F)#1 基于GFS或HDFS，基于表，相关组件依赖多，维护麻烦(Zookeeper, HBASE,Hadoop)，和Hadoop系的一些工具集成简单（lucene，MP）#2 P2P的KV系统，去中心

1. 磁盘使用virtio会快差不多2倍2. CPU测试，大概慢33%3. 内存复制，大概慢37%4. thread，大概15%5. mutex，一致6. IO， 50%  （(116.74Mb/sec  vs  50.654Mb/sec  vs 17.224Mb/se））   物理机测试，因为磁盘是raid10, 读速度远高于写）   rndrd 1.8Gb/se

1. Erlang系统特点Erlang本身内置支持分布式应用里边的，高并发，分布式，代码热替换，容错性。1.1. 高并发a) 进程i. Erlang的最小执行单元是进程，进程的最大特点是隔离性好，（有自己的独立内存空间，Crash不会影响其他工作单元）。ii. Erlang的进程特点1. 协程a) 自己控制执行切换b) 高效。由于不频繁切换系统上下文

CassandraMongodbCouchDBRedisRiakHBase开发语言JAVAC++ErlangC / C++Erlang/ C / JAVASCRIPTJAVA特点分布式与复制的权衡根据列和键范围进

Name Server在线伸缩性性能Hadoop小文件索引GlusterFS无N/remountSmapY*FastDFS 多个YFY*

0.23和2.0分支支持federation，相当于将命名空间横向分片。  2.0分支NameNode支持HA, 有基于NFS和QJM(Quorum Journal Manager) NameNode的冷备： Secondary Namenode和Backup Node都是NN的冷备，切换需要手工切换IP。 Secondary Namenode定期地从Namen

YUM源更新需求：1. 不付费的rh无法yum安装软件。 只能更新成开源地址。2. yum源mirror本就近需求或者无法上外网3. 使用最新的yum包更多软件包yum源介绍：RPMForge是CentOS系统下的软件仓库，拥有4000多种的软件包，被CentOS社区认为是最安全也是最稳定的一个软件仓库。EPEL   Extra Packages for E

OpenStack提供了一个自动部署的工具，使用该工具尝试安装 1. 使用另外的用户安装openstack,按照他默认配置，增加俩个用户sudo adduser niisudo adduser nova 添加sudo权限~sudo visudonova ALL=(ALL) NOPASSWD:ALLnii ALL=(ALL) NOPASSWD:ALL 2.

网络有两种方式，一种是通过bridge, 一种通过NAT在NAT方式下，会使用virbr0进行通信，以允许虚拟机访问网络服务。目前我们环境是桥接，所有没有作用。查看和禁用：# virsh net-list# virsh net-destroy default# virsh net-undefine default# service libvirtd restart