- 博客(39)
- 收藏
- 关注
RSS订阅
2转载 show status中文详解
状态名 作用域 详细解释Aborted_clients Global 由于客户端没有正确关闭连接导致客户端终止而中断的连接数;一般来说，客户端连接的开始和结束：19398 Connect.....19398 Quit。mysql> kill 99;这个语句会造成Aborted_clients的值增加正常值：应该处于一个固定的值而不是一直增长异常原因：应用程序
2016-03-03 17:06:01
970
原创 nagios监控postgresql
1.在被监控端安装nagios的nrpe插件2.在被监控端安装check_postgreshttp://bucardo.org/downloads/check_postgres-2.22.0.tar.gz3.在被监控端配置nrpe.cfg，并起动nrpe服务vim /etc/nagios/nrpe.cfg log_facility=daemonp
2015-12-24 11:54:47
1045
原创 amoeba+mmm搭建mysql高可用负载均衡集群
架构优点：(1)99%高可用; (2)读写分离，负载均衡; (3)自动故障切换(4)自动切换主从架构缺点：(1)需要在每一个mysql节点安装mmm-agent，新加入节点之后要修改每一台的mmm_common.conf配置文件 (2)amoeba目
2015-12-16 15:05:13
2088
原创 mysql压力测试
1.测试要求本次测试才用sysbench做为测试工具，对mysql进行测试。(1)测试表数据应该为10w，100w，1000w(2)测试用户连接数应该为16，32，64，128(3)测试行为应该为查询，修改，混合操作（查询+修改）(4).测试表的存储引擎应该为InnoDB2.mysql服务端系统参数指标 测试环境机型 HPCUP Intel(R) X
2015-12-09 09:58:56
482
转载 在hadoop上执行字数统计作业
1.编写WordCount.java文件package org.myorg;import java.io.IOException;import java.util.*;import org.apache.hadoop.fs.Path;import org.apache.hadoop.conf.*;import org.apache.hadoop.io.*;import org.
2015-12-09 09:57:30
1062
原创 spark通过jdbc访问postgresql数据库
1.首先要有可用的jdbc[hadoop@db1 bin]$ locate jdbc|grep postgres/mnt/hd01/www/html/deltasql/clients/java/dbredactor/lib/postgresql-8.2-507.jdbc4.jar/usr/lib/ruby/gems/1.8/gems/railties-3.2.13/lib/rails/ge
2015-12-09 09:56:02
5665
原创 spark streaming+flume avro实时计算
1.编写测试代码，制作成jar包（spark提供的测试代码如下，已经编译好了，自己写代码，要用maven或者sbt制做jar包：）package org.apache.spark.examples.streamingimport org.apache.spark.SparkConfimport org.apache.spark.storage.StorageLevelimport
2015-12-09 09:54:18
617
原创 搭建kafka集群
1 kafka简介Kafka is a distributed,partitioned,replicated commit logservice。它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成，每
2015-12-09 09:52:58
490
原创 搭建zookeeper集群
1.为什么搭建zookeeper由于kafka依赖zookeeper，所以在搭建kafka之前必须先搭建zookeeper集群。2.zookeeper简介zookeeper是一个为分布式应用提供一致性服务的软件，它是开源的Hadoop项目的一个子项目，并根据google发表的一篇论文来实现的。 zookeeper为分布式系统提供了高笑且易于使用的协同服务，它可以为分布式应用
2015-12-09 09:51:06
545
原创 spark streaming初体验
spark streaming是建立在spark上的大规模实时流计算框架。通过阅读官方文档，做了一个本地的测试。1.需要的工具netcat:通过TCP和UDP在网络中读写数据的工具下载地址：http://sourceforge.net/projects/netcat/files/netcat/0.7.1/netcat-0.7.1.tar.gzspark：编译安装并起动的spa
2015-12-08 23:15:56
1003
原创 ETL之KETTLE实践
1.下载kettle软件包 我是在pentaho的社区网站下载：http://community.pentaho.com/projects/data-integration/ 603M 10月 15 09:39 pdi-ce-5.4.0.1-130.zip2.解压 unzip pdi-ce-5.4.0.1-130.zip3.解压之后
2015-12-08 23:10:54
1077
原创 VBA写excel宏
Sub zzz()'' zzz 宏'' 'ActiveWorkbook.Names.Add Name:="S941.群众团体", RefersToR1C1:="=Sheet3!R1C6:R1C6" 'ActiveWorkbook.Names("S941.群众团体").Comment = "" 'ActiveSheet.Cells(1, 1).V
2015-12-08 23:08:31
548
转载 powerdesigner导出字段信息的vba脚本
导出字段等信息（在pd中执行如下脚本，部分地方需要修改）Option ExplicitValidationMode = TrueInteractiveMode = im_Batch'on error resume nextDim mdl ' the current model' get the current active modelSet mdl =
2015-12-08 23:01:37
629
原创 postgresql热备份与恢复
一 热备份的原理是“基础备份文件”+“归档日志”进行restore。1 配置postgresql.conf文件wal_level = hot_standbyarchive_mode = onarchive_command = 'test ! -f /usr/local/backups/%f && cp %p /usr/local/backups/%f'
2015-12-08 22:59:19
2436
原创 postgres备份方案
1 热备份需要的基础备份：backup-mwa-cd03-data.sh#!/bin/bashdate=`date +%Y%m%d`bak_path="/var/lib/pgsql/9.3/backups"log_path="/var/log/backup"log="/var/log/backup/backup-mwa-data-$date.log"wt_log()
2015-12-08 22:53:33
727
原创 postgresql触发器
CREATE OR REPLACE FUNCTION cd03.f_repair_order_stat_update() RETURNS trigger LANGUAGE plpgsqlAS $function$/*-------------------------------------------------------* 功能：触发器函数,当stat被更新时
2015-12-08 22:51:54
431
原创 两个postgresSQL数据库对象比对
1.环境数据库dev：开发数据库数据库prod：生成数据库2.背景最近在dev上做了大量模型改造，需要把修改的地方同步到生产数据库prod中，但是每一步改动并没有详细的记录，且新增加的对象不能同步上去。3.实现pg_dump -h localhost -U dev -T tab1 -T tab2 -s -f dev.dumppg_dump
2015-12-08 22:50:18
951
原创 postgreSQL角色权限控制
1.postgres的逻辑结构：databases->database->schema->object 其中schema就像操作系统的目录一样。2.创建schemacreate schema jayzhou authorization jay;cd03=> \dn List of schemas Name | Owner
2015-12-08 22:48:42
1938
转载 postgresQL备份数据库shell
#!/bin/bashdeclare -a dbarraydeclare -a dbusrDate=`date +%Y%m%d`CurTime=`date +%F%t%X`BakDir='/var/lib/pgsql/9.3/backups/'Psql='/usr/pgsql-9.3/bin/psql'PgDump='/usr/pgsql-9.3/bin/pg_dump
2015-12-08 22:46:33
568
原创 postgres关键字、常量和数据类型
一 标识符和关键字 1. SQL 标识符和关键字必须以一个字母 (a-z 以及带变音符的字母和非拉丁字母 )或下划线(_) 开头， 随后的字符可以是字母、下划线、数字 (0-9)、 美元符号 ($)。 2. 根据 SQL 标准，美元符号不允许出现在标识符中， 因此使用美元符号将不易移植。 3. SQL 标准不会定义包含数字或者
2015-12-08 22:40:05
5786
原创 DB2 detch分区
1.SP_ADD_PARTITION （调用2.WAITFORDETACH 过程）CREATE OR REPLACE PROCEDURE DW.SP_ADD_PARTITION ( IN V_TABLE VARCHAR(100), IN V_PARTITION_NAME VARCHAR(20), IN V_START VARCHAR
2015-12-08 22:27:29
1198
原创 db2注意事项
1. db2 nullif() nullif('1','1')与nullif(1,1)虽然都返回null，但是两条记录union起来之后该字段只能存放数值类型,或者‘2.5’这种可以强制转化成数字类型的字符串。2. DB2中 ‘’和‘’或者‘’和‘ ’，是可以匹配的，所以在连接两个表时，一定要注意连接条件中字段是否有‘’、‘ ’，否则会造成笛卡尔积！！！3.
2015-12-08 22:16:40
5195
原创 自定义datastage阶段
新建两个表定义，用于阶段的输入（InTableDef）输出（OutTableDef）。（1）.InTableDef的定义如下（输入字段为：inID）：（2）.OutTableDef的定义如下(输出字段为vaild)：创建一个新的buildstage编辑阶段常规属性（命名阶段的名称为ID_VER）：编辑阶段构
2015-12-08 22:01:24
683
原创 开发datastage parallel routine
1.首先用c语言编写一个c语言程序：trans.c#include #include char *transname(char *strname){ char *str; char *str1="ZJ"; char *str2="CRJ"; if(strcmp(strname,str1)==0)
2015-12-08 21:54:06
681
原创 数据库基本命令
1. 查看数据库 [ODS-DB/home/dw]$db2 list db directory --查看所有数据库名等信息,2. 启动数据库实例db2start --启动实例3. 连接到数据库 [ODS-DB/home/dw]$db2 connect to edp user dw using dw4. 查看数据库端口号
2015-12-08 21:42:55
785
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人