- 博客(28)
- 资源 (12)
- 收藏
- 关注
RSS订阅转载 proxool 0.9.1-解决 Attempt to register duplicate pool 异常
今天客户发来的日志中发现异常。该异常偶尔在程序启动的时候出现。
2014-11-10 14:01:16
908
原创 Storm高级原语-Trident API
“Stream”是Trident中的核心数据模型，它被当做一系列的batch来处理。在Storm集群的节点之间，一个stream被划分成很多partition（分区），对流的操作（operation）是在每个partition上并行进行的。注：①“Stream”是Trident中的核心数据模型：有些地方也说是TridentTuple，没有个标准的说法。②一个stream被划分成很多pa
2014-11-01 20:02:47
799
原创 Storm高级原语-Trident topology
Trident是在storm基础上，一个以实时计算为目标的高度抽象。 它在提供处理大吞吐量数据能力（每秒百万次消息）的同时，也提供了低延时分布式查询和有状态流式处理的能力。 如果你对Pig和Cascading这种高级批处理工具很了解的话，那么应该很容易理解Trident，因为他们之间很多的概念和思想都是类似的。Tident提供了 joins, aggregations, grouping, fun
2014-11-01 19:49:16
693
原创 Kettle Plugin插件开发指导
Kettle Plugin插件开发1 开发步骤1. Kettle插件开发介绍2. 搭建kettle源代码环境3. 在Eclipse中构建kettle项目4. 在Eclipse中构建插件项目5. 配置插件到Kettle中6. Kettle项目启动7. 在kettle项目集成插件源代码
2014-11-01 15:43:59
3302
原创 Kettle Job机制
Kettle Job机制1 Job机制一个job项代表ETL控制流中的一项逻辑任务。Job项将会顺序执行，每个job项会产生一个结果，能作为别的分支上job项的条件。1.1 Job类图简介1.2 JobEntryInteface接口JobEntryInterface是Job Entry插件的主要实现接口。主要包含以下功能：1) 保存Job Entry设
2014-11-01 15:12:16
6233
原创 Kettle 体系架构
Kettle 体系架构 1 . 插件体系结构1.1 插件接口的认识开发支持插件功能的应用程序必须解决一个问题：如何在主程序与插件间正确地互相通信。为了在主程序与插件之间能正确地互相通信，应该先制定一套通信标准，这套通信标准就是接口，主程序与插件只能通过制订好的接口进行通信。软件开发中，接口只是定义功能并规定调用功能的形式，而不包含功能的实现。接口实质上是软件模块的调用规范。在后
2014-11-01 14:40:59
11856
原创 C/C++拾遗:关于数组的指针和数组元素首地址的一道经典题
#include int main(void){ int a[5] = {1, 2, 3, 4, 5}; int *ptr = (int *)(&a+1); int *p1 = a; int *p2 = &a[0]; int *p3 = (int *)(&a); if(p1 == p2){ printf("p1 == p2\n"); }else{
2014-10-28 23:37:54
516
原创 各种排序算法总结
1 插入排序void InsertSort(int a[], int n){ for (inti=1;in; ++i) { int key = a[i]; int j = i - 1; while(j>=0 &&a[j]>key) { a[j
2014-10-28 23:26:07
439
原创 Flume 原理和使用
1. 介绍Flume 是 Cloudera 提供的日志收集系统，具有分布式、高可靠、高可用性等特点，对海量日志采集、聚合和传输，Flume 支持在日志系统中定制各类数据发送方，同时，Flume提供对数据进行简单处理，并写到各种数据接受方的能力。Flume 使用 java 编写，其需要运行在 Java1.6 或更高版本之上。官方网站：http://flume.apache.org/用
2014-10-21 23:44:14
3397
1
原创 Java 多线程多任务循环运行
import java.util.ArrayList;import java.util.Date;import java.util.HashMap;import java.util.List;import java.util.Map;public class ThreadManager { public List> initList = new ArrayList>(); publi
2014-10-18 11:55:30
758
原创 Java 线程安全：BlockingQueue(阻塞算法) VS ConcurrentLinkedQueue(非阻塞算法)
Java提供的线程安全的Queue可以分为阻塞队列和非阻塞队列，其中阻塞队列的典型例子是BlockingQueue，非阻塞队列的典型例子是ConcurrentLinkedQueue，在实际应用中要根据实际需要选用阻塞队列或者非阻塞队列。注：什么叫线程安全？这个首先要明确。线程安全的类 ，指的是类内共享的全局变量的访问必须保证是不受多线程形式影响的。如果由于多线程的访问（比如修改、遍历、查看
2014-10-18 09:59:03
3134
原创 C语言易混淆关键词详解-const, static, extern, typedef, 声明
ConstConst关键词并不能把一个变量变成一个常量, 在符号前加上const表示这个符号不能被赋值, 即他的值对这个符号来说是只读的, 但并不代表这个值不能用其他方法去改变. 通过下面的例子就能比较好理解,int i = 5;const int *a = &i;*a = 8; //报错, 只读不能赋值i = 10; //OKConst最有用处的地方是用它来限定函
2014-10-17 15:14:04
827
原创 C语言中的符号重载
C语言非常的简洁, 以至于不愿意用太多的符号, 这样有很多符号在不同的地方有不同的含义这样会让用户很困惑, 这是c的语言特性, 也是设计上的一些失误static 在函数内部，表示该变量的值在各个调用间一直保持延续性；对于函数，表示该函数只在本文件中可见extern 用于变量，表示该变量在其它地方定义；用于函数定义， 表示全局可见（属于冗余的）void
2014-10-17 15:13:09
726
1
原创 Java 正则表达式
1示例1-区间匹配比如匹配[1,2]正则表达式为：^[(\\[]\\d+,\\d+[)\\]]$注明：颜色便于拆分理解 2示例2-正整数匹配正则表达式为：^[1-9][0-9]*$ 3示例3-整数匹配正则表达式为：^-?[1-9][0-9]*$|0 （负整数、正整数、0） 4 示例4- 根据正则表达式截取字符串输入：{start : [{\"ver
2014-10-16 15:18:26
526
原创 Java 二维数组根据维度升序或降序排序
/*二维数组排序*/ public static String[][] arraySort( String array[][], int row, boolean sort,int len) { if( array!=null && len > 0 ) // 假如传入的输入不为 NULL 值 { // int len = array.length;
2014-10-16 13:51:02
8394
转载 Hive 中内部表与外部表的区别与创建方法
先来说下Hive中内部表与外部表的区别： Hive 创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径， 不对数据的位置做任何改变。在删除表的时候，内部表的元数据和数据会被一起删除， 而外部表只删除元数据，不删除数据。这样外部表相对来说更加安全些，数据组织也更加灵活，方便共享源数据。 需要注意的是传统数据库对表数据验证是 schema on wr
2014-10-15 23:58:27
478
转载 Impala与Hive的比较
1. Impala架构 Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL大数据查询工具，Impala没有再使用缓慢的Hive+MapReduce批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎（由Query Planner、Query Coordinator和Query Exec Engine三部分组成），可以直接从HDFS
2014-10-10 16:12:43
389
原创 Hadoop-Eclipse插件编译
Hadoop-Eclipse插件编译1.下载hadoop 1.2.1 （http://hadoop.apache.org/releases.html#Download），解压在自定义的一个目录中（最好全英文路径，试过中文路径除了问题）。2.Eclipse导入..\hadoop-1.2.1\src\contrib\eclipse-plugin项目，默认项目是MapReduceTo
2014-10-09 10:30:16
628
原创 Redis应用介绍
Redis应用介绍 1 Redis简介NoSQL数据库Ø NoSQL=Not Only SQL，是非关系型的数据库。是以Key-Value的形式存储，不一定遵循传统数据库的一些基本要求，例如：SQL标准、ACID属性（原子性（Atomicity）、一致性（Consistency）、隔离性（Isolation）、持久性（Durability）、结构化表结构等。Ø 主要特性：非
2014-10-08 21:02:00
481
原创 Mysql应用总结
Mysql应用总结1 层次树型查询SETFOREIGN_KEY_CHECKS=0; --------------------------------Function structure for getChildLst------------------------------DROPFUNCTION IF EXISTS `getChildLst`;DELIM
2014-10-08 20:28:30
443
原创 Oracle 应用总结
1 层次树型查询对具有层次树型结构的数据按照层次关系输出显示：selectfrom table_namewhere conditionstart with column='value'connect by prior 父主键=子外键 start with 子句标识一行作为层次树型查询中的根行，该行必须满足由此子句指定的条件。如果省略此子句，Oracle将表中所有
2014-10-08 20:24:26
526
原创 Gcc 编译与安装
Gcc 编译与安装（robinjun） 1 下载在GCC网站上(http://gcc.gnu.org)或者通过网上搜索可以查找到下载资源。目前GCC的最新版本为 4.2.1。可供下载的文件一般有两种形式：gcc-4.1.2.tar.gz和gcc-4.1.2.tar.bz2，只是压缩格式不一样，内容完全一致，下载其中一种即可。我安装下载的版本是gcc-4.6.1.tar.bz
2014-10-08 11:27:16
2308
原创 Linux-Unix-Shell实战实例
Linux-Unix-Shell实战实例 1 shell中如何判断一个变量是否为空1. 变量通过" "引号引起来 如下所示:，可以得到结果为 ISNULL.#!/bin/shpara1=if [ ! -n "$para1" ]; then echo "IS NULL"else echo "N
2014-10-03 13:03:16
617
原创 Linux-Unix系统操作与维护常用命令
Linux-Unix系统操作与维护常用命令(关注常用、实用目录) 1 Linux下挂载新建硬盘的方法1.1新硬盘分区及挂载进入系统后，用root用户操作: fdisk -l 会看到有一块新的设置,如果你先前有一块硬盘(sda, sda1...),新加的这块应该是(/dev/sdb)如果还有其它硬盘就会依次递增（/dev/sdc
2014-10-03 12:58:04
4535
原创 Mysql 索引与优化 加锁处理分析
Mysql 入门(robinjun)摘要1 Mysql介绍1.1 Mysql简介定义：MySQL 是一款优秀的开源小型关系数据库系统。历史：1. 1979年，始于一款报表工具、数据引擎。2. 1996年，发布 MySQL1.0 版本。3. 2000年，成立 MySQL AB公司。4. 2008年，Sun 以
2014-09-28 15:41:38
758
原创 Storm 实战入门
Storm 入门(wuchangjun)摘要 互联网从诞生的第一时间起，对世界的最大的改变就是让信息能够实时交互，从而大大加速了各个环节的效率。正因为大家对信息实时响应、实时交互的需求，软件行业除了个人操作系统之外，数据库（更精确的说是关系型数据库）应该是软件行业发展最快、收益最为丰厚的产品了。记得十年前，很多银行别说实时转 账，连实时查询都做不到，但是数据库和高速网络改变了
2014-09-28 15:33:37
2512
Unbuntu 命令大全
2012-07-18
Unbuntu配置ftp服务
2012-07-18
Ubuntu配置DNS
2012-07-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人