- 博客(213)
- 资源 (9)
- 收藏
- 关注
RSS订阅转载 BI项目中的ETL设计详解（数据抽取、清洗与转换）
ETL是BI项目最重要的一个环节，通常情况下ETL会花掉整个项目的1/3的时间，ETL设计的好坏直接关接到BI项目的成败。ETL也是一个长期的过程，只有不断的发现问题并解决问题，才能使ETL运行效率更高，为项目后期开发提供准确的数据。ETL的设计分三部分：数据抽取、数据的清洗转换、数据的加载。在设计ETL的时候也是从这三部分出发。数据的抽取是从各个不同的数据源抽取到ODS中(这个过程也可以做一
2017-10-20 14:23:09
8926
翻译 Golang Thrift Hive
package mainimport ( hive "github.com/araddon/hive" "log" "fmt")func init() { hive.MakePool("localhost:10000")}func main() { conn, err := hive.GetHiv
2016-10-13 16:57:47
2804
原创 Java Thrift Hive
import java.util.List;import org.apache.hadoop.hive.service.HiveClient;import org.apache.hadoop.hive.service.HiveServerException;import org.apache.thrift.TException;import org.apache.thrif
2016-10-13 16:39:25
1934
转载 Java Code Examples for com.sun.net.httpserver.HttpExchange.getResponseHeaders()
The following are Jave code examples for showing how to use getResponseHeaders()of thecom.sun.net.httpserver.HttpExchange class. You can vote up the examples you like. Your votes will be used in o
2016-10-13 16:24:28
5212
转载 通信协议—HTTP、TCP、UDP
CP HTTP UDP:都是通信协议，也就是通信时所遵守的规则，只有双方按照这个规则“说话”，对方才能理解或为之服务。TCP HTTP UDP三者的关系:TCP/IP是个协议组，可分为四个层次：网络接口层、网络层、传输层和应用层。在网络层有IP协议、ICMP协议、ARP协议、RARP协议和BOOTP协议。在传输层中有TCP协议与UDP协议。在应用层有FTP、HT
2015-12-04 11:14:45
563
转载 vim中taglist无法显示问题
以前在fedora中使用使用taglist一直正常；今天在ubuntu中配置了vim，但是taglist无法正常显示函数及变量列表；查看文件目录下面也生成了tags的文件，说明ctags也安装没问题；后来goolge好久，找到了解决办法： 1、打开文件： vim ~/.vim/plugin/taglist.vim 2、在taglist.vim中查找 /l
2014-11-13 17:29:31
4170
翻译 6点
Keep it simple - complexity will come naturally over time.Automate everything, including failure recovery.Iterate your solutions - be prepared to throw away a working component when you want t
2014-10-29 17:41:09
633
转载 正则表达式工作原理
粗浅地编写正则表达式是造成性能瓶颈的主要原因，但还有很多可以改进正则表达式效率的地方。两个正则表达式匹配相同的文本并不意味着他们具有同等的速度。 许多因素影响正则表达式的效率，首先，正则表达式适配的文本千差万别，部分匹配时比完全不匹配所用的时间要长。每种浏览器的正则表达式引擎也有不同的内部优化。 为了有效地使用正则表达式，重要的是理解它们的工作原理。下面是一个正则表达式
2014-05-20 15:01:48
759
转载 60个开发者不容错过的免费资源库
摘要：文章里收集了60个免费的开发资源库，它们种类丰富，功能齐全。这些资源包括Fitgrd、Horizontal menu、Upload form、Minimalistic、Fries、Linecons、Windows和Transit。希望它们在开发道路上能够助你一臂之力。文章作者Juan Pablo Sarmiento收集了60个较为实用、高效的工具资源库，可以帮助开发者快速创建各种
2013-08-28 18:15:29
1091
转载 【转】Epoll模型
Linux 2.6内核中提高网络I/O性能的新方法-epoll I/O多路复用技术在比较多的TCP网络服务器中有使用，即比较多的用到select函数。1、为什么select落后 首先，在Linux内核中，select所用到的FD_SET是有限的，即内核中有个参数__FD_SETSIZE定义了每个FD_SET的句柄个数，在我用的2.6.15-25-386内核中，该值是1024，搜索
2013-06-21 14:21:28
705
原创 java简单客户端服务端
import java.net.*;import java.io.*;public class Service{public static void main(String[] args){InputStream in = null;OutputStream out = null;int port = 33333;try {ServerSoc
2013-06-07 22:29:54
877
原创 Java 生产者和消费者问题
运行结果：code:class Info {private String name = "Carter";private int age = 25;public String getName() {return name;}public void setName(String name) {this.name = name;}
2013-06-07 19:11:01
692
转载 Java中Runnable和Thread的区别
在java中可有两种方式实现多线程，一种是继承Thread类，一种是实现Runnable接口；Thread类是在java.lang包中定义的。一个类只要继承了Thread类同时覆写了本类中的run()方法就可以实现多线程操作了，但是一个类只能继承一个父类，这是此方法的局限。下面看例子：package org.thread.demo; class MyThread extends Th
2013-06-07 18:45:55
584
转载 如果你很迷茫，就好好读读这8句话
1. 如果你不喜欢现在的工作，要么辞职不干，要么就闭嘴不言。初出茅庐，往往眼高手低，心高气傲，大事做不了，小事不愿做。不要养成挑三拣四的习惯。不要雨天烦打伞，不带伞又怕淋雨，处处表现出不满的情绪。记住，不做则已，要做就要做好。 2. 每个人都有孤独的时候。要学会忍受孤独，这样才会成熟起来。年轻人嘻嘻哈哈、打打闹闹惯了，到了一个陌生的环境，面对形形色色的人和事，一下子不知所措起来，有时连一个
2013-04-09 18:36:55
636
转载 程序员如何增加收入
2013-03-19 腾讯科技下班途中，您是否还在为拥堵的路况堵心、无聊的时间不知如何打发？在这个时间段，腾讯科技特意精选好文章，让您的路上不再枯燥。今日推荐是名为cheny_com的博主经验分享，以下为全文：程序员的收入是广受关注的问题，很多人从业3~5年之后就会遇到这个收入瓶颈。尽管物价不断上涨，程序员尤其是初、中级程序员的收入不升反降。即使上次在某个文章中看到有中国第一程序员之称的某
2013-03-20 11:44:11
819
转载 C语言经典算法100例
题目：古典问题：有一对兔子，从出生后第3个月起每个月都生一对兔子，小兔子长到第三个月后每个月又生一对兔子，假如兔子都不死，问每个月的兔子总数为多少？__________________________________________________________________程序分析：兔子的规律为数列1,1,2,3,5,8,13,21....
2013-01-16 21:46:19
902
原创 现在为什么面对着人多，陌生人的时候会紧张？
昨天、BTV到公司录制“最强阵容”节目。我很荣幸被选出来唱首歌。当看到BTV节目组员工来录制的时候，心里确很紧张。在节目组录制节目过程中，确实也有很多人因为紧张重新录制，重新录制着。。。终于到我了。原本已经准备好的歌曲，却唱忘了词。后来，在我的要求下 换了首歌曲。最后结束了录制。为什么现在会这样？唱歌也算是我现在的强项了。可能
2013-01-12 08:52:50
1125
转载 【转】杀人后一个孩子的做法…不看你会后悔的…
有个男孩17~18岁家里很有钱，整天在外面和他的朋友们吃啊，喝啊，打架。有一天他的父亲问他：“你有多少朋友”男孩回答：“我有好多”父亲：“那你照我说的去做，先在你的白衬衫上洒点鸡血，然后拿去找你的朋友说你杀人了，看看他们的反映”男孩照这父亲的话做了，去找他认为最要好的朋友，找到第一个朋友。朋友1：“你这是怎么了，一身血”男孩：“兄弟，我杀人了，借点钱给我，让我到外面躲一躲行
2013-01-06 22:26:32
1149
转载 通用Makefile
[python] view plaincopyCC = gcc LD = gcc CFLAGS = -Wall SRC = $(wildcard *.c) OBJ = $(SRC:.c=.o) TAR = main DEP = $(SRC:.c=.mk) .PHONY: all all: $(OBJ) $(DEP)
2012-12-06 21:33:14
437
原创 Linux 简单多线程
#include #include using namespace std;#define NUM 6void *thread_function(void* arg);int main(){int res, index;pthread_t threadID[NUM];void *thread_result;for(inde
2012-11-29 13:52:38
534
原创 Linux 线程取消
#include #include using namespace std;void *thread_function(void* arg);int main(void){int res;pthread_t threadID;void *thread_result;res = pthread_create(&threadID, NUL
2012-11-29 11:14:41
596
原创 Linux 线程调试
#include #include #include void * child_thread(void* arg){int policy;int max_priority, min_priority;struct sched_param param;pthread_attr_t attr;pthread_attr_init(&attr);pt
2012-11-28 11:30:50
486
原创 Linux 线程属性的使用
线程属性 线程具有属性，用pthread_attr_t表示，在对该结构进行处理之前必须进行初始化，在使用后需要对其去除初始化。我们用pthread_attr_init函数对其初始化，用pthread_attr_destroy对其去除初始化。．名称:：pthread_attr_init/pthread_attr_destroy功能：
2012-11-27 20:57:20
547
原创 Linux 线程与互斥锁的使用
互斥锁的基本函数和用于信号量的函数非常相似：#include int pthread_mutex_init(pthread_mutex_t *mutex, const pthread_mutexattr_t, *mutexattr);int pthread_mutex_lock(pthread_mutex_t *mutex);int pthread_mutex_un
2012-11-26 20:41:44
464
原创 Linux 线程的创建与结束
#include #include #include #include using namespace std;char message[] = "init message !";void* thread_function(void *);int main(){ int res; pthread_t tid;
2012-11-26 20:00:49
453
转载 AIX命令参考大全，卷 4，n - r
AIX命令参考大全，卷 4，n - rprof 命令用途显示对象文件概要文件数据。语法prof [ -t | -c | -a | -n ] [ -o | -x ] [ -g ] [ -z ] [ -h ] [ -s ] [ -S ] [ -v ] [ -L PathName ] [ Program ] [ -m Moni
2012-11-21 13:11:43
910
原创 字典应用例子
#include #include #include #include #define MAXWORD 50#define DICTSIZ 100char dict[DICTSIZ][MAXWORD+1];//字典中字母数int nwords = 0;int nextin(char* cmd, char* word);int init
2012-11-19 20:06:11
644
转载 倒排索引 - C/C++
hibase 是一个基于倒排索引库libibase的检索系统, libsbase为基础通信库的一套完整搜索引擎系统.支持增量在线实时索引/实时更新int/long/double类型字段支持BM25检索算法支持上下文邻近位置标注的中文短句检索支持多字段检索支持聚类（group）支持数据风险安全过滤(预先处理)支持数据cache时长自定义支持自定义打分基数支持int
2012-11-18 17:12:58
3268
转载 Apache Lucene与Lucene.Net——全文检索服务器
lucene学习教程 1.1 什么是lucene Lucene是一个全文搜索框架，而不是应用产品。因此它并不像www.baidu.com 或者google Desktop那么拿来就能用，它只是提供了一种工具让你能实现这些产品。 2 lucene的工作方式 lucene提供的服务实际包含两部分：一入一出。所谓入是写入，即将你提供的源（本质
2012-11-18 17:08:48
743
转载 倒排索引
倒排索引（英语：Inverted index），也常被称为反向索引、置入档案或反向档案，是一种索引方法，被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射。它是文档检索系统中最常用的数据结构。有两种不同的反向索引形式：一条记录的水平反向索引（或者反向档案索引）包含每个引用单词的文档的列表。一个单词的水平反向索引（或者完全反向索引）又包含每个单词在一个文档中的位置
2012-11-18 17:04:49
524
转载 向量空间模型
向量空间模型 (或者 词组向量模型) 作为向量的标识符（比如索引），是一个用来表示文本文件的代数模型。它应用于信息过滤、信息检索、索引以及关联规则。SMART是第一个使用这个模型的信息检索系统。目录 [隐藏] 1 定义2 应用3 范例: tf-idf 权重4 优点5 局限6 基于模型的以及扩展的向量空间模型7 以向量空间模型为工具的软件7.1 免费
2012-11-18 17:03:16
2638
原创 Linux msgqueue
mq.c#include #include #include #include #include #include #define MAX_SEND_SIZE 80struct mymsgbuf{long mtype;char mtext[MAX_SEND_SIZE];};void send_message(int qid,
2012-11-01 14:39:07
982
翻译 mysql处理上百万条的数据库如何优化语句来提高处理查询效率
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t where num is null可以在num上设置默认值0，确保表中num列没有null值，然后这样查询：select id f
2012-10-22 14:20:43
6485
原创 进程同步，wait返回值
#include #include #include #include int main(){ int pid, status, exit_status; pid=fork(); if (pid { perror("fork failed\n"); exit(1); }
2012-09-28 14:18:47
920
原创 C strtok strtok_r
#include #include int main(){ /* char str[16] = "host:12306"; char *p; p = strtok(str,":"); if(p) printf("%s\n", p); p = strtok(NULL, ",");
2012-09-28 12:00:57
1827
转载 jquery异步上传文件
一、创建input元素[html] view plaincopyinput type="file" id="fileToUpload" name="fileToUpload" value="浏览"/> 二、导入jquery.js和ajaxfileupload.js文件[javascript] vi
2012-09-20 15:51:34
1605
原创 孤儿进程组
孤儿进程组定义为：该组中每个成员的父进程要么是该组的一个成员，要么不是该组所属会话的成员。 如果某个进程终止，使得某个进程组成为孤儿进程组的话，系统会向孤儿进程组里面每个处于停止状态进程发送一个SIGHUP信号， 然后发送SIGCONT信号。#include #include #include #include #include #include stati
2012-09-14 17:23:33
876
原创 特殊设备文件
stdev是设备号，分为主次设备号：major(buf.st_dev) //主设备号minor(buf.st_dev) //次设备号主设备号表示设备驱动程序，而次设备号表示特定的子设备。比如在同一个磁盘上面 不同的文件系统，设备驱动程序相当，但是次设备号不同。strdev只有字符特殊文件和块特殊文件才有这个值，表示实际设备的设备编号。#include #include
2012-09-13 16:29:24
807
原创 linux创建进程
linux下进程的创建有两种途径，一种是用一个进程来创建另一个进程，则这个创建的进程则作为父进程，被创建的进程将作为子进程。另一种方式就是由系统来创建，比如我们打开一个应用程序，这时的进程则由系统来创建。在进程被创建之后就要为其分配一定的资源。在系统运行时就创建了几个进程，这几个进程被称为系统进程，以后的创建的进程都是直接或间接的由它们来分配资源。一个进程创建之后系统就为其分配进程ID，当这个进程
2012-09-06 19:49:51
821
原创 sigaction函数使用实例
sigaction函数（1）sigaction函数原型sigaction函数用来查询和设置信号处理方式，它是用来替换早期的signal函数。sigaction函数原型及说明如下： sigaction（查询和设置信号处理方式） 所需头文件#include
2012-09-05 20:51:05
1221
Wrox.-.Beginning.Php,.Apache,.Mysql.Web.Development.(2004)
2011-05-25
比较不错的Flex 教程
2010-05-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人