2012年02月_moneyisfrist

原创 hadoop MapReduce join

1. 概述在传统数据库（如：MYSQL）中，JOIN操作是非常常见且非常耗时的。而在HADOOP中进行JOIN操作，同样常见且耗时，由于Hadoop的独特设计思想，当进行JOIN操作时，有一些特殊的技巧。本文首先介绍了Hadoop上通常的JOIN实现方法，然后给出了几种针对不同输入数据集的优化方法。2. 常见的join方法介绍假设要进行join的数据分别来自File1和Fil...

2012-02-14 21:02:23 100

原创 zookeeper管理分布式服务

推荐文章：http://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/对zookeeper对于分布式服务的管理，分布式服务框架的leader选择，多进程共享锁，都有所详解质数一定不能被2整除。合数一定能被2整除...

2012-02-09 10:18:34 84

原创 hadoop的五个守护进程

一般如果正常启动hadoop，我们可以在master上通过jps命令看到以下5个daemons:[root@master ~]# jps19803 SecondaryNameNode19994 TaskTracker31144 Jps19571 NameNode19672 DataNode19887 JobTracker 下面依次介绍这些进程：1. NameNo...

2012-02-06 16:57:05 1125

原创 Hadoop中的子项目Zookeeper能做什么

2012-02-06 16:51:20 126

原创 hadoop NameSpace

（1）NameNode保存的两种信息：文件和block的映射、block和DataNode的映射。文件和block的映射，固化在磁盘上。而block和DataNode的映射在DataNode启动时上报给NameNode（2）DatanodeProtocol：用于DataNode来调用NameNode上的方法，情景是DataNode向NameNode通信，方法参数传递到NameNode上...

2012-02-06 16:36:09 877

原创规则引擎

在招商报名系统中，需要对店铺和商品的资质进行筛选。这个筛选过程比较复杂，因此开发了一个规则引擎来保存、解析和执行规则。在规则引擎中，有几个主要的抽象模型：规则、操作符、执行引擎1. 规则在规则引擎中，规则是树状结构的，由一个根节点和若干个子节点组成。对应的java类是Rule，该类的属性有：ruleDO(RuleDO)，parent(Rule),children(List&lt...

2012-02-04 17:17:21 199

原创 Hbase简绍

hbase 介绍一、简介history started by chad walters and jim2006.11 G release paper on BigTable2007.2 inital HBase prototype created as Hadoop contrib2007.10 First useable Hbase2008.1 Hadoop ...

2012-02-03 11:51:01 100

原创 join

sales thingsJoinLeft outer joinRight outer joinFull outer joinLeft semi join

2012-02-03 10:07:22 104

原创 Union union all

SQL UNION 操作符UNION 操作符用于合并两个或多个 SELECT 语句的结果集。请注意，UNION 内部的 SELECT 语句必须拥有相同数量的列。列也必须拥有相似的数据类型。同时，每条 SELECT 语句中的列的顺序必须相同。SQL UNION 语法SELECT column_name(s) FROM table_name1UNIONSELECT co...

2012-02-03 09:40:31 103

原创一致性hash在分布式缓存中的应用

Consistent Hashing 一致性哈希算法小计：一致性hash在分布式缓存中的应用可以在服务器拓扑结构，添加机器发生变化时，影响最小，避免大量的缓存失效，都落在数据硬件上，从小导致当机，只影响到添加机器的后面一台机器今天看豆瓣的架构PPT，其中有谈到Consistent Hashing的算法，网上搜了下，发现这方面的介绍也不算多。通常比较常用的使用地方就是memcach...

2012-02-02 22:01:30 91

原创 bash脚本

#!/bin/bashsource /etc/profilesource ~/.bash_profilesource /home/suoni/bp/bin/env.shexport LANG=zh_CN.GB18030REPORT_HOME="/home/****/report"for name in $REPORT_HOME/* do if [ -d "$...

2012-02-01 15:27:42 106

moneyisfrist的专栏