bingjie1217的专栏

1.数据2006年的数据量为0.18ZB(1ZB=1000 000PB=10^9TB),预测2011年数据量为1.8ZB(相当于全球60亿人每人一个300G容量的硬盘存储的容量)2.数据存储分析Hadoop提供了一个可靠的数据共享存储和分析系统，HDFS实现存储，MapReduce实现分析处理，HDFS和MapReduce是Hadoop的核心。3.Apache Hadoop和H

1.     系统初始化一)软件准备 1）VMware-workstation-full-8.0.4-744019.exe（license key :NF64A-DMJ92-TZNQO-9VCXK-AAJJT）2）(ubuntu-11.10-server-i386.iso) 3）hadoop-1.0.3.tar.gz（1.0.3）4）ssh secure shell

1.     脚本调用图2.     start-all.sh此脚本很简单，就是根据运行此脚本的目录进入安装hadoop目录下的bin目录，然后运行启动hdfs和mapred的启动脚本。hadoop默认优先加载libexec/hadoop-config.sh。libexec/hadoop-config.sh与bin/hadoop-config.sh初始内容一样。# Start

1.       Configurationorg.apache.hadoop.conf.Configuration Ø  配置信息来源static{    //printdeprecation warning if hadoop-site.xml is found in classpath    ClassLoader>    if (cL == null){

log4j.propertites# Define some default values that can be overridden by system propertieshadoop.root.logger=INFO,consolehadoop.log.dir=.hadoop.log.file=hadoop.log## Job Summary Appender ##

hadoop不同版本之间的集群复制。1.基础使用hadoop distcp 来进行集群间的数据复制。2.实战如果两个集群之间版本不一样，应该这样来复制。hadoop  distcp   hftp://source/source  hdfs://dest:9000/source为啥是hftp呢，因为不同版本rpc不太一样。如果一个集群闲置，尽量使用它的MR能力。有一个要注

两个可以直接通信的集群之间很容易拷贝数据从而迁移HBase数据。但是如果两个集群在不同的网络，没法通信呢？今天测试了一个方案：把某个表(table1)从集群1迁移到集群2（两个集群互相看不见），步骤如下1、拷贝集群1的表文件到本地磁盘 :/app/cloud/Hadoop/bin/hadoop fs -copyToLocal /hbase/table1 /data0/hbase