spyiu的专栏

1、MapReduce理论简介 1.1 MapReduce编程模型　　MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是"任务的分解与结果的汇总"。　　在Hadoop中，用于执行MapReduce任务的机器角色有两个：一个是Job

通过对Hadoop分布式文件系统的的基本使用，对HDFS Shell的基本操作进行如下总结1.HDFS Shell基本操作总结1.1 浏览你的HDFS目录[root@slave1 bin]# hadoop fs -ls1.2 上传数据到HDFS上传：[root@slave1 bin]# hadoop fs -put ../co

转自 http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503925.html1、SecureCRT简介 　　SecureCRT是一款支持SSH（SSH1和SSH2）的终端仿真程序，同时支持Telnet和rlogin协议。SecureCRT是一款用于连接运行包括Windows、UNIX和VMS的远程系统的理想工具。通过使用内

转自 http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html1、集群部署介绍 1.1 Hadoop简介 　　Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（

转自 http://www.cnblogs.com/xia520pi/archive/2012/05/16/2504132.html1、Linux配置java环境变量 1.1 原文出处    地址：http://blog.csdn.net/jiedushi/article/details/6672894 1.2 解压安装jdk　　在shell终端下进入jdk-6

1、准备安装 1.1 系统简介　　CentOS 是什么？  　　CentOS是一个基于Red Hat企业级 Linux 提供的可自由使用的源代码企业级的 Linux 发行版本。每个版本的CentOS 都会获得七年的支持（通过安全更新方式）。新版本的CentOS 每两年发行一次，而每个版本的 CentOS 会定期（大概每六个月）更新一次，以便支持新的硬件。这样，建立一

转自 http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503837.html1、分布式环境搭建　　采用4台安装Linux环境的机器来构建一个小规模的分布式集群。图1 集群的架构 　　其中有一台机器是Master节点，即名称节点，另外三台是Slaver节点，即数据节点。这四台机器彼此间通过路由器相连，从而实验相互通信以及

转自 http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503864.html1、VSFTP简介　　VSFTP是一个基于GPL发布的类Unix系统上使用的FTP服务器软件，它的全称是Very Secure FTP 从此名称可以看出来，编制者的初衷是代码的安全。　　安全性是编写VSFTP的初衷，除了这与生俱来的安全特性以外，高

Sqoop 用户帮助文档：http://sqoop.apache.org/docs/1.4.1-incubating/SqoopUserGuide.html