yiwaka2013的专栏

一．Hadoop hadoop集群：通过在各个物理节点上安装这个小软件，然后将其运行起来，就是一个hadoop分布式集群。可以通过虚拟机来实施集群环境来模拟物理节点。 二．前提条件 电脑配置：需在4G，最好8G、16G。 前提条件：安装Vmware，并安装三台linux系统（可通过复制实现安装）。 三个结点：按照hadoop集群的基本要求，其中一个是master结点，主要是用于运行had

5. hadoop安装包 master结点上，将其解压到/home/zhm/hadoop下。 6. JDK/Hadoop路径配置 将JDK解压在/opt/jdk1.7.0*目录下。然后，修改/etc/profile文件，在最后添加： 然后，执行如下操作让配置立即生效，即： 该操作，要在每个结点上配置（其它结点的hadoop在后面会复制过来）。 若出现如下问题： 解决办法：

一. 验证hadoop的hdfs文件系统功能是否正常 安装好Hadoop后，其hdfs文件系统是空的。Hdfs实现文件的管理操作。此时，查看hdfs目录，将出现“cannot access …”错误。如下： 1.       从linux系统中将文件copy到hadoop的hdfs中。 首先，在linux系统中常见input（或file）文件夹，并在其中创建test1.txt和test

二. 验证hadoop的map-reduce功能是否正常        Map-reduce主要实现作业的处理。通过执行一个map-reduce程序，分析结果是否正确。本文通过hadoop自带的统计单词的WordCount.java进行测试。 1、执行后，正确页面。 该步若出现如下错误： 则修改salve结点的hosts文件。        执行完毕后，再次查看hdfs系统。

一.功能实现： 1：将本地文件上传到HDFS上 2：从HDFS上读取文件到本地 3：删除HDFS上的文件 4：遍历HDFS上的文件 注： 1：导入google-collections-xx.jar文件。 2：文件目标地址要具体到文件名，而不能是文件夹。 二.代码实现： package com.hdfs; import java.io.BufferedInputStream;