hadoop的环境搭建

 

hdfs有三种版本：单机版   伪分布式版   全分布式版

1.单机版的安装：

首先将安装包拖入sftp工具中，解压：tar -zxvf hadoop-2.7.1.tar.gz -C /usr/local

配置环境变量：vi  /etc/profile

export HADOOP_HOME=/usr/local/hadoop-2.7.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

然后重新配置一下：source /etc/profile

安装完毕

查看hadoop版本：hadoop version           注意这里跟java不同  没有-

还需要配置运行变量：

这时切换到 ll /usr/local   

发现hadoop-2.7.1  这行存在权限问题

修改所有权：chown -R root:root hadoop-2.7.1 

再vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh     慢慢摁↓键 找到修改

在/usr/local/hadoop-2.7.1/share/hadoop/mapreduce路径的hadoop-mapreduce-examples-2.7.1.jar包里封装了一些测试方法

（测试要在/usr/local/hadoop-2.7.1/share/hadoop/mapreduce路径下进行）

测试案例1：词频统计wordcount

首先创建输入路径（在母目录下创建）输入路径也可以是已经存在的路径，但是里面一定要有能查看（cat）的文件

开始测试：hadoop jar 包名 输入路径  输出路径              这里注意输出路径不能存在，命令会自动创建一个

这时可切换到输出目录下看一下

第一个文件表示数据：可以用cat查看

第二个表示成功

测试案例2：pi（圆周率）

这里第一个10表示要执行10次map任务

第二个10表示投掷次数

 

测试案例3：sudoku（九宫格）

在指定的目录建立一个TXT文件 把要解密的九宫格放入（不需要输出文件）