hdfs有三种版本:单机版 伪分布式版 全分布式版
1.单机版的安装:
首先将安装包拖入sftp工具中,解压:tar -zxvf hadoop-2.7.1.tar.gz -C /usr/local
配置环境变量:vi /etc/profile
export HADOOP_HOME=/usr/local/hadoop-2.7.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
然后重新配置一下:source /etc/profile
安装完毕
查看hadoop版本:hadoop version 注意这里跟java不同 没有-
还需要配置运行变量:
这时切换到 ll /usr/local
发现hadoop-2.7.1 这行存在权限问题
修改所有权:chown -R root:root hadoop-2.7.1
再vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh 慢慢摁↓键 找到修改
在/usr/local/hadoop-2.7.1/share/hadoop/mapreduce路径的hadoop-mapreduce-examples-2.7.1.jar包里封装了一些测试方法
(测试要在/usr/local/hadoop-2.7.1/share/hadoop/mapreduce路径下进行)
测试案例1:词频统计wordcount
首先创建输入路径(在母目录下创建)输入路径也可以是已经存在的路径,但是里面一定要有能查看(cat)的文件
开始测试:hadoop jar 包名 输入路径 输出路径 这里注意输出路径不能存在,命令会自动创建一个
这时可切换到输出目录下看一下
第一个文件表示数据:可以用cat查看
第二个表示成功
测试案例2:pi(圆周率)
这里第一个10表示要执行10次map任务
第二个10表示投掷次数
测试案例3:sudoku(九宫格)
在指定的目录建立一个TXT文件 把要解密的九宫格放入(不需要输出文件)