安装Hadoop
Hadoop下载地址:https://archive.apache.org/dist/hadoop/common,选择自己要安装的版本,此处用的是2.7.2
1.用xftp工具将hadoop-2.7.2.tar.gz导入到opt目录下面的software文件夹下面
切换到sftp连接页面,选择Linux下编译的hadoop jar包拖入,
2.进入到Hadoop安装包路径下
cd /opt/software/
3.解压安装文件到/opt/module下面
tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/
4.查看是否解压成功
software]$ ls /opt/module/
hadoop-2.7.2
5、将Hadoop添加到环境变量
(1)pwd 命令获取Hadoop安装路径
/opt/module/hadoop-2.7.2
(2)打开/etc/profile文件
sudo vi /etc/profile
在profile文件末尾添加JDK路径:(shitf+g)
##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH= P A T H : PATH: PATH:HADOOP_HOME/bin
export PATH= P A T H : PATH: PATH:HADOOP_HOME/sbin
(3)保存后退出
:wq
(4)让修改后的文件生效
source /etc/profile
6. 测试是否安装成功
hadoop version
Hadoop 2.7.2
7. 重启(如果Hadoop命令不能用再重启)
sudo reboot
Hadoop目录结构
1、ll 命令查看Hadoop目录结构
2、重要目录
(1)bin目录:存放对Hadoop相关服务(HDFS,YARN)进行操作的脚本
(2)etc目录:Hadoop的配置文件目录,存放Hadoop的配置文件
(3)lib目录:存放Hadoop的本地库(对数据进行压缩解压缩功能)
(4)sbin目录:存放启动或停止Hadoop相关服务的脚本
(5)share目录:存放Hadoop的依赖jar包、文档、和官方案例
Hadoop运行模式
Hadoop运行模式包括:本地模式、伪分布式模式以及完全分布式模式,今天先搭建本地模式,后面补充
1.1 官方Grep案例
Hadoop官方网站:http://hadoop.apache.org/
- 创建在hadoop-2.7.2文件下面创建一个input文件夹
mkdir input - 将Hadoop的xml配置文件复制到input
cp etc/hadoop/*.xml input - 执行share目录下的MapReduce程序
bin/hadoop jar
share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output ‘dfs[a-z.]+’
cat output/*
1.2 官方WordCount案例 - 创建在hadoop-2.7.2文件下面创建一个wcinput文件夹
mkdir wcinput - 在wcinput文件下创建一个wc.input文件
cd wcinput
wc.input - 编辑wc.input文件
vi wc.input
在文件中输入如下内容
hadoop yarn
hadoop mapreduce
adc
adc
保存退出::wq - 回到Hadoop目录/opt/module/hadoop-2.7.2
- 执行程序
hadoop jar
share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount wcinput wcoutput - 查看结果
cat wcoutput/part-r-00000
adc2
hadoop 2
mapreduce 1
yarn 1