Hadoop安装与简单使用

安装Hadoop

Hadoop下载地址：https://archive.apache.org/dist/hadoop/common，选择自己要安装的版本，此处用的是2.7.2
1.用xftp工具将hadoop-2.7.2.tar.gz导入到opt目录下面的software文件夹下面
切换到sftp连接页面，选择Linux下编译的hadoop jar包拖入，
2.进入到Hadoop安装包路径下
cd /opt/software/
3.解压安装文件到/opt/module下面
tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/
4.查看是否解压成功
software]$ ls /opt/module/
hadoop-2.7.2

5、将Hadoop添加到环境变量
（1）pwd 命令获取Hadoop安装路径
/opt/module/hadoop-2.7.2
（2）打开/etc/profile文件

sudo vi /etc/profile
在profile文件末尾添加JDK路径：（shitf+g）
##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

（3）保存后退出
:wq
（4）让修改后的文件生效
source /etc/profile
6. 测试是否安装成功
hadoop version
Hadoop 2.7.2
7. 重启(如果Hadoop命令不能用再重启)
sudo reboot

Hadoop目录结构

1、ll 命令查看Hadoop目录结构
2、重要目录
（1）bin目录：存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本
（2）etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件
（3）lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）
（4）sbin目录：存放启动或停止Hadoop相关服务的脚本
（5）share目录：存放Hadoop的依赖jar包、文档、和官方案例

Hadoop运行模式

Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式，今天先搭建本地模式，后面补充

1.1 官方Grep案例
Hadoop官方网站：http://hadoop.apache.org/

1. 创建在hadoop-2.7.2文件下面创建一个input文件夹
   mkdir input
2. 将Hadoop的xml配置文件复制到input
   cp etc/hadoop/*.xml input
3. 执行share目录下的MapReduce程序
   bin/hadoop jar
   share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output ‘dfs[a-z.]+’
   cat output/*
   1.2 官方WordCount案例
4. 创建在hadoop-2.7.2文件下面创建一个wcinput文件夹
   mkdir wcinput
5. 在wcinput文件下创建一个wc.input文件
   cd wcinput
   wc.input
6. 编辑wc.input文件
   vi wc.input
   在文件中输入如下内容
   hadoop yarn
   hadoop mapreduce
   adc
   adc
   保存退出：：wq
7. 回到Hadoop目录/opt/module/hadoop-2.7.2
8. 执行程序
   hadoop jar
   share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount wcinput wcoutput
9. 查看结果
   cat wcoutput/part-r-00000
   adc2
   hadoop 2
   mapreduce 1
   yarn 1