Hadoop实验准备工作
说明:
将实训所需的资料和实验所需依赖放在该文章内,便于以后查看!
一、实验环境
- 虚拟机:VMware/VirtualBox
- Centos7镜像:CentOS-7-x86_64-DVD-1511.iso
- JDK: jdk-8u171-linux-x64.tar.gz (建议与我保持一致)
- Hadoop:hadoop-2.7.3.tar.gz(建议与我保持一致)
- 连接工具:MobaXterm_Portable 或FinalShell(可选)
- 开发工具:IDEA
- 所需软件(除IDEA外)下载路径:
链接:https://pan.baidu.com/s/1BYaMskazxKYheZa3GFRkZg 提取码:98c0
二、两种依赖引入方式
- Maven方式进行引入(建议使用)
在pom.xml中需要引入的依赖如下所示:<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.7.3</version> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> <version>2.7.3</version> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-mapreduce-client-common</artifactId> <version>2.7.3</version> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-mapreduce-client-core</artifactId> <version>2.7.3</version> </dependency>
- 导入外部Jar包方式
maven无法添加依赖需要手动导入依赖包如下:$HADOOP_HOME/share/hadoop/common $HADOOP_HOME/share/hadoop/common/lib $HADOOP_HOME/share/hadoop/hdfs $HADOOP_HOME/share/hadoop/hdfs/lib $HADOOP_HOME/share/hadoop/mapreduce $HADOOP_HOME/share/hadoop/mapreducel/lib $HADOOP_HOME/share/hadoop/yarn $HADOOP_HOME/share/hadoop/yarn/lib
$HADOOP_HOME是Hadoop安装路径下或者解压路径
上述会存在一些相同的包,复制到工程lib中时选择覆盖即可
三、安装约定
实验时,为避免大家少出错和节省大家时间,建议所有实验环境尽可能保持与我一致。另外,鉴于教授两届学生所得到的经验,大家对于Linux的相关操作几乎都不太熟悉,故做如下约定:
- 软件安装时使用
root
用户进行安装(生产环境谨慎
) - 软件程序包所在路径为:
/tools
(需事先创建) - 软件安装的路径为:
/training
(需要事先创建)
希望大家都能一起学习,相互交流,共同成长,着眼当下,未来可期,学无止境,努力成为心之所想的人吧!!!!