一、实验环境
- 操作系统:Linux
- 实验软件:VMware
- Hadoop版本:3.1.3
- JDK版本:1.8
(注意:Hadoop3.1.3要求JDK版本在1.8及以上)
二、实验内容
a.准备工作
- 下载Hadoop
注意:在虚拟机内的浏览器打开网址更方便
Hadoop下载地址
- 更新apt
sudo apt-get update
3. 安装vim编辑器
sudo apt-get install vim
b.安装ssh并设置免密登录
- 安装ssh
sudo apt-get install openssh-server
2. 登录(需要密码)
ssh localhost
3. 免密登录
exit #退出
cd ~/.ssh/
ssh-keygen -t rsa
cat ./id_rsa.pub >> ./authorized_keys #授权
ssh localhost #无需密码
c.安装Java环境
- 在Ubuntu内的火狐浏览器打开默认下载到/home/Downloads/下 JDK下载官网网址
注意:JDK版本需在1.8及以上 - 在用户名为hadoop的用户下执行shell命令,若不是该用户则先创建一个hadoop用户
cd /usr/lib
sudo mkdir jvm #用于存放JDK文件
cd ~/Downloads
sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm #解压到指定目录
3. 配置环境变量
cd ~
vim ~/.bashrc
#进入.bashrc文件中添加如下内容
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
source ~/.bashrc #使.bashrc文件的配置生效
java -version #查看是否安装成功
d.Hadoop的伪分布式安装
- 解压Hadoop压缩包到指定路径
sudo tar -zxvf ~/Downloads/hadoop-3.1.3.tar.gz -C /usr/local
2. 查看Hadoop版本并检查是否安装成功
cd /usr/local/
sudo mv ./hadoop-3.1.3/ ./hadoop # 将文件夹名改为hadoop
sudo chown -R hadoop ./hadoop #修改文件权限
cd hadoop
./bin/hadoop version #查看版本是否成功
3. 配置环境变量
vim ~/.bashrc
#添加如下内容
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
#保存并退出后使环境变量配置生效
source ~/.bashrc
- 修改core-site.xml配置文件
注意:xml格式以name与value的形式实现
cd /usr/local/hadoop/etc/hadoop
vim core-site.xml
修改内容如下:
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
- 修改core-site.xml配置文件
注意:xml格式以name与value的形式实现
cd /usr/local/hadoop/etc/hadoop
vim hdfs-site.xml
修改内容如下:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
</configuration>
6. NameNode格式化
cd /usr/local/hadoop
./bin/hdfs name -format
7. 开启namenode与datanode进程
cd /usr/local/hadoop
./sbin/start-dfs.sh
8. jps查看启动是否成功
jps
9. 关闭namenode与datanode进程
cd /usr/local/hadoop
./sbin/stop-dfs.sh