安装Hadoop

最新推荐文章于 2022-04-29 09:19:51 发布

black_zt666

最新推荐文章于 2022-04-29 09:19:51 发布

阅读量278

点赞数

分类专栏：大数据文章标签： hadoop

本文链接：https://blog.csdn.net/black_zt666/article/details/106387507

版权

大数据专栏收录该内容

1 篇文章 0 订阅

订阅专栏

实验名称: 安装Hadoop
一．实验目的
1.掌握Linux虚拟机安装方法或者双操作系统安装方法。Hadoop在Linux操作系统上运行可以发挥最佳性能，鉴于目前很多读者可能正在使用Windows操作系统，因此，为了完成本书的后续实验，这里有必要通过本实验让读者掌握在Windows操作系统上搭建Linux虚拟机的方法，以及安装双操作系统的方法（同时安装Windows和Linux系统，电脑开机时，可以选择登录哪个系统）。
2.掌握Hadoop的伪分布式安装方法。很多读者并不具备集群环境，需要在一台机器上模拟一个小的集群，因此，需要通过本实验让读者掌握在单机上进行Hadoop的伪分布式安装方法。
二．实验条件
操作系统：Linux
Hadoop版本：2.7.1

三．实验内容
需要构建起Linux系统环境，并在Linux系统上安装Hadoop。
构建Linux系统环境，有两种方式：
（1）在Windows系统上安装Linux虚拟机；
（2）安装双操作系统，即在电脑上同时安装Windows和Linux系统，电脑开机时，可以选择登录哪个系统。建议电脑比较新或者配置内存4G以上的电脑可以选择虚拟机安装，电脑较旧或配置内存小于等于4G的电脑强烈建议选择双系统安装，否则，在配置较低的计算机上运行LInux虚拟机，系统运行速度会非常慢。鉴于目前读者的计算机硬件配置一般不高，建议采用双系统安装。
详情实验指导教程：http://dblab.xmu.edu.cn/blog/285/
按照Hadoop安装教程-单机-伪分布式配置-Hadoop2.6.0(2.7.1)-Ubuntu14.04(16.04)：
http://dblab.xmu.edu.cn/blog/install-hadoop/ 中的指导过程完成Hadoop的单机及伪分布式安装与实例运行。
四．测试数据及运行结果
第一步：创建hadoop用户
$ sudo useradd -m hadoop -s /bin/bash #创建hadoop用户，并使用/bin/bash作为shell
$ sudo passwd hadoop #为hadoop用户设置密码，之后需要连续输入两次密码
$ sudo adduser hadoop sudo #为hadoop用户增加管理员权限
$ su - hadoop #切换当前用户为用户hadoop
$ sudo apt-get update #更新hadoop用户的apt,方便后面的安装
第二步：安装SSH，设置SSH无密码登录
$ sudo apt-get install openssh-server #安装SSH server
$ ssh localhost #登陆SSH，第一次登陆输入yes
$ exit #退出登录的ssh localhost
$ cd ~/.ssh/ #如果没法进入该目录，执行一次ssh localhost
$ ssh-keygen -t rsa　　
连续敲击三次回车
在这里插入图片描述
输出下图则为成功

$ cat ./id_rsa.pub >> ./authorized_keys #加入授权
$ ssh localhost #此时已不需密码即可登录localhost，并可见下图。如果失败则可以搜索SSH免密码登录来寻求答案

第三步：安装JDk1.8并配置环境变量
$ mkdir /usr/lib/jvm #创建jvm文件夹
$ sudo tar zxvf jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm #/ 解压到/usr/lib/jvm目录下
$ cd /usr/lib/jvm #进入该目录
$ mv jdk1.8.0_201 java #重命名为java
$ vim ~/.bashrc #给JDK配置环境变量，没有vim的可以安装vim

在.bashrc文件添加如下指令

export JAVA_HOME=/usr/lib/jvm/java
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

在这里插入图片描述
文件修改完之后输入
$ source ~/.bashrc #使新配置的环境变量生效
$ java -version #检测是否安装成功，查看java版本
显示出java版本即安装成功
第四步：安装hadoop
$ sudo tar -zxvf hadoop-2.7.1.tar.gz -C /usr/local #解压到/usr/local目录下
$ cd /usr/local
$ sudo mv hadoop-2.7.1 hadoop #重命名为hadoop
$ sudo chown -R hadoop ./hadoop #修改文件权限

给hadoop配置环境变量，将下面代码添加到.bashrc文件

export HADOOP_HOME=/usr/local/hadoop
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

在这里插入图片描述

第五步：伪分布式配置
Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式，每个配置以声明 property 的 name 和 value 的方式来实现。首先将jdk1.8的路径添（export JAVA_HOME=/usr/lib/jvm/java ）加到hadoop-env.sh文件
在这里插入图片描述
修改core-site.xml文件

<configuration>
        <property>
             <name>hadoop.tmp.dir</name>
             <value>file:/usr/local/hadoop/tmp</value>
             <description>Abase for other temporary directories.</description>
        </property>
        <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
        </property>
</configuration>

修改配置文件 hdfs-site.xml

<configuration>
        <property>
             <name>dfs.replication</name>
             <value>1</value>
        </property>
        <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>
</configuration>

配置完成后执行namenode的格式化
$ ./bin/hdfs namenode -format
启动namenode和datanode进程，并查看启动结果，启动完成后，可以通过命令 jps 来判断是否成功启动，若成功启动则会列出如下进程: “NameNode”、”DataNode” 和 “SecondaryNameNode”

$ ./sbin/start-dfs.sh
$ jps
在这里插入图片描述
成功启动后，可以访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息，还可以在线查看 HDFS 中的文件。

五．遇到的主要问题和解决方案
1.在安装过程中，遇到了无法更新的问题
解决方案：sudo apt-get update 无法获得锁
sudo rm /var/cache/apt/archives/lock
sudo rm /var/lib/dpkg/lock
sudo apt-get update
2.下载速度很慢
解决方案：更换服务器源
在这里插入图片描述
3.复制粘贴以及将真机的文件传给虚拟机
解决方案：由于我使用的是VM虚拟机，其中附带了VM tool 可以直接安装就可以复制粘贴传输文件了。
六．心得体会与自我评价
经过这次实验，我又重新复习加深了linux的使用，以及重新加固命令的记忆。在安装hadoop中，也发现了许多问题，比如环境配置不能出错，否则就很难找到在哪里出错，出现问题第一时间百度总能够找到解决问题的方法。在安装hadoop完之后测试了一些小例子，发现在解决一些数据量大的工作时，使用hadoop是一个很好的选择