ubuntu虚拟机中安装Hadoop全过程（单机分布方式+伪分布方式）

最新推荐文章于 2024-09-13 09:58:29 发布
最新推荐文章于 2024-09-13 09:58:29 发布
阅读量4.9k 收藏 93
点赞数 16
分类专栏： java 文章标签： java 后端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/web15286201346/article/details/124451759
版权
本文档详述了如何在Ubuntu18.04虚拟机中创建新用户，安装SSH、VIM，部署JDK并配置环境变量，可选安装Eclipse，重点在于安装和配置Hadoop进行伪分布式运行，包括修改相关配置文件，启动HDFS，并验证安装成功。
摘要由CSDN通过智能技术生成

使用的虚拟机软件是：VMWare Workstation Pro 14

虚拟机系统：Ubuntu 18.04

注：涉及到的内容比较多，可直接点击相应链接查看对应内容

目录

创建新账户

安装ssh

安装vim

在虚拟机中安装JDK并配置环境变量

安装Eclipse（可选）

安装Hadoop

Hadoop伪分布模式修改

启动HDFS伪分布式模式

创建新账户

参考文章：Ubuntu16.04系统中创建新用户

*使用adduser命令

1. 切换为root用户

su root

注：若提示“su: Authentication failure”，原因应该是没有设置root账户的密码

在终端输入：

sudo passwd root

设置完root密码后重新切换为root用户即可

2. 添加新用户hadoop

adduser hadoop

设置密码信息

退出当前账户登录hadoop账户

3. 允许该用户以管理员身份执行指令

  1. 切换到root

    su root

2)执行visudo命令

visudo

  1. 该命令实际上打开的是/etc/sudoers文件，修改该文件，在“root ALL=(ALL:ALL) ALL”这一行下面加入一行：

    hadoop ALL=(ALL:ALL) ALL

ctrl+o（然后再按enter）保存，ctrl+c取消，ctrl+x退出

退出root账户

exit

安装ssh

1. 更新apt源

sudo apt-get update

2. 安装ssh服务端

sudo apt-get install openssh-server

3. 安装后使用如下命令登录本机

ssh localhost

输入yes后输入对应的密码即可登录

4. 输入exit退出ssh

5. 配置免密登录

参考文章：Ubuntu18配置ssh免密登录

cd ~/.ssh/ # 若没有该目录，请先执行一次 

ssh localhost ssh-keygen -t rsa # 会有提示，都按回车就可以 

cat id_rsa.pub >> authorized_keys # 加入授权 

使用ssh localhost试试能否直接登录

安装vim

sudo apt-get install vim

在虚拟机中安装JDK并配置环境变量

参考文章：Ubuntu 18.04安装JDK并配置环境变量 |?Ubuntu18.04 安装Jdk1.8

1. 下载JDK，网址：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

根据系统版本选择下载

2. 解压

解压到本目录下，将文件名换成对应的即可

sudo tar -zxvf jdk-8u171-linux-x64.tar.gz

3. 移动到自己的java目录

sudo mv jdk1.8.0_201 /usr/local/jdk1.8

4. 配置环境变量

使用全局设置方法，是所有用户的共用的环境变量

sudo vim ~/.bashrc

把以下命令复制到最底部，其中，export JAVA_HOME=后面要填写自己解压后的jdk的路径

export JAVA_HOME=/usr/local/jdk1.8
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

5. 使配置立即生效

source ~/.bashrc

6. 测试是否安装成功

java -version

安装Eclipse（可选）

参考文章：Ubuntu 18.04安装Eclipse教程

1. 官网下载：https://www.eclipse.org/downloads/packages/

2. 解压

sudo tar -zxvf eclipse-jee-2018-09-linux-gtk-x86_64.tar.gz

3. 移动到自己的文件夹下

 sudo mv eclipse /usr/local/

4. 建立jre软链接，先进入到eclipse的安装目录，打开终端

sudo ln -s /usr/local/jdk1.8/jre jre

5. 添加eclipse桌面图标

cd /usr/share/applications
sudo vim eclipse.desktop

复制如下代码：其中Exec=填写eclipse的安装路径，Icon=填写图标路径

[Desktop Entry]
Encoding=UTF-8
Name=Eclipse
Comment=Eclipse
Exec=/usr/local/eclipse/eclipse
Icon=/usr/local/eclipse/icon.xpm
Terminal=false
StartupNotify=true
Type=Application
Categories=Application;Development;

赋予可执行权限：

sudo chmod u+x /usr/share/applications/eclipse.desktop

最后将eclipse图标复制到桌面或固定到dock栏即可

注：打开eclipse报错

  1. 首先查看jdk版本是否为1.7及以下，安装旧版本eclipse

  2. 参考文章：Eclipse报错信息JVM terminated. Exit code=1

打开eclipse.ini文件，可以看到：

因为安装的是最新版本的eclipse，可能是内存不足的原因

点击虚拟机-设置-内存，将内存改为2048MB，问题解决

安装Hadoop

参考文章：Ubuntu16.04安装Hadoop单机和伪分布式环境超详细

1. 自行选择版本下载，地址：http://archive.apache.org/dist/hadoop/core/

2. 解压

sudo tar -zxvf hadoop-2.7.1.tar.gz

3. 重命名为hadoop

sudo mv hadoop-2.7.1 hadoop

4. 移动到自己的文件夹下

sudo mv hadoop /usr/local/

5. 授予访问权限

sudo chmod 777 -R /usr/local/hadoop
//-R:对目前目录下的所有档案与子目录进行相同的权限变更(即以递回的方式逐个变更) 
//777:高权限（读、写、执行）

6. 配置环境变量

sudo vim ~/.bashrc

添加如下代码

#HADOOP VARIABLES START 
export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL 
export HADOOP_COMMON_HOME=$HADOOP_INSTALL 
export HADOOP_HDFS_HOME=$HADOOP_INSTALL 
export YARN_HOME=$HADOOP_INSTALL 
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
#HADOOP VARIABLES END

执行如下代码使其立即生效

source ~/.bashrc

Hadoop伪分布模式修改

1.配置hadoop-env.sh

sudo vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh

添加如下代码，注意JAVA_HOME路径

# The java implementation to use. 
export JAVA_HOME=/usr/local/jdk1.8
export HADOOP=/usr/local/hadoop
export PATH=$PATH:/usr/local/hadoop/bin

2.配置yarn-env.sh

sudo vim /usr/local/hadoop/etc/hadoop/yarn-env.sh

添加如下代码，注意JAVA_HOME路径

# export JAVA_HOME
JAVA_HOME=/usr/local/jdk1.8

3.配置core-site.xml，（这里的tmp.dir不用改，是缓存目录）

sudo vim /usr/local/hadoop/etc/hadoop/core-site.xml

插入如下内容

<configuration>
        <property>
             <name>hadoop.tmp.dir</name>
             <value>file:/usr/local/hadoop/tmp</value>
             <description>Abase for other temporary directories.</description>
        </property>
        <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
        </property>
</configuration>

*core-site.xml中原来的有的 < /configuration >一定要删除掉，不然后面格式化的时候会出错。即.xml文件中只有一个 < /configuration >对就可以。

4.修改配置文件 hdfs-site.xml

sudo vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml

插入如下内容，只保留一个 < /configuration >对

<configuration>
        <property>
             <name>dfs.replication</name>
             <value>1</value>
        </property>
        <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>
</configuration>

5.配置yarn-site.xml，只保留一个 < /configuration >对

sudo vim /usr/local/hadoop/etc/hadoop/yarn-site.xml

插入如下内容：

<configuration> 
<!-- Site specific YARN configuration properties -->
    <property> 
        <name>yarn.nodemanager.aux-services</name> 
        <value>mapreduce_shuffle</value> 
    </property> 
    <property> 
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> 
        <value>org.apache.hadoop.mapred.ShuffleHandler</value> 
    </property> 
    <property> 
        <name>yarn.resourcemanager.address</name> 
        <value>127.0.0.1:8032</value> 
    </property> 
    <property> 
        <name>yarn.resourcemanager.scheduler.address</name> 
        <value>127.0.0.1:8030</value> 
    </property> 
    <property> 
        <name>yarn.resourcemanager.resource-tracker.address</name> 
        <value>127.0.0.1:8031</value> 
    </property> 
</configuration>

6. 重启系统

7. 验证Hadoop是否安装成功

输入如下指令

hadoop version

显示如下说明安装成功 若不成功请检查环境变量配置是否正确

启动HDFS伪分布式模式

参考文章：Ubuntu16.04安装Hadoop单机和伪分布式环境超详细

1. 格式化namenode

hdfs namenode -format

成功：

2.启动hdfs

start-all.sh

3.显示进程

jps

有6个进程表示正确：

4. 打开浏览器，输入http://localhost:50070/

显示：

输入http://localhost:8088/

显示：

至此，Hadoop所需环境全部搭建完毕！

感谢以上参考中提到的各位大佬的文章！

web15286201346
关注
专栏目录
Ubuntu下Hadoop的单机安装
weixin_46203911的博客
04-24 5808
云计算实验中要求我们在Linux系统安装Hadoop，故来做一个简单的记录。 Hadoop安装步骤如下： 一、更新apt和安装vim编辑器 二、配置本机无密码登录SSH 三、安装JAVA环境 四、下载安装Hadoop ...
在Ubuntu上安装Hadoop
从零开始的教程世界
07-15 9117
In this lesson, we will see how we can get started with Apache Hadoop by installing it on our Ubuntu machine. Installing and running Apache Hadoop can be tricky and that’s why we’ll try to keep this l...
ubuntu下部署hadoop3.1.3伪分布系统
最新发布
hnkkfan的博客
09-13 1458
Hadoop是apache开发的，分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架。其核心部件是HDFS与MapReduce。HDFS是一个分布式文件系统，MapReduce是一个分布式计算框架。说通俗点，HDFS像是一个可以动态扩展的用来存储大规模数据的大硬盘，MapReduce像是一个计算引擎，通过规则编写程序，用于完成指定的计算任务。【所需软件】以上两个资源以及后面要用到的hbase，可从我的迅雷网盘中下载：rnfk。
Ubuntu安装Hadoop
Ever_glow的博客
03-13 4569
首先准备两个安装包jdk和Hadoop，注意不要用Hadoop-src的tar包，需要的话可以联系我。 注意：本文的所有环境变量以及文件夹命名都是我自主命名，请一定要注意自己配置时的设置 一、安装JDK 先将jdk包移动到/usr/local（上传时可直接上传到此处），然后解压。 此处出现了二进制文件无法读取的问题，百度说是32位机器和64位安装包不匹配，所以使用了openjdk代替。 安装命令 ： apt-yinstallopenjdk-8-jreopenjdk-8-jdk 配置环...
Ubuntu上的Hadoop安装教程
流浪的虾壳
03-13 1547
Install Hadoop 2.2.0 on Ubuntu Linux 13.04 (Single-Node Cluster) This tutorial explains how to install Hadoop 2.2.0/2.3.0/2.4.0/2.4.1 on Ubuntu 13.04/13.10/14.04 (Single-Node Cluster). This setup doe
ubuntu安装hadoop(伪分布）
weixin_30639719的博客
03-29 263
一、首先安装jdk。（javaeye里看到的，列出来很多方法，我用这个成功了，就写这了） 1、到官方网站下载最新版本JDK的.bin文件： http://www.oracle.com/technetwork/java/javase/downloads/index.html 2、为.bin文件添加x权限：chmod a+x /path/x...
用虚拟机在ubuntu上搭建hadoop平台的单机模式
08-03
通过本教程，您可以掌握从安装虚拟机到配置Hadoop环境的全过程。本文不仅涵盖了安装步骤，还提供了可能遇到的问题及其解决方案。 #### 安装虚拟机 1. **下载并安装VMware Workstation Pro 12**： - 下载`...
Hadoop伪分布完全分布搭建全过程——超详细
xiaoqiang616717的博客
03-17 7048
安装前的准备工作** 1.安装虚拟机，Linux操作系统 （vmware安装参考：https://blog.csdn.net /qq_28090573/article/details/82724910） （vitrualBox安装参考：https://www.jianshu.com/p/fba87fa4f028）** 2.防火墙设置： 查看防火墙状态： $ sudo ufw status 若...
虚拟机下利用ubuntu系统在本地搭建三节点Hadoop集群的全过程（附全部环境信息）
无言的博客
05-16 1874
搭建缘由及流程背景简述搭建流程简述虚拟机环境搭建相关文件的下载配置JDK相关环境变量创建Hadoop用户配置hostname和hosts文件配置Hadoop相关环境变量SSH的安装克隆虚拟机配置SSH免密登陆配置Hadoop完全分布式相关文件完全分布式运行wordcount实例功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建...
从CentOS到Hadoop（Linux CentOS 7 安装配置Hadoop伪分布过程详解）
ADwenwen的博客
07-31 4758
目录 零、前言 一、虚拟机安装及CentOS系统配置 二、CentOS系统及网络配置 三、SSH无密码登录 四、Java安装及环境配置 五、Hadoop0.20.0伪分布环境安装 六、运行示例 七、参考与感谢 零、前言 （一）、前言 最近在做wikipedia的东西，需要大规模处理数据，因此就需要使用hadoop工具操作。一开始想安装的linux版本是ubuntu 14和ha...
Hadoop单机、伪分布式、分布式集群安装教程
04-16
Hadoop 是一个开源的...总的来说，这个教程详细地涵盖了从基础环境准备到Hadoop各模式安装配置的全过程，是学习和实践Hadoop分布式计算的良好起点。理解并熟练掌握这些步骤，将有助于你在大数据处理领域更进一步。
Ubuntu上安装Hadoop伪分布
Kevin的专栏
01-12 1589
由于学习上要用hadoop，虚拟机又很卡，而且不喜欢，只有在自己电脑上装个Ubuntu（我装的是12.04），但学校只有wifi，而且是输密码的那种，经常掉线，所以在寝室里安装Ubuntu就别想连接有线了。Ubuntu装好过后居然连无限网卡驱动都没有（不是说集成了的吗？看来我的无线驱动有点冷门耶- -），只有自己装。由于没有学过Linux，只有到网上找方法，但五花八门，没有一个对我适用，最后，在百
在Ubuntu上安装Hadoop（单机模式）步骤
weixin_33726313的博客
02-17 141
1. 安装jdk：sudo apt-get install openjdk-6-jdk 2. 配置ssh：安装ssh：apt-get install openssh-server 为运行hadoop的用户生成一个SSH key：$ ssh-keygen -t rsa -P "" 让你可以通过新生成的key来登录本地机器：$ cp ~/.ssh/id_rsa.pub ~/.ssh/author...
Ubuntu伪分布式hadoop安装
有勇气的牛排博客
03-17 408
先解压到下面目录 然后到home里面 将下面配置粘贴到任意位置 1.2 安装免密 查看 登陆其他电脑 2.hadoop 配置 2.1 权限配置 将hadoop解压到 目录下并且给 /usr/local/hadoop-3.2.2 授权超级用户 2.2 修改配置文件 2.2.1 hadoop-env.sh 在54行左右 2.2.2 核心配置core-site.xml 临时目录不用自己建，系统会自动生成 2.2.3 hdfs-site.xml 2.2.4 mapreduce设置 mapred-s
【Ubuntu】Hadoop 伪分布式安装
懂得一千零一种,赋予你失败的方法！
03-12 545
文章目录一、JDK的安装二、Hadoop 安装三、Hadoop 配置启动与测试 一、JDK的安装 解压至home目录:tar -zxvf jdk-8u281-linux-x64.tar.gz -C /home/ 重命名:mv jdk1.8.0_161/ java 配置环境变量:vi /etc/profile export JAVA_HOME=/home/java export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH 使环境变量生效 source..
ubuntu下安装hadoop(单机模式)
周小树
11-03 3326
参考了官网和一些博客的资料，终于安装成功hadoop on ubuntu。 步骤及注意事项： 1.软件准备：     1）ubuntu10.10 内核2.6.35     2）安装ssh，其实是openSSH，默认ubuntu已经安装了，但是不能ssh localhost登录本机，重装ssh即可。 $ apt-get install ssh  $ ssh-keyge
Ubuntu安装hadoop并做单机测试
weixin_34281477的博客
06-12 252
1.配置jdk见前文2. 下载解压hadoop这里以2.7.7版本为例，将文件剪切到/usr/local里面并更改名字为hadoop方便后续配置3. 为hadoop配置jdk版本呢设置hadoop目录下的env文件，hadoop/etc/hadoop-env.sh文件，注意这里的etc是在hadoop目录下的etc，大家注意命令执行的路径，在里面定义jdk目录，建议将hadoop_home和pat...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值