VMware在hadoop用户下创建hadoop

目录

1.1创建Hadoop 用户(简单)​

1.2 安装 Hadoop 前的准备工作(如果网络没问题就很简单)

1.2.1 更新 APT

 1.2.2 安装vim编辑器

 1.2.3安装 SSH

1.3 安装 Java 环境

1.4 安装Hadoop

1.4.1 安装单机Hadoop

1.4.2Hadoop伪分布式安装

1.4.2.1修改配置文件

1.4.2.2初始化文件系统

1.4.2.3启动Hadoop

1.4.2.4使用Web界面查看HDFS信息

1.4.2.5运行Hadoop伪分布式实例

1.4.2.6关闭Hadoop

1.4.2.7配置PATH变量(便于执行命令,可略)


1.1创建Hadoop 用户(简单)

 

1.2 安装 Hadoop 前的准备工作(如果网络没问题就很简单)

1.2.1 更新 APT

需要输入登录hadoop账户的密码,1.1中设置的

 1.2.2 安装vim编辑器

 1.2.3安装 SSH

 $ sudo apt-get install openssh-server     #安装SSH服务端

安装后,可以使用如下命令登录本机

 $ ssh localhost     #登录需要密码,exit退出登录

免密登录:利用ssh-keygen生成密钥,并将密钥加入到授权中,命令如下:

$exit
$ cd ~/.ssh/        # 若没有该目录,请先执行一次ssh localhost
$ ssh-keygen -t rsa    # 会有提示,都按回车即可(:后边都敲回车)
$ cat ./id_rsa.pub >> ./authorized_keys  # 加入授权

此时,再执行ssh localhost命令,无需输入密码就可以直接登录了。

1.3 安装 Java 环境

执行如下命令创建/usr/lib/jvm目录用来存放JDK文件

$ cd /usr/lib
$ sudo mkdir jvm #创建/usr/lib/jvm目录用来存放JDK文件

执行如下命令对安装文件进行解压缩:(提前设置好共享文件夹或者设置双向粘贴,直接把压缩包粘到Ubuntu中)
我也有总结---原文链接:https://blog.csdn.net/m0_59865073/article/details/128192013

$ cd ~       #进入stu用户的主目录  
$ cd Downloads   #切换到压缩包所在目录
$ sudo tar -zxvf  ./jdk-8u162-linux-x64.tar.gz  -C  /usr/lib/jvm
以上两步操作的代码运行截图:(挂载共享文件夹) 

下面继续执行如下命令,设置环境变量

$ vim ~/.bashrc  
如果vim使用不熟悉,同学们可以使用gedit

  • 5
    点赞
  • 25
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
要在 VMware创建 Hadoop 集群,你需要按照以下步骤进行操作: 1. 安装 VMware:首先,你需要下载并安装 VMware 虚拟化软件。可以从 VMware 官方网站获取适用于你的操作系统的版本。 2. 创建虚拟机:启动 VMware创建多个虚拟机来模拟 Hadoop 集群中的不同角色。至少需要一个主节点(NameNode)和多个从节点(DataNode)。 3. 安装操作系统:为每个虚拟机安装操作系统。你可以选择使用 Linux 发行版,如 Ubuntu 或 CentOS,并确保所有虚拟机上的操作系统版本一致。 4. 配置网络:在 VMware 中设置网络配置,确保所有虚拟机可以互相通信。你可以使用虚拟网络交换机或者桥接网络连接来实现。 5. 安装 JDK:在每个虚拟机上安装 Java Development Kit (JDK),因为 Hadoop 是用 Java 编写的。 6. 下载和配置 Hadoop:从 Apache Hadoop 官方网站下载最新版本的 Hadoop,并将其解压到每个虚拟机上。在每个虚拟机上编辑 Hadoop 配置文件,包括 core-site.xml、hdfs-site.xml、mapred-site.xml 和 yarn-site.xml。 7. 配置 SSH:在每个虚拟机上设置 SSH,以便于节点之间的互信。这样,Hadoop 可以通过 SSH 在节点之间进行通信。 8. 启动 Hadoop:首先在主节点上启动 Hadoop 服务,包括 NameNode、ResourceManager 和 JobHistoryServer。然后在从节点上启动 DataNode 和 NodeManager。 9. 验证集群:使用 Hadoop 提供的命令行工具,如 HDFS 命令和 MapReduce 任务来验证集群的运行状态。 以上是一个基本的步骤概述,如果你需要更详细的指导,可以参考 Hadoop 官方文档或者搜索相关的教程和指南。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值