hadoop保姆级安装教程

这篇详尽的教程涵盖了从虚拟机安装到集群配置的全过程,包括VMware虚拟机搭建、CentOS网络配置、免密登录及Hadoop的安装与启动。通过步步解析,助你轻松避坑,实现Hadoop分布式集群的成功安装。
摘要由CSDN通过智能技术生成

hadoop保姆级安装教程

实现分布式集群安装,不再从入门到放弃!!

这是一篇超详细的Hadoop安装教程,历时两个星期,重装了三次!基本把能踩的坑全踩了,还好没放弃😂
下面标了注意的地方基本就是我踩过的坑了
以下分为三个大点:准备,配置网络环境,安装hadoop

一、准备步骤:虚拟机安装

1.VMware下载

官网下载,安装VMware Workstation 10以上版本。
没有什么技术含量,基本就是疯狂点击下一步,更改安装路径。

2.下载centos6.7镜像

网上找对应的资源下载即可
注意: 一定要下载centos6
为什么呢?
centos6支持从Windows系统拷贝文件等到linux操作系统,便于后续hadoop,Java的传输。

3.安装虚拟机

这里我用的是三个集群分布,所以要安装三台虚拟机。
注意: 要新建三个虚拟机,不要克隆,不要克隆!
(因为这里我只尝试了新建的方法,克隆的话后面要按照克隆的方法来进行配置,避免不必要的麻烦,直接按照相同的方法新建三个就好)


新建一台虚拟机步骤(另外两台一样)

  1. 打开VMware
  2. 点击左上角 :文件->新建虚拟机
  3. 点击下一步
    在这里插入图片描述
  4. 点击浏览,选择你下载的centos镜像文件
    在这里插入图片描述
  5. 全名和用户名可以是一样的,这里我设置的是hadoop,密码建议填写123456,便于后期维护
    在这里插入图片描述
  6. 点击浏览可选择安装位置List item
  7. 默认就好
    在这里插入图片描述
  8. 点击完成
    在这里插入图片描述
    由于我已经安装过了,就不进行下面的步骤了
  9. 命名虚拟机:我填的是hadoop1
    (后面两台可以填hadoop2,hadoop3)

接下来就是等待啦,可能需要一点时间。
在这里插入图片描述至此,第一台虚拟机就装好了,输入密码即可登录。

注意: 另外两台重复上面的步骤,用户名也一样,直接用一样的,不然后面会有问题

全部装好之后就可以打开三台虚拟机
准备步骤就绪

二、配置网络

1.设置

  1. 点击左上角:编辑->虚拟网络编辑器

在这里插入图片描述

  1. 选择NAT模式
    在这里插入图片描述

  2. 点击:更改设置
    在这里插入图片描述
    选择允许对设备更改

  3. 选择NAT模式,取消使用本地dhcp服务的勾选
    在这里插入图片描述

  4. 点击NAT设置,查看子网,子网掩码,网关(后面要用到)
    在这里插入图片描述

  5. .点击确定
    在这里插入图片描述
    2.修改主机名

输入su root命令,再输入密码,(密码不会显示在屏幕上,只要输入正确,再按回车键即可)进入root用户
打开配置文件,按下i键进入插入模式,可以开始修改

Hadoop是一个开源的分布式计算框架,用于处理大规模数据集的分布式存储和处理。下面是一个简单的Hadoop教程,帮助你入门: 1. 安装Hadoop:首先,你需要在你的机器上安装Hadoop。你可以从Hadoop官方网站(https://hadoop.apache.org/)下载最新版本的Hadoop,并按照官方文档提供的步骤进行安装。 2. 配置Hadoop环境:安装完成后,你需要配置Hadoop的环境变量,并修改一些配置文件以适应你的机器环境。主要的配置文件包括hadoop-env.sh、core-site.xml、hdfs-site.xml和mapred-site.xml。 3. 启动Hadoop集群:配置完成后,你可以使用以下命令启动Hadoop集群: ``` start-all.sh ``` 这将启动Hadoop的各个组件,包括NameNode、DataNode、ResourceManager和NodeManager。 4. 使用Hadoop分布式文件系统(HDFS):HDFS是Hadoop提供的分布式文件系统,用于存储大规模数据集。你可以使用以下命令操作HDFS: - 创建目录:`hdfs dfs -mkdir /path/to/directory` - 上传文件:`hdfs dfs -put /path/to/local/file /path/to/hdfs/file` - 下载文件:`hdfs dfs -get /path/to/hdfs/file /path/to/local/file` - 列出文件:`hdfs dfs -ls /path/to/directory` 5. 运行MapReduce作业:MapReduce是Hadoop提供的一种用于分布式计算的编程模型。你可以使用Java编写MapReduce程序,并使用以下命令运行作业: ``` hadoop jar path/to/jarfile.jar input_path output_path ``` 这将在Hadoop集群上运行你的MapReduce作业。 这只是一个简单的Hadoop入门教程,帮助你了解Hadoop的基本概念和使用方法。要深入学习Hadoop和掌握更多高功能,你可以查阅官方文档或参考更详细的教程。
评论 15
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

千槿°

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值