在Centos 7系统环境下搭建hadoop，伪分布式和完全分布式。

最新推荐文章于 2022-04-26 11:14:21 发布
最新推荐文章于 2022-04-26 11:14:21 发布
阅读量300 收藏
点赞数
分类专栏： 大数据 Linux 文章标签： hadoop jdk centos linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44754632/article/details/104766969
版权

1、安装VMware，并新建虚拟机。
软件：VMware Workstation
VMware官网下载链接
镜像文件：CentOS-7-x86_64-DVD-1511centOS7.iso
链接：Centos7
提取码：njo9
为了方便虚拟机Linux与主机之间的文件管理，如增删改查，此处借助WinSCP来操作文件。
假如你选择的镜像安装过程中让你选择下载的版本，建议选择GNOME可视化界面。

  • 文件 新建虚拟机 自定义
    在这里插入图片描述

  • 默认选项 下一步
    在这里插入图片描述

  • 安装程序光盘映像文件（iso）
    在这里插入图片描述

  • 信息输入，记住密码，此处稍后会创建一个名为linda的普通用户，此处用户名不能有大写字母，可以是数字或者小写字母。最终效果附在后面，Centos是登录界面的用户名，设置成一样的更方便理解。
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

  • 此处输入的虚拟机名称以后可改，但是创建的文件名中会被使用，且不会被更改。自定义安装位置，选择一个剩余空间大于20g的盘。
    在这里插入图片描述

  • 按照自己计算机的实际情况选择处理器数量和内核数量，题主选择默认，仅作演示
    在这里插入图片描述

  • 默认，可按照自己主机的内存量和需要适度加大，右侧输入就ok
    在这里插入图片描述

  • 网络连接方式主要三种，桥接把虚拟机当作局域网中的真实终端，Nat借助“看门大爷”收发数据，仅主机模式“被关在小黑屋”。之前看到网上的一个说法如此。
    默认选择Nat
    在这里插入图片描述

  • 继续默认五连
    在这里插入图片描述
    在这里插入图片描述在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

  • 点击完成（这里可以进入自定义硬件移除打印机，带着也不妨碍）。
    在这里插入图片描述
    在这里插入图片描述

  • 这里需要的话可以选择添加用户，之前已经添加了linda
    在这里插入图片描述

  • 安装完了登录Centos，密码是之前设置的root密码。登录以后它会自动弹出窗口，选择语言：汉语。
    在这里插入图片描述
    在这里插入图片描述

  • 输入法：汉语（Intelligent Pinyin)
    在这里插入图片描述

  • 跳过在线账号设置
    在这里插入图片描述
    -开始使用Centos
    在这里插入图片描述

  • 关掉跳出的提示，右上角连接网络
    在这里插入图片描述
    在这里插入图片描述

  • 左上角打开火狐浏览器，开始下载需要的安装包
    在这里插入图片描述

  • System Tools>Settings 改分辨率
    在这里插入图片描述

  • Displays
    在这里插入图片描述
    在这里插入图片描述
    2、Centos中安装JDK
    百度云盘链接：jdk1.8.1
    提取码：mxsw
    JDK安装教程链接
    3、Centos中安装Hadoop，配置单节点hadoop
    百度云盘链接：hadoop2.7.3
    提取码：c03t
    三百三同学的教程
    4、安装好了二次登录想用jps命令时，出现错误如下：
    bash: jps: 未找到命令…
    解决方案：
    在查看jdk路径配置无误后，重新运行命令source .bash_profile，jps命令恢复正常。
    5、hadoop完全分布式环境搭建
    将已经配置好的虚拟机（主机名：Centos0）完整克隆两个，分别为Centos1、Centos2。
    打开三台虚拟机，检查java、javac命令是否运行正常。如果异常，查看之前配置的.bash_profile文件是否正常，如果正常则运行source .bash_profile，再输入java，javac命令查看运行，应该就没问题了。

  • 下面的操作题主在root下进行

克隆完会发现三台机器主机名一样，我们将克隆的两台机器改名。
打开/etc/hostname，将原有的localhost或者Centos0改成此时对应的Centos1或Centos2。
改完还要运行hostname newname命令，如在虚拟机Centos1中运行：
hostname Centos1
运行hostname查看当前主机名，会发现主机名已经改了。

修改/etc/hosts文件，让三台虚拟机互相识别。
将利用ifconfig查看到的ip地址（三台虚拟机联网后，ens开头后面inet显示的ip）分三行写入hosts文件，写入方式每行ip+空格+主机名。原有的信息可以用#注释掉，以防想要恢复原样，新加入的数据也可以自己用#标注。

三台虚拟机免密交叉登录
此处Centos0被克隆之前已经在root用户下设置了ssh免密，文件在/root/.ssh中。完整克隆会把已经设置好的免密也克隆过来，所以克隆机不必再设置免密。
但是，在克隆机登录时，运行如 ssh Centos1命令，会提示是否要继续连接，输入yes即可，往后不会再有提示。
三台都登录成功后，我们尝试在Centos0上登录Centos1，在Centos0运行ssh Centos1，会发现此时主机名变成Centos1，成功。

启动hadoop集群
进入/hadoop/etc/hadoop目录下，改masters和slaves文件内容，将Centos0写入master中，Centos1和Centos2写入slaves中。
在hadoop下sbin中运行./start-all.sh
退出的时候要运行./stop-all.sh

安西宁
关注
专栏目录
VMware下CentOS7虚拟机中基于Docker的Hadoop的完全分布式环境搭建
Nick&Niko ’ Home
04-02 639
基于几位前辈的经验，自己重新做的一个整理。VMware下CentOS7虚拟机中基于Docker的Hadoop的完全分布式环境搭建
Hadoop集群搭建 | 使用3台CentOS7系统的虚拟机搭建Hadoop完全分布式集群多节点的纯净系统
希望每天都能进步一点点
11-13 2464
笔记：unirithe 日期：11/13/2021 注：本篇博文不涉及Hadoop节点的配置 运行环境 Windwos10操作系统 VMware Workstation 15.5 Pro （网上有许多资源，下载过程略过） CentOS7虚拟机系统 文章目录运行环境一、创建并配置虚拟机二、配置CentOS7系统2.1 设置语言2.2 设置GNOME桌面环境2.3 手动配置系统的分区2.4 配置网络和主机名2.5 创建系统用户和密码三、配置虚拟机网络3.1 VMware工具修改网络配置3.2 配置Window
centos7 部署hadoop伪分布式环境
MyNotes
04-09 434
1.准备Linux环境 1.0先将虚拟机的网络模式选为NAT 1.1修改主机名 vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=itcast    ### 1.2修改IP 两种方式： 第一种：通过Linux图形界面进行修改（强烈推荐） 进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点击Edit ...
CentOS7下搭建和测试hadoop伪分布式环境
schnauzers的博客
11-06 509
初学hadoop，记录一下在CentOS7下搭建单机版hadoop伪分布式环境的过程，备忘。 多节点完全分布式环境的搭建请参考这篇文章。 下载版本 目前hadoop有三个大版本，版本三还是阿尔法版，因此选择版本二里最新的2.7.3版本。下载链接在此，请选择官方推荐的镜像地址进行下载。 wget http://apache.fayea.com/hadoop/common/hadoop-2.7.3/h...
CentOS7下部署Hadoop2.X--伪分布模式
cqra94148的博客
12-15 166
一、部署JAVA--(使用root用户) 1、上传Oracle公司的Java组件--jdk1.8.0_151 A）、cd /uar/java B）、执行rz -be->选择本地JDK组件->...
Linux[CentOS 7]下搭建hadoop伪分布式
Jack_Lee的博客
12-24 1537
最近闲来无事，又拿起了hadoop，在本地搭建了一个伪分布式，步骤有点多，特此记录一下 下面开始搞！ 首先你得有jdk和hadoop的tar包，这个自行去下载哈，网上有很多(版本建议jdk1.8、hadoop建议2.x.) 我是把包放在了opt这个目录下 如图 我这里是新建了一个文件夹来进行存放，为了便于管理 mkdir jdk mkdir hadoop 下面进行解压 tar -zxvf 文件路径 -C 解压路径 这里你是什么目录就按着上边来 解压好之后，记着路径，建议用截...
Centos7伪分布式部署Hadoop
weixin_44018540的博客
04-12 445
前期准备 本教程基于vmware中创建的Centos7虚拟机环境进行教学。vmware中创建虚拟机与安装Centos7系统的步骤这里就不再赘述了，直接从系统安装完成后进行静态网络IP的配置开始说起。 配置静态网络 首先在vmware的 编辑 => 虚拟网络编辑器 下查看本机虚拟网卡的所在网段。可见此处的网段是192.168.72.0，子网掩码为255.255.255.0，记下这些信息。 打开 网络和Internet设置 => 更改适配器选项 找到vmnet8网卡,右击打开 属性 选项卡 双击
linux虚拟机搭建hadoop伪分布式集群
04-26
在搭建Hadoop伪分布式集群的过程中，首先需要在Linux环境下配置VMware的NAT网络，确保虚拟机能够稳定地运行和通信。NAT网络允许虚拟机通过宿主机与外部网络进行通信，同时保持IP地址的固定性。具体操作包括取消DHCP...
VM+CentOS+hadoop2.7搭建hadoop完全分布式集群
01-24
本文旨在详细介绍如何使用VMware Workstation（简称VM）结合CentOS 6.5操作系统来搭建Hadoop 2.7的完全分布式集群。此文档是根据作者的实际经验总结而成，主要面向那些希望深入了解并掌握Hadoop集群部署的技术人员或...
Hadoop伪分布式集群环境搭建
10-14
本篇将详细介绍如何在本地计算机上搭建Hadoop的伪分布式集群环境，这非常适合初学者进行学习和测试。 首先，我们需要了解Hadoop的组成部分。Hadoop主要由两个核心组件构成：HDFS（Hadoop Distributed File System）...
CentOS 7搭建Hadoop伪分布模式
秀发去无踪，代码更出众
05-14 547
1.1修改IP地址 在虚拟机的命令行中输入下面的命令，修改网卡的配置文件 vi /etc/sysconfig/network-scripts/ifcfg-ens33
在Linux（Centos7）系统上对进行Hadoop分布式配置以及运行Hadoop伪分布式实例
weixin_34409357的博客
04-28 215
在Linux（Centos7）系统上对进行Hadoop分布式配置以及运行Hadoop伪分布式实例 ...
centos7下安装Hadoop伪分布式
m0_49683806的博客
04-26 2345
centos7下安装Hadoop伪分布式
Hadoop（一）HDFS伪分布式系统环境搭建
qq_38455038的博客
06-02 194
Hadoop下载链接（hadoop-2.6.0-cdh5.14.2.tar） 百度网盘：https://pan.baidu.com/s/1mcIRDaohztlsIO62WTgJpw 提取码：zw28 大数据的4v特征： 1.Volume：大数据量，90%的数据是近两年产生的。 2.Value：价值密度低，需要进行挖取获得数据价值 3.Velocity：增长速度快，数据的增长速度快，时效性高 4.Variety：数据多样化，数据种类和来源多样化：结构化数据，非结构化数据，半结构化数据 Hadoop 三大核心
Centos7 Hadoop伪分布模式安装
MyySophia的博客
07-27 401
一：linux的基本使用命令 查看ip信息：ifconifg 创建目录： mkdir 切换到某个目录下： cd 获取当前所在的目录全路径：pwd 显示当前目录下的所有文件信息：ll 查看一个文件的内容：cat vi命令：修改文件内容 首先输入i 进入编辑模式 然后修改文件中的内容 修改完成之后，按esc键退出编辑模式 再按shift 和 : 再输入wq 最后按回车即可 二：集群安装步骤 2.1vagrant file中加入这行 config.vm.network "private_networ.
虚拟机上的Hadoop伪分布式和完全分布式的搭建
fseast的博客
08-22 4939
目录一、Hadoop1.Hadoop的组成1.1HDFS架构概述1.2YARN架构概述1.3MapReduce架构概述二、Hadoop的搭建1.运行环境1.1安装JDK1.2安装Hadoop2.伪分布式运行模式2.1配置文件说明2.2启动HDFS并运行MapReduce程序2.3启动YARN并运行MapReduce程序2.4配置历史服务器2.5配置日志的聚集3.完全分布式运行模式3.1虚拟机准备3...
hadoop大数据-1 安装、伪分布式部署、完全分布式部署、资源管理器部署
Ma_JunSSR的博客
08-20 288
1. hadoop简介 Hadoop起源于Google的三大论文： (1)GFS：Google的分布式文件系统Google File System (2)MapReduce：Google的MapReduce开源分布式并行计算框架 (3)BigTable：一个大型的分布式数据库 演变关系： (1)GFS—->HDFS (2)Google MapReduce—->Hadoop MapReduce (3)BigTable—->HBase Hadoop名字不是一个缩写，是Hadoo
基于CentOS 7搭建Hadoop伪分布式
Hello World
10-24 5651
伪分布式模式也是在一台单机上运行，集群中的结点由一个NameNode和若干个DataNode组，另有一个SecondaryNameNode作为NameNode的备份。一个机器上，既当namenode，又当datanode,或者说既是jobtracker，又是tasktracker。没有所谓的在多台机器上进行真正的分布式计算，故称为"伪分布式"。开启多个进程模拟完全分布式，但是并没有真正提高程序执行的效率。hadoop伪分布式集群以后只是一个空的hadoop，只有YARN，MapReduce，HDFS，而这些
CentOS7 搭建Hadoop伪分布式
Deepturn的博客
03-29 1282
前言 操作前需要准备： 虚拟机镜像：CentOS-6.5-x86_64-bin-DVD1.iso 链接：https://pan.baidu.com/s/1O9a-6Sn7riGWG3mVQssTGg 提取码：rud1 jdk：jdk-8u144-linux-x64.tar.gz 链接：https://pan.baidu.com/s/1TdaCDaT_qriDMjbYFyphPw 提取码：qulj hadoop：hadoop-2.7.2.tar.gz 链接：https://pan.ba...
CentOS下Hadoop伪分布式环境搭建教程
在CentOS环境下搭建Hadoop伪分布，首先需要确保有一个基础的系统环境，例如IP地址192.168.97.100，root用户及其密码。在安全性考虑下，现实中企业会分配独立的账号，本文中使用创建用户组和用户的方法进行演示： 1....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值