hadoop大数据集群搭建(一)超级保姆式教学

已于 2022-09-26 11:51:01 修改
阅读量1k 收藏 4
点赞数 4
文章标签： 大数据 hadoop 网络 linux
于 2022-09-22 21:17:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qianyu_123456/article/details/126997855
版权

大数据集群环境搭建

一. 什么是集群？分布式又是个啥？

  1. 分布式：多台不同的服务器中部署不同的服务模块，通过远程调用协同工作，对外提供服务。
  2. 集群：多台不同的服务器中部署相同应用或服务模块，构成一个集群，通过负载均衡设备对外提供服务。
  3. 是不是有点不太好理解？咱举一个小例子：
    你开了一家高级饭店， 招了很多员工：你给他们分配好了很多部门和岗位，餐饮方面（模块）有好几个厨师在做， 迎宾方面（模块）有好几个服务员在做，保洁（模块）有几个保洁阿姨在做。他们之间只在各自的部门完成自己的工作。但所有人的工作维持了你饭店的运转。这就是分布式。
  4. 那什么是集群嘞？咱再举一个小例子：
    你和你的对象开了一家小饭馆，平时工作主要由你们两个（模块）来做，炒菜做饭采购收银都不指定必须哪个人做，谁有空谁做，共同完成这个店的经营。这就是集群。

二. 虚拟机的安装与网络配置（已经配置的可以跳过到下一节）

- 建议一个章节拍摄一个虚拟机快照, 以便操作失误造成不可逆后果回退

  • 这里我选择演示的是VMware 16 Pro，Centos OS7，以NAT地址网络转换配置虚拟机。
  • 使用NAT模式的好处

使用NAT模式, 因为我们更换网络环境后, 主机的ip地址会随时变化, 如果我们使用桥接模式, 就需要频繁更换我们绑定的ip地址, 如果我们使用仅主机模式, 虚拟机无法上网

VMware配置流程

「软件」https://www.aliyundrive.com/s/gzKbbrJn3mu 提取码: i9x5
点击链接保存，或者复制本段内容，打开「阿里云盘」APP
百度网盘链接：https://pan.baidu.com/s/1Ko8TNz1VfEKS6BYQpDjEuA
提取码：uk0p
这里面有着虚拟机及hadoop等配套软件, 仅供学习使用!!!

NAT网络配置部分
  1. 打开虚拟网络编辑器
    在这里插入图片描述
  2. 开启更改设置

在这里插入图片描述

  1. 选择VMNet8, 修改子网ip和子网掩码, 设置网关ip点击确定在这里插入图片描述
  2. 修改DHCP服务,规定IP的范围在这里插入图片描述
  3. 打开网络连接设置在这里插入图片描述
  4. 打开VMnet8的属性信息,找到ipv4协议,修改其属性及里面的配置信息在这里插入图片描述
虚拟机安装部分

  1. 右键选择创建虚拟机
    在这里插入图片描述

  2. 选择自定义虚拟机

在这里插入图片描述

  1. 选择自己的vmware版本, 我这里用的是16
    在这里插入图片描述
    4 . 选择稍后安装系统
    在这里插入图片描述
  2. 选择虚拟机版本, 这里我使用的是centos7 大家根据自己有的版本选择在这里插入图片描述
    6 . 选择一个安装目录并写上虚拟机名称
    在这里插入图片描述
  3. 分配计算机资源(可按需分配)

在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述
8. 选择新建虚拟机磁盘
在这里插入图片描述
9. 选择将虚拟磁盘拆分为多个磁盘(根据自己实际情况配置磁盘容量)在这里插入图片描述
10. 这样裸机就配置好啦
在这里插入图片描述在这里插入图片描述

  1. 配置当前虚拟机启动时运行iso镜像文件,这个文件相当于centos的安装包在这里插入图片描述

  2. 点击启动
    在这里插入图片描述

  3. 点击启动虚拟机点击install ,稍等片刻即可进入安装界面在这里插入图片描述

  4. 选择安装过程语言, 萌新中文即可在这里插入图片描述

  5. 软件选择基本网页服务器(默认最小安装)在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述

  6. 进行网络配置,先修改主机名称,再打开以太网,然后点击配置在这里插入图片描述

  7. 配置ipv4的相关信息(后面配置多台虚拟机静态网络的时候为了方便记忆我再次修改了一下)在这里插入图片描述在这里插入图片描述

  8. 点击确定进入安装界面,在安装界面中设置root用户的密码,如果密码过于简单,则点击两次完成即可在这里插入图片描述在这里插入图片描述在这里插入图片描述

  9. 完成以上操作恭喜你已经安装完成了!(已配置动态网络, 需要静态网络看后面操作部分)

Linux远程连接(CRT 是一种ssh远程连接工具)

  • 连接操作
    在这里插入图片描述
    选择接受并保存

在这里插入图片描述

在这里插入图片描述

  • 配置CRT
    右键选择会话窗口

在这里插入图片描述在这里插入图片描述在这里插入图片描述

三. 虚拟机克隆

  • 前提：是虚拟机处于关闭状态。
  • 完整克隆意味着两台机器一模一样。在局域网网络中，有些属性是决定不能一样的。
    比如：IP、MAC、主机名hostname

ip相同,则两台主机都无法连接网络
mac地址相同则都无法分配ip或者ip混乱
hostname 相同则无法区分主机

  • 操作如下:在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述
    在这里插入图片描述

四. 修改IP、主机名

配置虚拟机的主机名和ip地址

请注意, 刚开始安装的时候我安装的是qianyu, IP地址是192.168.88.105
单为了记忆方便, 修改了主机名和IP地址, 三台主机的主机名和IP地址如下所示
这里展示qianyu1的配置(IP: 192.168.88.111),
另外两台虚拟机修改方式雷同:

hostname: qianyu2
IP: 192.168.88.112

hostname: qianyu3
IP: 192.168.88.113

  • 修改主机名:

vim /etc/hostname
下面是修改内容:
qianyu1

  • 修改ip为静态:

vim /etc/sysconfig/network-scripts/ifcfg-ens33
下面是修改内容:
TYPE=“Ethernet” #网卡类型 以太网
PROXY_METHOD=“none”
BROWSER_ONLY=“no”
BOOTPROTO=“none” #ip等信息是如何决定的？ dhcp动态分配、 static|none 手动静态分配
DEFROUTE=“yes”
IPV4_FAILURE_FATAL=“no”
IPV6INIT=“yes”
IPV6_AUTOCONF=“yes”
IPV6_DEFROUTE=“yes”
IPV6_FAILURE_FATAL=“no”
IPV6_ADDR_GEN_MODE=“stable-privacy”
NAME=“ens33” #网卡名称
UUID=“350d2402-1f3a-4b8e-b294-33a7fab82084”
DEVICE=“ens33”
ONBOOT=“yes” #是否开机启动网卡服务
IPADDR=“192.168.88.111” #IP地址
PREFIX=“24” #子网掩码 等效: NETMASK=255.255.255.0
GATEWAY=“192.168.88.2” #网关服务
DNS1=“8.8.8.8” #网关DNS解析
DOMAIN=“114.114.114.114” #公网DNS解析 114.114.114.114 谷歌：8.8.8.8 阿里百度DNS
IPV6_PRIVACY="no

  • 主机名和IP映射配置(qianyu2和qianyu3也是如下配置)

vim /etc/hosts
增加如下内容:
192.168.88.111 qianyu1
192.168.88.112 qianyu2
192.168.88.113 qianyu3

  • 十分建议配置一下Windows和虚拟机的IP映射
  • C:\Windows\System32\drivers\etc\hosts
  • 增加如下内容:

192.168.88.111 qianyu1
192.168.88.112 qianyu2
192.168.88.113 qianyu3

集群搭建和hadoop安装部分将在后面篇章讲解

如果对您有用的话, 请您动动小手, 点赞或者评论一下, 非常感谢您的支持!

浅语27
关注
大数据之Hadoop集群搭建
C-A-L-D
10-27 269
我所使用的主要工具版本： Linux系统：CentOS7 jdk安装包：jdk-8u144-linux-x64.tar.gz hadoop安装包：目前最新版的维护版本hadoop-3.1.3.tar.gz(3.1.3版本详情介绍http://hadoop.apache.org/docs/r3.1.3/) 目的：三种模式的集群搭建（第一，二种不算，主要是第三种） 本地运行模式（测试使...
最全大数据学习路线指南：大数据知识点汇总保姆级教程（2万字长文）
最新发布
大模型大数据攻城狮的专栏
08-19 164
在大数据的浩瀚海洋中，数据可视化工具就如璀璨的明珠，帮助我们将复杂的数据转化为清晰易懂的图形和图表。PowerBIPowerBI 由微软推出，是一款功能强大的商业智能工具。它提供了丰富多样的可视化选项，从常见的条形图、折线图、饼图，到更复杂的地图、漏斗图等，应有尽有。用户可以根据数据的特点和分析需求，选择最合适的图表类型来呈现数据。其交互式数据分析功能更是一大亮点。用户可以通过点击、筛选、钻取等操作，深入探索数据的细节，发现隐藏在数据背后的规律和趋势。
Hadoop大数据集群搭建（超详细）
热门推荐
小飞飞V5的博客
05-21 3万+
本文主要介绍了Hadoop集群的搭建过程，图文详细，适合新手入门
大数据集群/环境搭建指南
qq_51610110的博客
07-28 524
大数据集群/环境搭建指南
大数据hadoop集群搭建
amin_hui的博客
08-19 2636
安装一个Linux系统 配置网卡 重启网络服务 ping baidu 修改主机名 关闭防火墙 安装ssh客户端 克隆Linux系统 对克隆好的系统配置网卡 ssh链接及免密登录 安装JDK 安装hadoop share中doc可删除 - vi /etc/hadoop/hadoop-env.sh JAVA_HOME在哪里 - export JAVAHOME改为绝对路...
大数据之集群搭建
weixin_33705053的博客
01-09 137
大数据之集群搭建 一：了解集群的原理： 二：集群环境的搭建之前的准备工作：集群环境的搭建需要退回到hadoop分布式搭建之前：这个时候可以在安装hadoop之前在虚拟机中拍一个快照 如果没有拍快照怎么解决： 1，先停掉Hadoop的运行 :stop-dfs.sh 2检查是否停掉：jps：看里面是否还有与Hadoop相关的程序在运行...
搭建大数据Hadoop集群
u013659696的博客
09-23 479
目标：搭建大数据Hadoop集群 前叙（记叙事件起因，可忽略）： 这里要先说一下为啥写这篇文章，搭建hadoop集群，个人感觉是比较繁琐的，真实的搭建3台hadoop集群，需要许多步骤。原本搭建完就完事了，没想到因为三台服务器免密登录出现了问题，免密登录设置完，过一段时间发现失效了，第一次出现这问题，觉得不是很理解原因，图省事，也为了能再次熟悉搭建集群的步骤，直接重装系统，然后重新搭建。没想到过了3,4天又出现同样的问题，此时，就感觉难受了，深究其原因，发现免密登录的认证文件~/.ssh/autho..
大数据学前准备--zookeeper详解与集群搭建（保姆级教程）
wudidahuanggua的博客
09-13 4441
深度解析zookeeper理论知识以及手把手教你搭建起集群，保姆级的教程。点赞收藏一点也不亏吖！
在虚拟机中搭建高可用集群，超详解，保姆级教学
一个学习的博客
11-05 1279
先确定你的高可用集群分布表 我的是，一定要记住自己的到时候配置xml的时候要对照自己的来 接着启动虚拟机开始搭建
HBase详解（对hbase集群搭建、读写流程、hbase的javaApi等细致入微的讲解与保姆级的图解）
wudidahuanggua的博客
09-24 3464
细致入微的图文讲解，看了这篇文章你很难学不懂hbase
项目0单节点的虚拟机做大数据开发（四万字全）
默主归沙的博客
03-21 2935
说明：这个项目是面向大数据开发的，要涉及到多个软件的安装。以后还会更新整个项目的流程包括代码。 1.1新建虚拟机 上面这个镜像文件 链接：https://pan.baidu.com/s/1bdrE2pFtVXQt07oOrqw-KA 提取码：0fht --来自百度网盘超级会员V2的分享 上图只需要点击安装位置和网络和主机名就可以开始安装 网络和主机名：打开，然后点击完成 点击开始安装 Root的密码 ..
大数据-hadoop集群搭建
Despair1992的博客
01-04 269
hadoop集群搭建集群规划3台服务器5台服务器版本选择原生安装服务器准备hadoop安装 集群规划 3台服务器 服务器名称 搭建服务 node01 DataNode、NodeManager、NameNode、SecondaryNameNode、ResourceManager node02 DataNode、NodeManager node03 DataNode、NodeM...
大数据Hadoop集群搭建
wuxingge的博客
06-22 793
大数据Hadoop集群搭建 一、环境 服务器配置： CPU型号：Intel® Xeon® CPU E5-2620 v4 @ 2.10GHz CPU核数：16 内存：64GB 操作系统 版本：CentOS Linux release 7.5.1804 (Core) 主机列表： IP 主机名 192.168.1.101 node1 192.168.1.102 node2 192.168.1.103 node3 192.168.1.104 node4 192.168.1.105 node5 软件安装包路径：/da
大数据hadoop集群搭建（一）
lingdu010的博客
06-23 84
一.系统环境配置 1.新建用户 1.adduser tom 2.passwd tom --密码设为tom 2.修改用户权限 给用户添加sudo权限 1.vim /etc/sudoers 在root ALL=（All） ALL 下面添加 hadoop ALL=（All） ALL 3.关闭防火墙 更新防火墙规则： firewall-cmd --reload 1、firewalld的基本使用 启动： systemctl start firewalld 查看状态： systemctl status firewa
大数据——Hadoop集群的搭建
qq_40395687的博客
12-10 217
hadoop环境搭建 注：三个重要网址     hadoop下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-2.5.0/     hadoop官方网址：hadoop.apache.org  &a
大数据学习——Hadoop集群搭建
qq_43687583的博客
08-20 1102
大数据学习之Hadoop集群搭建(超级详细)
大数据之Hadoop集群环境搭建
qq_42829835的博客
10-13 103
Hadoop运行环境搭建（虚拟机搭建跳过） 虚拟机环境的准备 克隆虚拟机 修改克隆虚拟机的静态IP 修改主机名 关闭防火墙 创建test用户，配置权限划分 在/opt目录下创建文件夹 在/opt目录下创建module、software文件夹 sudo mkdir module sudo mkdir software 修改module、software文件夹的所有者cd sudo chown test:test module/ software/ 安装JDK 查询是否安装J
【大数据技术】1.hadoop集群搭建
橙子关于大数据的技术学习
11-02 326
近年来，大数据技术越来越吃香，也是追求高薪的必备技能之一。 近些日子，打算技术转型，开始研究大数据技术，基于对JAVA、LINUX系统有一定的基础，完成hadoop集群搭建（1个master和1个slave）。 一、准备工具 VMvare、centOS6.3、SSH Secure客户端（具体安装过程这里不做描述） hadoop2.X压缩包与jdk安装包，我这里准备的JDK和Hadoop软件包如下所...
【大数据之 Hadoop】集群环境搭建
green1997的博客
10-31 1222
文章目录
Hadoop大数据集群搭建详解：理论与实践指南
《基于Hadoop大数据集群的搭建》是一篇针对计算机科学与技术、软件工程专业本科专科毕业生的原创学位毕业论文，作者从Hadoop的崛起背景出发，详细阐述了这个开源框架在大数据处理和分析领域的关键角色。论文的重点...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值