1.Hadoop---虚拟机搭建

最新推荐文章于 2024-04-30 05:08:04 发布
最新推荐文章于 2024-04-30 05:08:04 发布
阅读量761 收藏 5
点赞数
分类专栏： Hadoop 文章标签： hadoop 大数据 mapreduce
原文链接：https://www.bilibili.com/video/BV1Qp4y1n7EN?p=25&spm_id_from=pageDriver&vd_source=867fa98b57c5df7e6cb7e8f3ad59fd84
版权

文章目录

组成

1.NameNode :存储文件元数据
2.DataNode ：存储文件块数据
3.2NN ：每隔一段时间对NameNode备份
4.YARN 管理cpu和内存，资源管理者在这里插入图片描述
在这里插入图片描述

大数据生态

在这里插入图片描述

Mapreduce是基于硬盘的
Storm基本已经过气了，老的项目在用
Flink new

虚拟机搭建

搭建硬件

在这里插入图片描述
在这里插入图片描述
直接下一步
在这里插入图片描述
在这里插入图片描述在这里插入图片描述
在这里插入图片描述

因为我本机cpu处理器是8核的，所以这里配置的内核总数不能超过8，而我打算部署四个虚拟机，所以每个虚拟机，也就是2核

在这里插入图片描述
在这里插入图片描述
下一步，默认都是推荐的
在这里插入图片描述
在这里插入图片描述
这是设置最大是50G，并不是一定会占用这么多

在这里插入图片描述
点击浏览，可以更改存放位置
在这里插入图片描述
在这里插入图片描述
直接点击完成

安装操作系统

先确保虚拟化技术已经开启
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
选择我要分配，点击完成
点击+号
在这里插入图片描述
在这里插入图片描述
刚启动电脑的时候，配置1g
添加完毕以后，修改文件系统为ext4
在这里插入图片描述
swap 当内存不够了的时候，可以用一块硬盘当做是内存

在这里插入图片描述
另外设置根目录/ 为45G
在这里插入图片描述
完成–接受并更改

关闭KDUMP ,就是系统崩溃的时候，会开辟一块空间，做数据备份，因为我们是学习阶段，所以这块关闭掉
在这里插入图片描述
配置网络和主机名
在这里插入图片描述

安装完以后reboot
设置了root 123456
设置了普通用户yanweiling 123456

配置IP地址

在这里插入图片描述

配置VM的IP

虚拟机–编辑–虚拟网络编辑器
点击VMnet8,点击更改设置
在这里插入图片描述
再点击VMnet8
更改子网IP
在这里插入图片描述
点击NAT设置
在这里插入图片描述

配置Window10

打开window的以太网–>更改适配器
在这里插入图片描述
点击VMnet8，属性
在这里插入图片描述
双击Internet协议版本4
在这里插入图片描述
输入网关和DNS服务器，和公网解析器8.8.8.8

配置Hadoop100的IP

登录到hadoop100
切到root用户

su root

[root@hadoop100 yanweiling]# vim /etc/sysconfig/network-scripts/ifcfg-ens33

原内容

TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="dhcp"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="d71d864d-dc61-4ac8-8040-b7efde9b7153"
DEVICE="ens33"
ONBOOT="yes"

将BOOTPROTO由动态获取ip变成静态ip

BOOTPROTO=“static”

后面增加

IPADDR=192.168.10.100
GATEWAY=192.168.10.2
DNS1=192.168.10.2

TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="d71d864d-dc61-4ac8-8040-b7efde9b7153"
DEVICE="ens33"
ONBOOT="yes"
#IP地址
IPADDR=192.168.10.100
#网关
GATEWAY=192.168.10.2
#域名解析器
DNS1=192.168.10.2

修改主机名称

[root@hadoop100 yanweiling]# vim /etc/hostname
检查是否是hadoop100

修改主机名称映射
vim /etc/hosts

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108

修改完成以后，reboot

重启以后，查看

[yanweiling@hadoop100 ~]$ ifconfig
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.10.100  netmask 255.255.255.0  broadcast 192.168.10.255
        inet6 fe80::4b5d:e670:d498:d2a2  prefixlen 64  scopeid 0x20<link>
        ether 00:0c:29:ad:72:58  txqueuelen 1000  (Ethernet)
        RX packets 36  bytes 11620 (11.3 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 65  bytes 8317 (8.1 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
        inet 127.0.0.1  netmask 255.0.0.0
        inet6 ::1  prefixlen 128  scopeid 0x10<host>
        loop  txqueuelen 1000  (Local Loopback)
        RX packets 72  bytes 8088 (7.8 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 72  bytes 8088 (7.8 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

virbr0: flags=4099<UP,BROADCAST,MULTICAST>  mtu 1500
        inet 192.168.122.1  netmask 255.255.255.0  broadcast 192.168.122.255
        ether 52:54:00:2d:c5:1b  txqueuelen 1000  (Ethernet)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 0  bytes 0 (0.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

[yanweiling@hadoop100 ~]$

虚拟机可以ping www.baidu.com
window10 ，也可以ping 通192.168.10.100

运行环境准备

安装epel-release

这个属于一个软件仓库，大多数rpm包在官方repository中找不到
安装要切到root用户

关闭防火墙

在企业开发的时候，通常单个服务器的防火墙是关闭的，公司整体对外设置非常安全的防火墙
在这里插入图片描述

systemctl stop firewalld
systemctl disable firewalld.service 开启启动的时候也给关闭掉

创建普通用户

这里就不操作了，因为安装的时候，就已经创建用户yanweiling了
如果安装的时候，没有创建，则按照如下方式创建

useradd yanweiling
passwd yanweiling

配置普通用户具有root权限

[root@hadoop100 ~]# vim /etc/sudoers

修改/etc/sudoers文件，在%wheel这行下面添加一行，如下所示：
在这里插入图片描述

注意：yanweiling这一行不要直接放到root行下面，因为所有用户都属于wheel组，你先配置了yanweiling具有免密功能，但是程序执行到%wheel行时，该功能又被覆盖回需要密码。所以yanweiling要放到%wheel这行下面。

这样，当我们用yanweiling用户去
/opt目录下创建目录的时候

[yanweiling@hadoop100 opt]$ mkdir module
mkdir: 无法创建目录"module": 权限不够
[yanweiling@hadoop100 opt]$ sudo mkdir module
[yanweiling@hadoop100 opt]$

我们发现，不用密码输入了

未来安装的软件都放这里

修改文件夹所属组

（1）在/opt目录下创建module、software文件夹
[root@hadoop100 ~]# mkdir /opt/module
[root@hadoop100 ~]# mkdir /opt/software

（2）修改module、software文件夹的所有者和所属组均为atguigu用户
[root@hadoop100 ~]# chown atguigu:atguigu /opt/module
[root@hadoop100 ~]# chown atguigu:atguigu /opt/software

（3）查看module、software文件夹的所有者和所属组
[root@hadoop100 ~]# cd /opt/
[root@hadoop100 opt]# ll
总用量 12
drwxr-xr-x. 2 atguigu atguigu 4096 5月 28 17:18 module
drwxr-xr-x. 2 root root 4096 9月 7 2017 rh
drwxr-xr-x. 2 atguigu atguigu 4096 5月 28 17:18 software

卸载自带的JDK

因为我们是桌面版安装的，所以需要卸载自带的jdk

注意：如果你的虚拟机是最小化安装不需要执行这一步。

[root@hadoop100 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

 rpm -qa：查询所安装的所有rpm软件包
 grep -i：忽略大小写
 xargs -n1：表示每次只传递一个参数
 rpm -e –nodeps：强制卸载软件

重启虚拟机

reboot

虚拟机Clone

先关闭hadoop100
关闭以后，右键hadoop100–>管理–>克隆

下一步，直接到
在这里插入图片描述
我们选择完整的克隆
在这里插入图片描述
同样的方式，
克隆三台虚拟机：hadoop102 hadoop103 hadoop104

配置每台服务的ip和主机名称

例如在hadoop102上

[root@hadoop100 yanweiling]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
将ip修改为192.168.10.102

[root@hadoop100 yanweiling]# vi /etc/hostname
修改为hadoop102

这样我们就有四台机器 hadoop101 hadoop102 hadoop103 hadoop104了
本地我将hadoop100改为了hadoop101

yan_baby_liu
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop集群搭建(一)-创建虚拟机+安装CentOS
weixin_49001740的博客
04-29 3381
hadoop集群搭建基础准备
使用虚拟机搭建Hadoop（伪分布式搭建、分布式搭建）
weixin_48435461的博客
01-01 7623
学了一个学期的Hadoop，终于把这块大骨头啃掉了，泪目！！！ 这篇文章更像是一个学习Hadoop的总结 Hadoop伪分布式、分布式搭建一、准备工作1、hadoop压缩包2、jdk压缩包3、Xshell4、Xftp5、VM虚拟机二、Hadoop伪分布式1、安装Java2、配置环境变量3、安装Hadoop4、格式化NameNode5、配置Hadoop、start-dfs.sh和start-yarn.sh环境变量6、启动Hadoop7、通过Web端口访问HDFS三、Hadoop分布式0、安装Java1、修改
VMware搭建Hadoop集群 for Windows（完整详细，实测可用）_vmware安装hadoop教程
最新发布
kenzsoft的博客
04-30 1432
SSH服务的作用一般是有两方面：一是便于虚拟机节点之间免密访问，二是传输数据时会有加解密的过程安全性更高。为了这三个节点间免密登录，比如后面在启动hadoop服务时，主节点启动其它从节点，就需要免密去执行。搭建集群需要3个虚拟机，hadoop01，hadoop02，hadoop03，已经安装了hadoop01，剩下两个需要用到虚拟机克隆。下载一个linux版本的JDK，这里是 jdk-8u161-linux-x64.tar.gz，3台机器均要执行以下。最后执行java -version看下是否配置成功。
虚拟机安装配置Hadoop（图文教程）
在人间负债^
09-03 1万+
启动镜像 Init1.0检查是否安装 Hdoop 和 jdk。
【hadoop虚拟机搭建——超级详细】
qq_59280147的博客
03-29 5711
hadoop虚拟机平台搭建 1、使用VMware实现虚拟机内核 点击创建新的虚拟机 2、选择自定义配置 3、点击稍后安装操作系统 4、选择linux中的centOS 64位 5、给虚拟机命名Hadoop100，位置如下图 6、下一步给虚拟机选择配置，此时需要看一下Windows主机的cpu核数，总共建立三台虚拟机和一个windows，综合小于总核心数的80%。 给虚拟机选择内存 ，根据个人电脑而定。 网络链接选择nat 为虚拟机分配磁...
hadoop虚拟机搭建步骤
qq_51014165的博客
08-15 1093
将jdk和hadoop的安装包分别放到虚拟机指定目录（放在哪里都可以，可以复制，最好是放在hadoop的家目录或者自己定义的目录，后续设置环境变量时要用），三个都要做同样的操作。在用户设置界面设置root账号密码和普通用户账号及密码，为了方便后续操作，三个虚拟机root账号密码均设置为root，普通用户用户名均为hadoop，密码也为hadoop。将java安装包复制到指定目录（可以是任何地方，教材上在用户的家目录，也可以自己制定，比如在usr目录中新建一个目录等，都可以）
Hadoop虚拟机搭建Hadoop-3.3.0集群环境
06-07
总之，搭建Hadoop虚拟机集群环境是一项涉及多方面知识的工作，包括虚拟化技术、Linux操作、网络配置以及Java环境。理解Hadoop的基本原理和配置细节是成功部署的关键。在实际操作中，要保持耐心，逐步解决问题，最终...
hadoop-2.7.7.zip(windows 用)
02-03
这个压缩包“hadoop-2.7.7.zip”是专为Windows 7系统设计的Hadoop版本，使得用户在Windows环境下也能搭建本地的大数据处理环境。 在安装和运行Hadoop 2.7.7之前，确保你已经正确配置了Java环境是至关重要的。Java是...
hadoop-eclipse-plugin-3.3.1.jar
01-03
Ubuntu虚拟机HADOOP集群搭建eclipse环境 hadoop-eclipse-plugin-3.3.1.jar
3-虚拟机中Hadoop环境搭建.doc
03-07
本文档主要讲解了如何在虚拟机中搭建Hadoop环境，涉及到Hadoop的介绍、Hadoop用户的创建、APT的更新、jdk的安装、ssh的安装和配置，以及主机名的设置等步骤。 1. Hadoop介绍 Hadoop是Apache软件基金会旗下的一个...
hadoop-2.5.2.tar.gz
10-12
《Hadoop 2.5.2在VMware虚拟机Linux环境下的集群搭建指南》 Hadoop，这个由Apache基金会开发的开源分布式计算框架，已经成为了大数据处理领域的重要工具。本次我们关注的是Hadoop 2.5.2版本，它包含了众多优化和...
虚拟机上进行Hadoop伪分布式部署并进行大数据处理
qq_60567426的博客
06-21 1205
0是SEQ，1是酒店，2是国家，3是省份，4是城市等等....，我们可以知道new Tuple2(s.split(",")[1],1)输出的应该是(酒店，1)的元组集合，那我们来测试一下吧。后面的"hdfs://localhost:9000/data.csv"是刚才上传的data.csv在hadoop上的路径，后面的1是给给这个rdd分配1个块，一个块128M，相当于给RDD一个住的地方，不然无家可归就找不到它了，也可以多分几个块，相当于住在了连栋别墅。>的类型，这是固定写法。传入的rdd1的键值对的值。
2.Hadoop环境配置之虚拟机安装配置
热门推荐
shield911的博客
09-14 1万+
虚拟机下载安装配置和克隆
虚拟机搭建CentOS Hadoop集群搭建（03静态ip配置以及安装jdk）
影子
03-09 882
虚拟机静态ip配置： 宿主机和客户机： windows上安装虚拟机，windows相当于宿主机，linux的虚拟机相当于客户机。 宿主机和客户机连接方式 宿主机和客户机之间通讯 客户机是否可以访问外网 涉及网卡 桥接（bridge） 可以 不可以 VMnet0 nat（默认） 不可以 可以 VMnet8 仅主机host-only 不可以 不可以 VMnet1 （1）仅主机模式host-only 这种网络连接方式的特点
搭建hadoop集群，从安装虚拟机开始直到hadoop成功搭建
sgsgsgwe的博客
06-16 3244
搭建Hadoop集群一、实验目的与要求学习和掌握Hadoop的相关应用，首先必须得学会搭建Hadoop集群。本次实验将针对Hadoop集群的搭建内容进行演练。学会虚拟机的安装和克隆，Linux系统的网络配置和SSH配置，Hadoop集群的搭建和配置，Hadoop集群测试，熟悉Hadoop集群基本的操作。要求：1、认真理解集群搭建过程，通过实践成功搭建Hadoop集群。2、结合实践内容和教材的相关章节完成实验报告。二、实验内容1、虚拟机安装2、虚拟机克隆3、Linux系统网络配置4、SSH服务配置5、JDK安
虚拟机安装Hadoop
qq_54542910的博客
10-17 4705
Hadoop的安装
虚拟机搭建hadoop
Pmyx_wyh的博客
04-25 3165
虚拟机搭建hadoop 文章目录虚拟机搭建hadoop一、搭建centos虚拟机，1.分区等设置2.网络ip设置二、安装jdk1.卸载自带的jdk 一、搭建centos虚拟机， 1.分区等设置 下载镜像导入 ，分区： 硬件：内存2G，硬盘50G 分区：/boot 挂载1g /swap 挂载4G （内存不够可采用磁盘当内存使用） /挂载45G 2.网络ip设置 （1）虚拟网络编辑器设置：选择vmnet8 子网ip设置网段修改为任意网段 例如10 nat设置：原则同网段就想 （2）本地机设置：vmne
在虚拟机中搭建Hadoop环境，详解
一个学习的博客
11-03 2744
首先将hadoop解压包放入目录下 解压hadoop解压包，解压到/opt/soft里面 [root@gree6 install]# tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz -C /opt/soft 解压完看soft里面是否有呢 接着改个名 [root@gree6 soft]# mv hadoop-2.6.0-cdh5.14.2/ hadoop260 接着开始配置环境 [root@gree6 soft]# vi /etc/pro...
Hadoop：模板虚拟机的创建
m0_57753335的博客
09-17 870
Hadoop准备工作（1）：模板虚拟机的创建
"大数据技术基础-安装-hadoop-过程.pdf中的虚拟机选择与创建
首先，通过虚拟机安装运行“VirtualBox”软件，并新建虚拟机选择专家模式，输入master，选择Linux系统的Ubuntu版本，并设置内存为1G，然后点击创建。在此过程中，我们了解了不同的虚拟机硬盘文件格式，包括vdi格式、...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值