Hadoop学习笔记(1)基于VMware的hadoop环境搭建笔记

一、Vmware16下载

1、在Vmware官网下载
在这里插入图片描述
2、下载后,自行安装。点击打开Vmware
在这里插入图片描述

二、下载CentOS 7 64位

1、输入CentOS官网地址https://www.centos.org/,并点击下载页面进行下载
在这里插入图片描述
2、选择CentOS 7 64位
在这里插入图片描述
3、此处我选择下载的是阿里云的
在这里插入图片描述
在这里插入图片描述
4、下载完成,保存到相应的存放路径即可。
在这里插入图片描述

三、创建虚拟机

1、点击新建虚拟机
在这里插入图片描述
2、选择典型安装(有些小的功能可以选择自定义安装)。
在这里插入图片描述
3、选择稍后安装操作系统(方便后续安装可视化界面)
在这里插入图片描述
4、选择已经下载好的操作系统和版本(我的是Linux的CentOS 7)
在这里插入图片描述
5、给虚拟机命名并选择系统选择存储位置
在这里插入图片描述
在这里插入图片描述
6、指定磁盘容量一般选择默认(虚拟磁盘存储为单个或者多个文件一般影响不大)
在这里插入图片描述
7、选择自定义硬件,一般根据自己电脑设置。(1)此处内存修改为2G;(2)CD/DVD(IDE)设置,选择使用ISO映像文件,填写下载好的CentOS 7系统的保存路径。最后关闭,完成配置。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

四、启动虚拟机

1、开启虚拟机
在这里插入图片描述
2、启动后会自动install CentOS 7,等待安装完成
在这里插入图片描述
3、选择语言
在这里插入图片描述
4、选择“软件选择(S)”,选择GNOME桌面
在这里插入图片描述
在这里插入图片描述
5、开始安装
在这里插入图片描述
在这里插入图片描述
6、设置root密码和创建用户,完成配置后,并重启
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
7、许可证授权,并完成配置
在这里插入图片描述

在这里插入图片描述
8、继续
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
9、完成
在这里插入图片描述

五、网络配置(NAT模式)

1、本机以连接无线网络为例
2、打开"网络与Internet"设置
在这里插入图片描述
3、右键无线网络的“状态”、“属性”
在这里插入图片描述
4、设置“共享”,并确定保存
在这里插入图片描述
5、启动虚拟机,点击“编辑虚拟机设置”
在这里插入图片描述
6、网络适配器设置为NAT模式
在这里插入图片描述7、点击“编辑”,打开虚拟网络编辑器进行设置,然后确认保存
在这里插入图片描述
8、点击“开启此虚拟机”
在这里插入图片描述
9、启动虚拟机后,进行网络测试。右键“打开终端”输入:

ping www.baidu.com

或者打开浏览器输入网页:
在这里插入图片描述
10、完成网络配置。

六、设置固定IP地址

此设置挺重要。动态IP会使个节点连接失败,每次都需手动修改配置文件,挺麻烦的,而静态IP则无此顾虑。
此处以主节点的虚拟机为例:
点击右上角的“关机”按钮,在菜单中选择“有线设置”
在这里插入图片描述
点击设置
在这里插入图片描述
输入如下信息
地址:输入自定义的IP,如192.168.XXX.XXX
子网掩码:可以通过命令ifconfig中查看,一般是255.255.255.0
网关:可以通过命令cat /etc/resolv.conf查看,如192.168.1.1
DNS:与网关一致
在这里插入图片描述
点击应用,设置完毕。
其他两个节点同理操作。

七、通过克隆生成两个slave、slave1从节点

选择主节点,点击克隆生成从节点
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
选择完整的克隆
在这里插入图片描述
master、slave、slave1节点要放在同一个目录下
在这里插入图片描述
slave节点克隆完毕。slave1节点同样的操作。

  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop是一个开源的分布式计算框架,可用于大数据的存储和处理。它采用了分布式文件系统(HDFS)和分布式计算框架(MapReduce),能够将大数据分割成小的数据块,并在集群中的多台计算机上并行处理这些数据块。 HDFS是Hadoop的分布式文件系统,它将大文件切分为多个数据块,并将这些数据块存储在集群中的多个计算机上。HDFS使用主从架构,其中NameNode负责管理文件系统的元数据,而多个DataNode负责实际存储数据。HDFS具有高容错性,能够自动复制数据块以保证数据的可靠性。 MapReduce是Hadoop的分布式计算框架,它通过将计算任务划分为多个Map和Reduce阶段来进行并行计算。Map阶段将输入数据切分为多个独立的小任务,并在集群中的多个计算机上并行执行。Reduce阶段将Map阶段的输出合并并进行聚合计算。MapReduce具有自动并行化、容错性和可扩展性等优点,能够高效地处理大规模数据集。 在学习Hadoop时,首先要了解Hadoop的核心组件,包括HDFS和MapReduce。然后,需要学习Hadoop的架构和工作原理,理解Hadoop如何实现分布式存储和计算。接下来,需要学习Hadoop的安装和配置,包括在单机和集群环境下的安装和配置过程。此外,还需要学习Hadoop的命令行工具和管理工具,以及Hadoop的API和编程模型。 在实际使用Hadoop时,需要掌握Hadoop的常用操作和管理技巧,如如何上传和下载文件、如何执行MapReduce作业、如何监控和管理Hadoop集群等。同时,需要学习Hadoop的优化技术和调优方法,以提高Hadoop集群的性能和效率。 总之,对于Hadoop学习,除了理解其基础知识和工作原理外,还需要熟悉其常用操作和管理技巧,以及灵活运用Hadoop来解决实际的大数据问题。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值