超详细大数据集群环境预配置的流程

最新推荐文章于 2024-08-14 09:01:11 发布
最新推荐文章于 2024-08-14 09:01:11 发布
阅读量688 收藏 3
点赞数
分类专栏： 大数据 文章标签： 大数据 集群 大数据环境配置
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44562716/article/details/95041403
版权
本文详细介绍了如何预配置大数据集群环境，包括关闭三台虚拟机的防火墙和SELinux，更改主机名，配置域名映射，设置免密登录，时钟同步，以及安装JDK。步骤详尽，适合初学者参考。
摘要由CSDN通过智能技术生成

大数据集群环境预配置的流程如下：

以三台虚拟机为例搭建大数据集群环境
软件使用：
xshell5
VM8

  1. 关闭防火墙
  2. 关闭selinux
  3. 更改主机名后重启虚拟机
  4. 配置域名映射
  5. 设置免密登陆
  6. 时钟同步
  7. 三台机器安装jdk

1.三台虚拟机关闭防火墙

service iptables stop
chkconfig iptables off

在这里插入图片描述
在这里插入图片描述
2.三台虚拟机关闭selinux

逐个关闭三台
vim /etc/selinux/config
在这里插入图片描述

注释语句 ： SELINUX=enforcing
添加语句 ： SELINUX=disabled
在这里插入图片描述
按键 i 输入
结束 esc : wq 保存退出

3.三台机器更改主机名

三台机器逐个更改
vim /etc/sysconfig/network
在这里插入图片描述
逐个修改
HOSTNAME=node01.hadoop.com
HOSTNAME=node02.hadoop.com
HOSTNAME=node02.hadoop.com
在这里插入图片描述

重启后检查(做完下面第四步再重启)
在这里插入图片描述

4.

最低0.47元/天 解锁文章
weixin_44562716
关注
专栏目录
「大数据集群的搭建和使用」背景知识：大数据概论
weixin_62909516的博客
07-09 708
一、大数据概念大数据由巨型数据集组成，这些数据集规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合。大数据分析挑战包括数据捕获、数据存储、数据分析、搜索、共享、传输、可视化、查询、更新、信息隐私和数据源。适用于大数据的技术，包括：大规模并行处理（MPP）数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。大数据单位：最小的基本单位是bit。
大数据集群环境搭建
06-29
大数据搭建
大数据-81 Spark 安装配置环境 集群环境配置 超详细 三台云服务器
最新发布
永远好奇，无限进步！
08-14 5465
上节完成了Spark的介绍、Spark特点、Spark部署模式、系统架构。本节我们在三台云服务器上实机部署配置Spark的集群环境，包含环境变量与配置等内容。使用我们之前编写的 rsync-script 工具。当然你也可以每台都配置一次也行，只要保证环境一致即可。（之前Hadoop等都使用过，如果你没有，你可以用复制或者别的方式）页面如下，为了保证稳定和学习的方便，我用了比较老的版本：2.4.5。每天机器都需要配置环境变量！配置完的结果，记得刷新环境变量。
大数据集群管控台ambari安装
12-30
Ambari作为集群管控台，简化了这些操作，使得管理和维护大数据集群变得更加便捷。一旦安装成功，你可以通过其Web界面轻松监控和管理整个Hadoop集群，包括添加、删除服务，查看日志，调整配置，以及处理警报等日常...
Hadoop大数据集群搭建​ 详细教程
dx1313113的博客
08-21 1494
etc /vsftpd/ftpusers文件专门用于定义不允许访问FTP服务器的用户列表（注意:如果 userlist_enable=YES,userlist_deny=NO,此时如果在vsftpd.user_list和ftpusers中都有某个 用户时，那么这个用户是不能够访问FTP的，即ftpusers的优先级要高）。当设置了该配置项后，用户登陆服务器后，系统就会到/etc/vsftpd/userconf目录下，读取与当前用户名相同的文件，并根据文件中的配置命令，对当前用户进行更进一步的配置。
大数据集群相关资料、包含文档、PPT
05-28
大数据集群是现代信息技术领域中的一个重要概念，它涉及多个服务器节点协同处理海量的数据。在这个压缩包中，你将找到关于大数据集群的文档、PPT等学习资料，这些资料可以帮助你理解并掌握大数据集群的构建与测试...
集群环境配置
一点千
12-15 724
VMware虚拟机网络配置1. 基础知识 网卡配置主要包括：IP，子网掩码（netmask），网关（gateway），DNS主机的IP网关：路由器或交换机 子网掩码与IP做并操作，可获取当前IP的网段信息 如果想直接通过主机名访问，需要在hosts文件中写明 DHCP：动态主机配置协议，即自动获取网络参数 Ethernet：以太网，故以太网接口常用ethN来表示 2. 配置的三种方式 NAT虚拟
大数据集群搭建
tonight01的博客
06-20 766
大数据学习1——集群搭建 虚拟环境搭建 克隆三台虚拟机并配置网络 把之前配置好的虚拟机克隆三份 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-rNW2z1Nc-1604748342726)(D:\Desktop\2020-11-07_171255.png)] 分别在三台虚拟机中设置网络，和hostname与ip的映射。步骤为：centOS7安装与配置 关闭三台虚拟机网络 使用finalshell连接虚拟机，进行批量操作 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存
大数据开发集群搭建
宁萧的博客
08-13 1289
此文章旨在帮助初学者搭建大数据集群
大数据Hadoop分布式集群环境搭建
小赫本本本
02-23 289
Zookeeper简介 Zookeeper集群搭建 Zookeeper基本操作 Hadoop HA集群环境搭建 Zoopeeper简介 zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。他是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护，域名服务，分布式同步，组服务等...
大数据集群/环境搭建指南
qq_51610110的博客
07-28 570
大数据集群/环境搭建指南
一起来学大数据｜Linux常用管理命令，及大数据集群的搭建
xiaoxianerqq的专栏
08-01 1181
转自 ：https://www.toutiao.com/a6584315458000781838/?tt_from=mobile_qq&utm_campaign=client_share&timestamp=1533083452&app=news_article&utm_source=mobile_qq&iid=39055545733&utm_med...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值