HDFS集群搭建步骤以及用到的操作总结

最新推荐文章于 2024-08-04 13:23:56 发布

豆豆饮水

最新推荐文章于 2024-08-04 13:23:56 发布

阅读量690

点赞数

分类专栏： HDFS集群搭建文章标签： HDFS

本文链接：https://blog.csdn.net/qq_40309692/article/details/80050878

版权

HDFS集群搭建步骤

1. 配置虚拟机的网路

用VMvare、CenterOS新建一个虚拟机node1，网络选择“桥接”模式，必须用root用户进入：

su -r root

访问目录并修改ifcfg-eth0 文件：

vi /etc/sysconfig/network-scripts/ifcfg-eth0

主要添加配置IP、子网掩码、网关，设置BOOTPROTO=static，其他无需更改。

DEVICE=eth0

BOOTPROTO=static

DHCPCLASS=

HWADDR=00:0C:29:C0:03:84

ONBOOT=yes

IPADDR=192.168.1.122

NETMASK=255.255.255.0

GATEWAY=192.168.1.1

配置完成后，重启网络服务使其生效: service network restart

2. 修改主机名称：vi /etc/sysconfig/network

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

豆豆饮水

关注关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

大数据学习(1)-Hadoop HDFS基础分布式集群搭建及使用

17611119847

06-05

1万+

HDFS分布式集群搭建【基础版】环境：以CentOS6.5为例(3个节点)准备配置文件修改NameNode格式化启动|停止hadoop【在NameNode节点运行】shell访问HDFS浏览器访问HDFC 环境：以CentOS6.5为例(3个节点) 防火墙关闭并关闭自启 selinux设置关闭设置主机名设置主机映射 jdk1.7 ssh免密登陆 hadoop-2.5.2 准备解压hado...

HDFS搭建步骤

youAreRidiculous的博客

06-12

334

配置免密登录免密与未免密： node1向node2发送一个请求，node2去查找本地是否有node1的公钥，情况一：没有，情况二：有情况一： node2会向node1索取公钥，node1再次发送过去，自己的公钥，node2在本地进行计算，存储，把得到的结果返回给node1，node2就会和node1建立连接，但是这个时候因为没有登录密码而卡壳，于是，用户输入密码… node1把密码封装了发过去...

参与评论您还未登录，请先登录后发表或查看评论

Hadoop搭建集群

最新发布

m0_70405779的博客

08-04

2512

Hadoop集群部署是为了实现分布式存储和计算，提高大数据处理的效率和性能。1.确定集群规模和硬件资源，选择合适的操作系统和Hadoop版本，进行网络配置，确保集群内各节点之间可以互相通信。2.设置各节点的环境变量，安装和配置Java环境以及其他必要的软件和工具。3.配置Hadoop的核心组件（如HDFS和YARN）和各节点角色（如NameNode、DataNode、ResourceManager、NodeManager等），完成集群的部署。

HDFS完全分布式搭建步骤

滴水穿石的博客

10-11

1253

1.准备阶段思路：准备4个Linux操作系统，并配置好IP地址，将NameNode在Hadoop1节点上启动，SecondaryNameNode和DataNode在Hadoop2节点上启动，其余两个DataNode分别在Hadoop3和Hadoop4节点上启动。主机名 IP地址 NameNo...

hdfs的搭建

wwtang9527的专栏

11-16

754

创建rsa无密码登录： ssh-keygen -t rsa cat .ssh/id_rsa.pub .ssh/authorized_keys 先配置hdfs： 1、下载hadoop-0.20.2.tar.gz，解压; 2、修改conf/hadoop-env.sh，配置java_home; 3、配置hdfs访问路径，core-site.xml： fs.de

集群搭建-----HDFS完全分布式搭建步骤（手把手教学）

power_k的博客

06-13

471

(1)时间同步 ①各个节点安装ntp命令yum install ntp ②上网查找最新的时间服务器ntp1.aliyun.com ③同步时间ntpdate ntp1.aliyun.com (2)配置免密登录 node01->node01 node01->node02 node01->node03 node01->node04 ①所有节点执行 ssh-keygen -t...

Hadoop高可用集群搭建步骤

weixin_51104731的博客

07-27

1843

搭建hadoo高可用集群的详细步骤

HDFS集群搭建，高可用双机热备模式(HA)自动切换，hdfs+zookeeper+journalnode，步骤分步原理详解(适合初学者)

CAM的博客

07-01

7522

前言作者也是初学hadoop，了解各组件的用途，并且项目中有些东西用不到，所以作者用最简化的组件搭建，避免多余资源的浪费，作者最初构想是zookeeper+hdfs搭建一个分布式文件系统，不用yarn和mapReduce，但是由于双机热备需要一个共享资源的目录，所以还是用到了yarn的journalnode。后续会进行详细说明。作者会针对每一步进行详细说明以及原理解释，还有作者踩过的

Linux 系统 CentOS7 上搭建 Hadoop HDFS集群详细步骤

zp8126的专栏

03-28

1588

整体思路：先在一个节点上安装、配置，然后再克隆出多个节点，修改 IP ，免密，主机名等提前规划：需要三个节点，主机名分别命名：node1、node2、node3在下面对 node1 配置时，先假设 node2 和 node3 是存在的**注意：**整个搭建过程，除了1和2 步，其他操作都使用普通用户权限。

Hadoop分布式集群搭建以及案例运行-fs操作

热门推荐

OnTheRoad的博客

02-06

1万+

Hadoop分布式集群搭建案例步骤(也可以叫分布式文件系统)一：创建分布式集群环境二：设置静态ip以及主机名与映射关系三：创建用户、配置SSH无密登录四：子机dn操作五：配置主机jdk、hadoop的环境以及hadoop文件六：打包、远程传输至子机七：启动hadoop集群以及运行案例基于hadoop的整体分布式模块交互 1）分布式系统的定义把数据放到一个服务器集群上面，分为：主控服务器（Mas...

集群搭建-----HDFS伪分布式搭建步骤（手把手教学）

power_k的博客

06-12

332

## 配置免密登录配置免密登录 node01->node01 ssh-keygen -t rsa ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01 1、上传文件 ftp 安装yum install lrzsz -y 使用命令rz 上传文件 jdk hadoop 2、解压 linux创建一个专门的安装包 mkdir /opt/*** 为了...

HDFS搭建详细步骤说明

想去耍儿的博客

12-15

3592

文章目录前言一、服务器准备1、服务器列表二、安装包准备三、安装步骤第一步：上传解压2 配置java环境第二步：vim hadoop-env.sh第三步：在 Linux 中配置 Hadoop 环境变量第四步：验证第五步：修改hosts第六步：设置 SSH 免密码登录第七步：配置HDFS第八步：配置NameNode节点第九步：修改hostName第十步：格式化 NameNode 以及启动 HDFS 系统第十一步：网页访问前言目前公司需要搭建一个存储大文件的文件系统，经过一系列调研最后决定采用HDFS。

HDFS集群搭建

qq_37436172的博客

05-05

987

在已经启动单机版hdfs的基础上进行 1.准备三台虚拟机（以完成网络配置，主机名配置，主机域名映射,防火墙关闭并关闭重启，ssh免密，安装JDK等等） 2.在node01上安装Hadoop，配置环境变量（修改和配置一些文件，修改时一定小心错一个字母就会失败。） 3.同步配置信息（把在node01上修改的配置文件同步到node02和node03上） 4.在node01上格式化，并启动集群。 5.用jps查看启动情况，并测试上传下载是否能成功。在web端查看

HDFS完全分布式集群搭建与配置

stupid_gentleman的博客

09-15

2982

HDFS完全分布式集群搭建与配置

HDFS搭建

qq_33155765的博客

09-12

1410

一、搭建前准备配置好各台服务器的地址映射关系，相互之间的免密登录，安装jdk环境，时间同步(ntpdate time.nist.gov) 准备hadoop-2.6.5.tar.gz 安装包，放入/home目录下。二、分析环境需要一台放置NameNode（NN)，需要一台放置SecondaryNameNode(SNN) 还需要放置在三台服务器上的DataNode(DN),规划：din...

hdfs搭建

Strangewu的博客

09-09

368

《自救指南》-Linux-Hadoop完全分布式集群搭建 我的搭建环境 Centos7 Hadoop2.7.7 CRT 1、安装前准备工作安装3台CentOS7系统的主机修改IP地址与主机名 1、查看自己的IP地址 ifconfig 2、修改自己的IP地址因为我创建的一台虚拟机后，其他两台虚拟机是克隆而来，因此IP地址一致，则需要修改 cd /etc/sysconfig/network-scripts vim ifcfg-ens33 执行上面命令后里面的内容如下 TYPE

HDFS的搭建

wanghailan1818的博客

08-13

484

.网络和主机名配置 IP，HostName,/etc/hosts ip hostname 网络配置和hostname的配置（使用nmtui 命令） # 配置完成后需要重启网卡 systemctl restart network ip 与 hostname的映射配置 (vim /etc/hosts) 192.168.232.101 master 192.168.232.102 slave1 192.168.232.103 slave2 192.168.232.104 slave3 192.168.

Hadoop 3 HDFS集群搭建教程与端口详解

在本篇Hadoop3自学入门笔记...总结来说，这篇笔记提供了Hadoop 3 HDFS分布式集群的搭建步骤，包括基础环境的准备、配置文件的修改、HDFS的初始化以及服务的启动，对于想要学习和实践Hadoop 3的人来说是一份实用的指南。