搭建伪分布式Hadoop集群

最新推荐文章于 2024-05-23 20:15:07 发布
最新推荐文章于 2024-05-23 20:15:07 发布
阅读量528 收藏 9
点赞数 2
分类专栏： Linux 文章标签： 分布式 linux hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44735533/article/details/114649052
版权

搭建伪分布式Hadoop集群

1.安装虚拟机、Centos、Xshell

基础环境：Vmware Workstation 15.5 centos 7 xshell5

1.1 虚拟机安装及使用

虚拟机就选择Vmware Workstation
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
都是比较基础的配置，但我还是一步一截图，这个和之前自己的虚拟机安装，在后面还是有些不同的。

搭建环境的话，我将这台虚拟机命名为zero。

存放位置取决于自己电脑配置，我电脑C盘为固态硬盘512G，想来没有什么太大问题。如果内存不够建议放其他盘符，若其他盘符是机械硬盘，还是可能会影响速度。
在这里插入图片描述
内存我就直接默认了，这里和以前配置的有区别——以前是选择整体存储为单个文件，现在这里是将其拆分为多个文件。
在这里插入图片描述
在这里插入图片描述
内存更改为2G，选择自己本地的镜像centos 7进行安装。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
完成之后就打开虚拟机，进行内部安装和相关设置。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
更改时间这一步骤，看个人喜好，可改可不改。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
分区这里可以重点看看，还是比较重要的。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
这里也涉及到了网络的相关配置，但在后续还要进行相关操作，因此将其归纳为虚拟机中的步骤。
在这里插入图片描述
密码建议——能记住，不容易忘就行。
在这里插入图片描述
在这里插入图片描述
密码设置太简单的话，得点击两次【done】才能生效。
在这里插入图片描述
在这里插入图片描述
等待完成，完成后重启
在这里插入图片描述
在这里插入图片描述
我后续中要配置的ip——192.168.146.140
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.网络设置

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
此时，记得查看一下虚拟机中的IP

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

3.jdk配置

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

4.搭建伪分布式Hadoop集群

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

5.搭建分布式Hadoop集群

想去见见你
关注
  • 2
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
hadoop伪分布式环境搭建
xyllp的博客
02-10 5680
hadoop伪分布式环境搭建一、修改主机名，IP映射修改主机名修改IP映射二、安装jdk三、安装hadoop四、配置hadoop修改slaves修改hadoop-env.sh配置core-site.xml配置hdfs-site.xml配置mapred-site.xml配置yarn-site.xml关闭防火墙格式化启动hadoop 一、修改主机名，IP映射 为了在集群管理中，能够方便的对各个节点进行...
Hadoop伪分布式环境搭建
qq_62928039的博客
10-06 1968
Hadoop 伪分布式集群是一种在单个节点上模拟分布式环境的配置，用于学习、开发和测试 Hadoop 的功能和特性。它提供了一个简化的方式来体验和熟悉 Hadoop 的各个组件，而无需配置和管理一个真正的多节点集群。在 Hadoop 伪分布式集群中，各个 Hadoop 组件（如 NameNode、DataNode、ResourceManager、NodeManager 等）在同一台机器上运行，并通过配置文件进行连接和通信。
hadoop伪分布模式搭建(详细步骤）
热门推荐
m0_61232019的博客
12-22 1万+
一、前期准备 1. 关闭防火墙 2. 安装好JDK 3. 准备hadoop安装包 二、安装hadoop伪分布模式 1. 在home/hadoop/software/路径下创建hadooptmp目录 2. 解压hadoop-3.3.0.tar.gz 3. 进入hadoop-3.3.0/etc/hadoop 4. 编辑hadoop运行是的环境 5. 配置NameNode所在的主机或者通讯地址及NameNode格式化后的目录的路径 6. 配置DataNode的数据块冗余度
大数据技术原理（二）：搭建hadoop伪分布式集群这一篇就够了
最新发布
m0_60732994的博客
05-23 1379
一、实验目的 1.理解Hadoop伪分布式的安装过程 实验内容涉及Hadoop平台的搭建和配置，旨在提高对大数据处理框架的理解和实践能力。通过完成本实验，将能够独立完成Hadoop伪分布式环境的安装和配置。 2.学会JDK安装和编译hadoop源码包 同时，通过手动编译hadoop源码包，还将能够更深入地了解Hadoop的内部原理和工作机制，通过解决问题并不断思考，具备根据需求进行扩展和定制的能力。 3.学会Hadoop伪分布式安装和参数配置 修改Hadoop的配置文件，包括core-site.xml、
hadoop伪分布式环境搭建，完整的详细步骤
a639735331的博客
07-12 9260
hadoop伪分布式环境搭建，完整的详细步骤
Hadoop伪分布式集群的搭建
qq_63834914的博客
12-25 1496
本文是基于jdk8和CentOS6配置的Hadoop伪分布式集群，步骤详细，希望能帮助到给位小伙伴们，有什么不足的请多多包含。
Hadoop伪分布式搭建
best924133514的博客
02-28 340
Hadoop伪分布式搭建
基于Hadoop的常规案例，在Windows和Linux上搭建伪分布式hadoop集群
12-29
基于Hadoop的常规案例，在Windows和Linux上搭建伪分布式hadoop集群 -------- 不懂运行，下载完可以私聊问，可远程教学 该资源内项目源码是个人的毕设，代码都测试ok，都是运行成功后才上传资源，答辩评审平均分达到...
linux虚拟机搭建hadoop伪分布式集群
04-26
搭建hadoop伪分布式集群的步骤，希望能帮到各位，多多
Hadoop伪分布式集群环境搭建
10-13
Hadoop伪分布式集群环境搭建，有常见错误及解决方案。
手把手教你搭建分布式Hadoop集群视频教程（视频+讲义+笔记+软件+配置）
05-15
手把手教你搭建分布式Hadoop家族集群视频教程（视频+讲义+笔记+配置），内容包括 Hadoop，SQOOP，Hive,Hbase的安装配置及集群搭建。内容包括但不限于： 01_回顾集群架构及配置集群时间同步 02_配置主节点与从节点...
Centos7 + Hadoop3 搭建伪分布式集群
01-07
hadoop：hadoop-3.2.1 终端连接软件：SecureCRT 关于Centos7的网络配置可以看我的另一篇博客：Centos7的网络配置 一、利用SecureCRT上传文件到root目录 二、关闭防火墙 按顺序执行命令：iptables -F;iptables -X;...
hadoop伪分布式搭建
火羽的博客
01-12 495
hadoop搭建方式有三种： Local (Standalone) Mode ——本地模式 Pseudo-Distributed Mode ——伪分布式 Fully-Distributed Mode ——分布式伪分布式集群的搭建是hadoop入门最先接触的模式： 环境： jdk：jdk1.7
单虚拟机搭建zookeeper分布式伪集群
ljs13168734665的博客
12-24 230
单虚拟机搭建zookeeper分布式伪集群1、zookeeper的来源和含义2、分布式集群搭建 1、zookeeper的来源和含义 ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务。顾名思义。分布式其实就是拆。将一个服务。拆分成多个服务。在保证系统服务功能完整的基础上，进行拆分。比如订单服务down掉了并不会影响整体功能的运行。而单体式服务会影响 早在90年代。计算机学家提出分布式cap定律。 c：一致性。读写一致性。客户端发出读或写请求。服务器返回/做出相应结果。 1、假如有a，b服务器
Hadoop伪分布式集群搭建过程及避坑指南
q_all_is_well的博客
06-11 2639
一个偶然的机会，让我进了hadoop这个坑。我不得不说，Google真是个非常厉害的公司。为计算机行业贡献了很多亮瞎双眼额技术。初入Hadoop一般都要了解HDFS，YARN，Mapreduce。现在来总结一下Hadoop分布式集群的搭建过程。1.首先准备好相应的安装包，同时在你的服务器上配置好jdk。完成后通过tar -zxvf jdk.tar.gz(文件名)进行解压进入jdk 目录 输入pwd...
hadoop伪分布式集群搭建
weixin_36815898的博客
04-06 1286
hadoop伪分布式集群搭建一、关闭防火墙二、关闭selinux三、安装jdk 四、修改主机名、hosts 五、hadoop安装及配置1、将hadoop安装包上传到 /opt 目录下2、解压安装包4、配置hdfs-site.xml5、配置mapred-site.xml6、配置yarn-site.xml7、配置slaves8、配置Hadoop环境配置9、创建core/hdfs-site.xml里配置的路径10、Hadoop的初始化11、启动hadoop12、访问hadoop的webUI界面 一、关闭防火墙 s
Hadoop伪分布式集群搭建
qq_44405452的博客
05-04 2166
安装JDK （1）准备软件 准备jdk安装包： jdk-8u221-linux-x64.tar.gz （2）解压压缩包 tar -zxvf jdk-8u221-linux-x64.tar.gz （3）在此处我们配置系统环境变量，使用命令： vim /etc/profile （4）在最后加入以下两行内容： export JAVA_HOME=/root/software/jdk1.8.0_221 # 配置Java的安装目录，我的在/root/software文件夹下 export PATH=$PATH:$
Hadoop（一) 伪分布式集群搭建详解
木子的博客
01-20 1245
搭建环境的步骤如下： 1.修改主机名 vi /etc/sysconfig/network 2.修改ip地址 vi /etc/sysconfig/network-scripts/ifcfg-eth0（网段不要乱设置，要在同一网段内） 注：个人认为由于192.168开头的ip是一个C类地址，所以在设置ip的时候要将前三位地址设置的和本机一样。 3.修改...
搭建伪分布式hadoop集群操作步骤
weixin_46057712的博客
03-31 331
搭建hadoop的伪分布式（hdfs，mapreduce，yarn配置在同一服务器上） （1）配置hdsf （a）配置：hadoop-env.sh 修改JAVA_HOME 路径：export JAVA_HOME= jdk的路径 （b）配置：core-site.xml fs.defaultFS hdfs://hadoop201:9000 hadoop.tmp.dir /opt/mo...
Hadoop安装与伪分布式集群搭建
12-01
Hadoop安装与伪分布式集群搭建步骤如下： 1.下载Hadoop安装包并解压缩到指定目录，例如/opt/module/hadoop-2.7.3。 2.配置环境变量，打开/etc/profile文件并添加以下内容： ```shell export HADOOP_HOME=/opt/module/hadoop-2.7.3 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 3.修改Hadoop配置文件，进入Hadoop安装目录下的/etc/hadoop目录，修改以下配置文件： core-site.xml： ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` hdfs-site.xml： ```xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> ``` mapred-site.xml： ```xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> ``` yarn-site.xml： ```xml <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration> ``` 4.格式化Hadoop文件系统，执行以下命令： ```shell hdfs namenode -format ``` 5.启动Hadoop集群，执行以下命令： ```shell start-all.sh ``` 6.验证Hadoop集群是否正常运行，执行以下命令： ```shell jps ``` 如果输出结果中包含NameNode、DataNode、SecondaryNameNode、ResourceManager、NodeManager等进程，则说明Hadoop集群已经成功启动。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

想去见见你

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值