hadoop伪分布式运行环境搭建

最新推荐文章于 2024-07-28 20:13:01 发布
最新推荐文章于 2024-07-28 20:13:01 发布
阅读量530 收藏 1
点赞数 2
分类专栏： hadoop 文章标签： hadoop 大数据 linux 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_46589706/article/details/106160759
版权
本文详细介绍了在Linux环境下搭建Hadoop伪分布式集群的步骤，包括环境变量配置、核心及各组件配置文件的修改，以及启动过程中的注意事项，如Namenode的格式化和数据目录清理。通过此指南，读者可以成功建立一个用于学习和测试的Hadoop运行环境。
摘要由CSDN通过智能技术生成

序：相关软件版本

一、前期准备

二、需要修改的配置

三、配置修改过程

3.1、环境变量设置，将JAVA变量增加到hadoop变量中

3.2、配置core-site.xml

3.3、配置hdfs-site.xml

3.4、配置yarn-site.xml

3.5、配置mapred-site.xml,指定job在yarn上运行

四、启动伪分布式集群

4.1、格式化namenode （第一次启动前进行格式化，之后尽量不要格式化）

4.2、启动namenode、datenode

4.3、启动resourcemanager、nodemanager

五、总结

序：相关软件版本

  • VMware：VMware-15.5.1
  • Linux：CentOS-7.5-x86_64-DVD-1804.iso
  • JDK:jdk-8u212-linux-x64.tar.gz
  • Hadoop：hadoop-3.1.3.tar.gz

一、前期准备

  1. 准备一台服务器
  2. 服务器静态ip创建
  3. 服务器关闭防火墙
  4. 服务创建新用户，并在/opt/目录下创建两个目录：module,software。并将两个目录拥有者转给新用户
  5. 安装好jdk及hadoop，并配好环境变量

二、需要修改的配置

  1. hadoop-env.sh (hodoop 3.1.3/etc/hodoop/hadoop-env.sh）需配置JAVA_HOME
  2. core-site.xml
  3. hdfs-site.xml
  4. yarn-site.xml
  5. mapred-site.xml

三、配置修改过程

3.1、环境变量设置，将JAVA变量增加到hadoop变量中

位置：/opt/module/hadoop 3.1.3/etc/hadoop/hadoop-env.sh

# The java implementation to use. By default, this environment
# variable is REQUIRED on ALL platforms except OS X!
# export JAVA_HOME=
# 增加以下内容
export JAVA_HOME=/opt/module/jdk1.8.0_212

3.2、配置core-site.xml

位置：/opt/module/hadoop 3.1.3/etc/hadoop/core-site.xml

<configuration>
        <!-- 增加以下内容 -->
        <!-- 指定HDFS中NameNode的地址,指定集群之间交互的端口号 -->
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://hadoop101:9820</value>  
        </property>

        <!-- 指定Hadoop运行时产生文件的存储目录 -->
        <property>
                <name>hadoop.tmp.dir</name>           
                <value>/opt/module/hadoop-3.1.3/data/tmp</value>
        </property>
</configuration>

3.3、配置hdfs-site.xml

最低0.47元/天 解锁文章
慵懒的程序猿007
关注
专栏目录
Hadoop伪分布式集群环境搭建
10-14
接下来，按照以下步骤搭建Hadoop伪分布式环境： 1. **下载Hadoop**：访问Apache官方网站，下载最新稳定版的Hadoop二进制包，将其解压到一个合适的目录，例如`/usr/local/hadoop`。 2. **配置环境变量**：编辑`~/....
hadoop伪分布模式搭建(详细步骤）
m0_61232019的博客
12-22 1万+
一、前期准备 1. 关闭防火墙 2. 安装好JDK 3. 准备hadoop安装包 二、安装hadoop伪分布模式 1. 在home/hadoop/software/路径下创建hadooptmp目录 2. 解压hadoop-3.3.0.tar.gz 3. 进入hadoop-3.3.0/etc/hadoop 4. 编辑hadoop运行是的环境 5. 配置NameNode所在的主机或者通讯地址及NameNode格式化后的目录的路径 6. 配置DataNode的数据块冗余度
初识大数据Hadoop生态圈：搭建Hadoop伪分布式环境
weixin_73609140的博客
05-28 726
上一篇我搭建完成了Linux系统以及配置，本篇文章进行我的项目回顾和Hadoop环境准备什么是网站日志？网站，或者说web服务器在运行过程中如果有用户访问了我们的服务器，它会把信息以文本形式自动记录下来，这个文件通常以.log结尾，一般称为服务器日志。通过对网站日志的信息的统计分析，可以帮我们了解整个网站的运行情况，为公司后续的优化升级、公司营销策略等等提供依据。通常来说这个日志记录都会非常的大，特别是一些超大型的网站，有一个用户进行访问它就会记录下来，想象一下这个数据集会有多大？
伪分布式集群搭建指南
最新发布
qq_51610110的博客
07-28 2160
在构建分布式计算环境的学术研究与实践中，伪分布式集群的搭建被视为一种重要的技术手段。该技术通过模拟分布式系统的核心功能，允许研究人员和开发者在单一物理服务器上模拟多个节点的运行环境，从而在资源有限的情况下，对分布式算法和系统进行测试和验证。本文将详细介绍伪分布式集群的构建过程，包括系统架构设计、关键技术选型、网络配置、资源管理策略以及故障恢复机制等，旨在为读者提供一个全面而深入的搭建指南。
Hadoop集群搭建
weixin_45294380的博客
06-10 231
Hadoop集群搭建 xsync脚本：/bin vim xsync /chmod 777 xsync #!/bin/bash #1 获取输入参数个数，如果没有参数，直接退出 pcount=$# if ((pcount==0)); then echo no args; exit; fi #2 获取文件名称 p1=$1 fname=`basename $p1` echo fname=$fname #3 获取上级目录到绝对路径 pdir=`cd -P $(dirname $p1); p..
Hadoop伪分布式环境搭建
平淡中造就不平凡
12-29 2654
本案例采用伪分布模式搭建Hadopp，在一台主机模拟多主机，用于后续的程序开发。
一文快速学会Hadoop伪分布式环境搭建，很详细
wish_you_luck的博客
05-08 3474
dfs.replication: ⽤于指定⽂件块的副本数量。HDPS特别适合于存储⼤⽂件，它会将⼤⽂件切分成每128MB⼀块，存储到不同的DataNode节点上，且默认将每⼀块备份2份，共3份，即此配置的默认值为3，最⼤为512MB。yarn.resourcemanager.hostname：⽤于指定ResourceManager的运⾏主机，默认0.0.0.0，即本机。注意：这里需要的配置文件都在$HADOOP_HOME/etc/hadoop里，就是安装路径/hadoop3.x/etc/hadoop。
hadoop伪分布式搭建.doc
10-07
《Hadoop伪分布式环境搭建详解》 Hadoop作为大数据处理的核心框架，其分布式环境的搭建是初学者必须掌握的关键技能之一。本篇文章将详细解析Hadoop伪分布式集群环境的搭建步骤，以及在搭建过程中可能遇到的问题及其...
hadoop伪分布式安装.pdf
10-22
在开始配置Hadoop伪分布式之前，需要确保已经完成了基本的环境搭建工作。主要包括： 1. **系统环境准备**：一般情况下，推荐使用Linux操作系统，因为它提供了良好的稳定性和性能。 2. **JDK安装**：Hadoop基于Java...
从零开始搭建虚拟机伪分布式环境（从创建虚拟机一步步教你搭建伪分布式开发环境）。
m0_62880080的博客
09-22 1623
从零开始搭建伪分布式环境，本人已经测试一遍除了粗心把路径命令打错了别的无任何错误
伪分布式集群的环境搭建
m0_52725750的博客
03-12 613
伪分布式集群的环境搭建，同时记录了我自己在配置集群当中遇到的问题，做了一个学校笔记记录。
hadoop伪分布式环境搭建，完整的详细步骤
a639735331的博客
07-12 9543
hadoop伪分布式环境搭建，完整的详细步骤
too many open files(打开的文件过多)解决方法
热门推荐
muzlei的博客
11-08 2万+
https://www.cnblogs.com/conanwang/p/5818441.html SU: failed to execute /bin/bash:系统中打开的文件过多 一、产生原因 too many open files(打开的文件过多)是Linux系统中常见的错误，从字面意思上看就是说程序打开的文件数过多，不过这里的files不单是文件的意思，也包括打开的通讯链接(比如sock...
解决Too many open files问题
二师兄
05-25 2万+
当用linux做高并发服务器时，会遇到"Too many open files"的错误。 Linux是有文件句柄限制的（open files），而且Linux默认不是很高，一般都是1024，做高并发生产服务器用其实很容易就达到这个数量。 在linux中执行ulimit -a 即可查询linux相关的参数，如下所示： ulimit -a core file size (blo
伪分布式hadoop+spark+scala 超详细搭建
ice091107的博客
04-25 2086
步骤一：将/root/runajian下的hadoop-2.7.7.tar.gz压缩包解压到/opt目录下，并将解压文件改名为hadoop。复制/opt/hadoop/etc/hadoop/mapred-site.xml.tmplate 名为mapred-site.xml。步骤一：安装命令如下，将安装包解压到/usr/local目录下，将安装包放在了root目录下。步骤三：编辑/opt/hadoop/etc/hadoop/hadoop-env.sh文件。步骤一：创建ssh秘钥，输入如下命令，生成公私密钥。
大数据框架Hadoop安装
大数据零基础学习入门教程
06-28 255
本教程是以Ubuntu 系统作为安装讲解环境，为了减少不必要的麻烦，请您 安装Ubuntu并能正常启动进入系统。同时也必须要安装Java。 一、添加 Hadoop 系统用户组和用户 使用以下命令在终端中执行以下命令来先创建一个用户组： yiibai@ubuntu:~$ sudo addgroup hadoop_ 操作结果如下： 使用以下命令来添加用户： yiibai@u...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值