修改Hadoop配置文件

已于 2024-05-04 19:39:32 修改
阅读量374 收藏 7
点赞数 3
文章标签： hadoop
于 2024-04-23 15:57:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lubb1201/article/details/138129065
版权

目录

安装JAVA

安装Hadoop

hadoop-env.sh

yarn-env.sh

core-site.xml

hdfs-site.xml

mapred-site.xml

yarn-site.xml

start-dfs.sh和stop-dfs.sh

start-yarn.sh和stop-yarn.sh

workers

安装JAVA（主节点）

使用命令，java -version，检查原本系统自带jdk

  1. 卸载自带jdk，命令：rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps。
  2. 拖拽方式，上传安装包到Linux的/opt目录下：

使用cd命令进入/opt并解压文件到/opt下，命令：tar -xzvf jdk-8u221-linux-x64.tar.gz -C /opt

使用cd命令进入到jdk解压后文件夹，用pwd查看路径，并使用鼠标复制路径/opt/jdk1.8.0_221

在/etc/profile.d下创建一个my_env.sh，进行配置JAVA环境变量，命令：vi /etc/profile.d/my_env.sh（新文件）

重新启动profile，命令：source /etc/profile

验证java是否安装成功：java -version

安装Hadoop（主节点）

1.上传文件

2.使用cd命令进入文件所在路径，再解压安装，命令：tar -xzvf hadoop-3.1.3.tar.gz -C /usr/local

3.配置环境变量，同JAVA，在/etc/profile.d修改my_env.sh

4.使用cd命令，进入/usr/local/hadoop-3.1.3/etc/hadoop，配置vi hadoop-env.sh，在末尾加上2句

5.重启profile，命令：source /etc/profile

6.使用命令hadoop version检查是否安装成功

配置Hadoop文件（主节点）

进入Hadoop的配置目录，通常是 $HADOOP_HOME/etc/hadoop/，指令：cd $HADOOP_HOME/etc/hadoop/

hadoop-env.sh

设置JAVA_HOME，在/usr/local/hadoop-3.1.3/etc/hadoop/路径下，修改hadoop-env.sh文件,添加以下部分

export JAVA_HOME=/opt/jdk1.8.0_221

yarn-env.sh

在/usr/local/hadoop-3.1.3/etc/hadoop/

路径下，修改yarn-env.sh文件，在底部添加以下部分

在/usr/local/hadoop-3.1.3/etc/hadoop/路径下，修改yarn-env.sh文件，在底部添加以下部分

export JAVA_HOME=/opt/jdk1.8.0_221

core-site.xml

配置Hadoop的核心参数，如文件系统地址、端口等。进入/usr/local/hadoop-3.1.3/etc/hadoop/，修改core-site.xml文件，添加以下部分，注意，以下的master都是自己的主机名称（回顾：使用hostname查看自己的主机名称）

<configuration>

        <property>

                <name>fs.defaultFS</name>

                <value>hdfs://master:8020</value>

            </property>

        <property>

                <name>hadoop.tmp.dir</name>

                <value>/var/log/hadoop/tmp</value>

        </property>

</configuration>

hdfs-site.xml

配置HDFS参数，如数据块大小、副本数量等。在/usr/local/hadoop-3.1.3/etc/hadoop/路径下，修改hdfs-site.xml文件，添加以下部分

<configuration>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:///data/hadoop/hdfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:///data/hadoop/hdfs/data</value>
        </property>
（可以不写dfs.namenode.name.dir和dfs.datanode.data.dir配置，这样的话就不会额外定制name、data的路径，会使用core-site.xml的/var/log/hadoop/tmp的路径，如/var/log/hadoop/tmp/hdfs/name。但是偶尔不配置容易出现bug，因此这里还是建议配置）
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>master:50090</value>
        </property>

        <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
</configuration>

mapred-site.xml

配置MapReduce参数，如任务调度器类型等。在/usr/local/hadoop-3.1.3/etc/hadoop/路径下，修改mapred-site.xml文件，添加以下部分

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>

        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>master:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>master:19888</value>
        </property>

        <property>
                <name>yarn.app.mapreduce.am.env</name>
                <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
        </property>
        <property>
                <name>mapreduce.map.env</name>
                <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
        </property>
        <property>
                <name>mapreduce.reduce.env</name>
                <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
        </property>
</configuration>

yarn-site.xml

配置YARN参数，如资源管理器地址、节点管理器地址等。在/usr/local/hadoop-3.1.3/etc/hadoop/路径下，修改yarn-site.xml文件，添加以下部分

<configuration>

<!-- Site specific YARN configuration properties -->

        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>master</value>
        </property>
        <property>
                <name>yarn.resourcemanager.address</name>
                <value>${yarn.resourcemanager.hostname}:8032</value>
        </property>
        <property>
                <name>yarn.resourcemanager.scheduler.address</name>
                <value>${yarn.resourcemanager.hostname}:8030</value>
        </property>
        <property>
                <name>yarn.resourcemanager.webapp.address</name>
                <value>${yarn.resourcemanager.hostname}:8088</value>
        </property>
        <property>
                <name>yarn.resourcemanager.webapp.https.address</name>
                <value>${yarn.resourcemanager.hostname}:8090</value>
        </property>
        <property>
                <name>yarn.resourcemanager.resource-tracker.address</name>
                <value>${yarn.resourcemanager.hostname}:8031</value>
        </property>
        <property>
                <name>yarn.resourcemanager.admin.address</name>
                <value>${yarn.resourcemanager.hostname}:8033</value>
        </property>
        <property>
                <name>yarn.nodemanager.local-dirs</name>
                <value>/data/hadoop/yarn/local</value>
        </property>
        <property>
                <name>yarn.log-aggregation-enable</name>
                <value>true</value>
        </property>
        <property>
                <name>yarn.nodemanager.remote-app-log-dir</name>
                <value>/data/tmp/logs</value>
        </property>
        <property>
                <name>yarn.log.server.url</name>
                <value>http:///master:19888/jobhistory/logs</value>
                <description>URL for job history server</description>
        </property>
        <property>
                <name>yarn.nodemanager.vmem-check-enabled</name>
                <value>false</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
<property>
                <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
                <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
        <property>
                <name>yarn.nodemanager.resource.memory-mb</name>
                <value>2048</value>
        </property>
        <property>
                <name>yarn.scheduler.minimum-allocation-mb</name>
                <value>512</value>
        </property>
        <property>
                <name>yarn.scheduler.maximum-allocation-mb</name>
                <value>4096</value>
        </property>
        <property>
                <name>mapreduce.map.memory.mb</name>
                <value>2048</value>
        </property>
        <property>
                <name>mapreduce.reduce.memory.mb</name>
                <value>2048</value>
        </property>
        <property>
                <name>yarn.nodemanager.resource.cpu-vcores</name>
                <value>1</value>
        </property>
</configuration>

start-dfs.sh和stop-dfs.sh

到/usr/local/hadoop-3.1.3/sbin/下，修改start-dfs.sh和stop-dfs.sh文件，在文件开头添加以下部分

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs（鉴于会提示WARNING，把这句修改成HDFS_DATANODE_SECURE_USER=hdfs）
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

start-yarn.sh和stop-yarn.sh

到/usr/local/hadoop-3.1.3/sbin/下，修改start-yarn.sh和stop-yarn.sh文件，在文件开头添加以下部分

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

workers

在/usr/local/hadoop-3.1.3/etc/hadoop/路径下，修改workers文件，改成以下部分（这里不添加master节点，因此后面启动时候master没有datanote，其他3个子节点会有datanote）

slave1
slave2
slave3

lubb1201
关注
  • 3
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
5.修改hadoop配置文件
GoJawee的博客
08-12 8037
一、创建Hadoop使用到的目录先在本地创建目录 /home/hadoop/hadoop /home/hadoop/hadoop/tmp /home/hadoop/hadoop/namenode /home/hadoop/hadoop/datanodemaster@master:/home/hadoop$ su hadoop #切换到hadoop用户 密码： hadoop@master:~$ mk
单机版hadoop配置文件
02-22
hadoop2.2.0单机伪分布式配置文件实例。
Linux修改hadoop配置文件及启动hadoop集群详细步骤
m0_74830349的博客
09-22 3784
pwd。
ssh 免密配置、修改hadoop配置文件
C2774593599的博客
12-14 2694
一、在每个节点生成公钥和私钥，并拷贝 Hadoop100： 生成公钥和私钥 命令：ssh-keygen -t rsa 这种情况直接敲（三个回车） 将公钥拷贝到要免密登录的目标机器上 [root@hadoop100] ssh-copy-id +自己moba名 如图所示： 注：自己克隆的都需要输入，第一遍需输入密码（是自己虚拟机的密码），配置成功后就可以不需要密码了。 没出错就算是成功的 （注：我的是已经配置过了的直接就显示了） 当你在...
修改hadoop配置文件，没有生效
qq_43373608的博客
10-20 3184
问题描述 修改 hadoop 端口号时， /cloudcomput/hadoop-3.2.1/sbin/start-all.sh 端口号没有发生变化 停止服务命令也无法停止 web 服务 /cloudcomput/hadoop-3.2.1/sbin/stop-all.sh 本人对 java 了解不够深入， 但是 停止 stop-all 命令后，仍然有web 服务在运行 ps -ef|grep ja...
Hadoop集群的搭建（结束）——修改hadoop配置文件以及启动集群服务
小袁同学的博客
11-16 1万+
（1）修改 hadoop-env.sh 文件 （2）修改 yarn-env.sh 文件 （3）修改 core-site.xml 文件 （4）修改 hdfs-site.xml 文件 （5）修改 mapred-site.xml 文件 （6）修改 yarn-site.xml 文件 （7）修改 masters 文件 （8）修改 slaves 文件
hadoop修改配置文件和环境变量
Rain_2021245488的博客
07-29 4096
我们要修改的就是主要的自定义配置文件。
hadoop配置文件
CHEN的博客笔记
11-19 4887
安装前的工作： jdk 集群中节计算机互联互通 关闭防火墙 节点间的计算机免密码登录（authorized_keys认证文件root用户存放在/root/.ssh/） (User用户 /home/user/.ssh/) A计算机免密码登录B计算机，将A计算机的公钥存放在B计算机的认证文件authorized_keys 产生 安装hadoop Bin目录-命令eg : hadoop namenode -format Sbin目录-各种启动文件\停止服务 Etc/hadoop/ 各种配置文件 1.hadoo
【大数据实验2】note1：修改hadoop配置文件
nosteglic
10-24 1701
note1：修改hadoop配置文件
Hadoop配置文件详解
黑伴白的博客
05-10 6192
Hadoop配置文件详解
修改hadoop-env.sh配置文件
热门推荐
ViMan1204的博客
04-01 3万+
前言： 序号 配置文件名 配置对象 主要内容 1 hadoop-env.sh hadoop运行环境 用来定义hadoop运行环境相关的配置信息 2 core-site.xml 集群全局参数 用于定义系统级别的参数，如HDFS URL 、Hadoop的临时目录等 3 hdfs-site.xml HDFS 如名称节点和数据节点的存放位置、文件副本的个数、文件的读取权限等 4...
hadoop集群搭建_hadoop配置文件修改
01-07
hadoop配置文件修改 先进入hadoop配置文件所在路径: cd /usr/local/src/hadoop-2.6.1/etc/hadoop 修改slaves vim slaves 修改core-site.xml vim core-site.xml fs.defaultFS hdfs://192.168.43.10:9000 #主机...
hadoop配置文件信息
07-13
使用hive，hadoop，spark修改添加的配置
Hadoop配置文件
11-29
Hadoop 1.2.1 和2.2.0的配置文件，只需要将里面的IP修改一下就可以了，具体步骤可以查阅别的帖子。
Hadoop2.6.4/2.7.3环境配置文件
11-27
十分详细的Hadoop虚拟集群的搭建，手把手教，从安装虚拟机到集群搭建完成每一步手把手教，包教包会。
WPF基础应用
泰勒今天想展开的博客
05-02 1100
Grid: Grid是最常用的布局容器之一，它允许你通过定义行和列以及对元素进行定位来进行布局。在Grid中，可以设置元素的边距来控制其与其他元素的距离。StackPanel: StackPanel按照单一方向（垂直或水平）堆叠其子元素。子元素的宽度或高度将取决于其内容，这使得它非常适合用来创建简单的列表或工具栏等。WrapPanel: WrapPanel允许子元素根据可用空间自动换行。当父容器的宽度被占满时，WrapPanel会自动将后续的元素放置到新的一行。DockPanel。
高级色系PPT11.pptx
05-08
高级色系PPT11.pptx
node-v7.9.0-linux-x86.tar.xz
最新发布
05-08
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
基于tensorflow的的cnn卷积神经网络的图像识别分类
05-08
【作品名称】：基于tensorflow的的cnn卷积神经网络的图像识别分类 【适用人群】：适用于希望学习不同技术领域的小白或进阶学习者。可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。
如何修改hadoop配置文件
04-29
要修改Hadoop配置文件，可以按照以下步骤进行操作： 1. 打开Hadoop安装目录下的“etc/hadoop”文件夹，其中包含了所有的Hadoop配置文件。 2. 找到需要修改的配置文件，例如“core-site.xml”、“hdfs-site.xml”等。 3. 用文本编辑器打开需要修改的配置文件。 4. 修改需要修改的配置项的值，根据需要添加新的配置项。 5. 保存修改后的文件。 6. 重启Hadoop服务，使配置文件生效。 在修改配置文件之前，最好先备份原始文件，以防止出现不可预料的错误。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值