安装配置Hadoop的各个配置文件修改的地方以及修改的内容

最新推荐文章于 2024-04-27 01:31:09 发布
最新推荐文章于 2024-04-27 01:31:09 发布
阅读量3.5k 收藏
点赞数
分类专栏： Hadoop 文章标签： hadoop mapreduce namenode
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012110719/article/details/43112499
版权

hadoop-env.sh 记录脚本要用的环境变量，以运行hadoop

        hadoop-env.sh：export JAVA_HOME=/usr/java/jdk1.7.0_51(设置java环境变量)，即jdk的安装目录

core-site.xml     hadoop core的配置项，例如hdfs和mapreduce常用的i/o设置等


hdfs-site.xml hadoop守护进程的配置项，包括namenode、辅助namenode和datanode等

mapred-site.xml mapreduce守护进程的配置项，包括jobtracker和tasktracker


绝地反击T
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Hadoop安装以及配置文件初始化修改
A_____lan的博客
06-24 4115
一、hadoop安装 1、上传安装包 2、在家目录创建一个cloud目录 mkdir /home/cloud 3、解压 tar -zxvf hadoop-1.1.2.tar.gz -C /home/cloud/ 二、hadoop配置文件修改 1、修改hadoop-env.sh vimhadoop-env.sh export JAVA_HOME=/us...
hadoop查看默认的配置文件
Andy86666的博客
04-30 4142
一、默认配置文件 默认的配置文件在 $HADOOP_HOME/share/hadoop（$HADOOP_HOME是取环境变量中hadoop的路径） 进入到该目录下： cd $HADOOP_HOME/share/hadoop 有以下几个目录： 默认配置文件就在红框中（common、hdfs、mapreduce、yarn） 补充知识： 配置文件介绍 cores-site.xml : 负责全局的配置（common） hdfs-site.xml：负责hdfs的配置 mapred-site.xml: 负责
Hadoop开发环境的搭建与配置（基于Linux）
Drajor的博客
10-21 2851
目录 一、部署环境安装说明 二、Hadoop安装 2.配置环境变量 3.配置Hadoop相关文件 hadoop-env.sh配置 hdfs-site.xml配置 4、创建相关文件夹 5、验证 一、部署环境安装说明 部署环境 Docker+Ubuntu18+jdk8 二、Hadoop安装 1.Hadoop下载 Hadoop可以从官网(Apache Hadoop) 下载。访问国外的链接网速较慢，我们改从清华大学开源软件镜像下载。 下载地址 https://mirrors.tuna.
hadoop修改配置文件和环境变量_hadoop命令环境变量export配置(1)
最新发布
2401_84186067的博客
04-27 413
在我们安装好hadoop之后，需要对其内部的一些配置文件进行修改，以满足特定的需求和环境，确保Hadoop集群的正常运行和数据的正确处理。我们要修改的就是主要的自定义配置文件。
详解Hadoop六个配置文件的作用
qq_31151125的博客
09-30 1万+
详解Hadoop六个配置文件的作用主要常用的文件夹六个配置文件的作用 etc/hadoopcore-site.xmlhdfs-site.xml额外知识点hadoop-env.shmapred-site.xmlyarn-site.xml 本文以apache的hadoop-2.7.5为列，主要讲解Hadoop目录下每个文件的作用 主要常用的文件夹 文件夹名称 作用 bin shell...
修改hadoop-env.sh配置文件
热门推荐
ViMan1204的博客
04-01 3万+
前言： 序号 配置文件名 配置对象 主要内容 1 hadoop-env.sh hadoop运行环境 用来定义hadoop运行环境相关的配置信息 2 core-site.xml 集群全局参数 用于定义系统级别的参数，如HDFS URL 、Hadoop的临时目录等 3 hdfs-site.xml HDFS 如名称节点和数据节点的存放位置、文件副本的个数、文件的读取权限等 4...
hadoop config 配置文件
11-09
在这个主题中，我们将深入探讨Hadoop配置文件的各个方面，以及如何有效地管理和优化它们。 1. **Hadoop配置结构** Hadoop的配置主要通过XML文件进行，这些文件位于`$HADOOP_CONF_DIR`目录下，通常包括`core-site....
Hadoop 2.0部署配置文件示例.zip
04-17
下面我们将详细探讨Hadoop 2.0的主要特点以及配置文件的相关知识。 一、Hadoop 2.0的主要特点 1. YARN（Yet Another Resource Negotiator）：Hadoop 2.0引入了YARN作为新的资源管理框架，取代了原有的JobTracker，...
hadoop安装与配置
11-06
Hadoop 安装与配置 Hadoop 是一个开源的分布式计算框架，广泛应用于大数据处理和分析领域。为了使用 Hadoop，需要安装和配置 Hadoop 环境。本文将详细介绍 Hadoop 的安装和配置过程。 下载 Hadoop 要安装 Hadoop...
hadoop的安装、配置.doc
07-01
Hadoop的安装和配置涉及多个步骤，包括环境准备、Hadoop源码编译、配置文件设定、启动服务等。安装过程中需注意硬件和网络环境的设置，以确保集群的稳定运行。配置时要根据实际需求调整各项参数，如副本数量、内存...
细细品味Hadoop_Hadoop集群CentOS安装配置.rar_hadoop
09-24
配置Hadoop需要修改几个关键的配置文件，如`core-site.xml`、`hdfs-site.xml`、`yarn-site.xml` 和 `mapred-site.xml`。这些配置文件位于`/etc/hadoop`目录下。例如，在`core-site.xml`中设置HDFS默认FS为HDFS，`...
hadoop配置文件详解、安装及相关操作
flyeagle88的专栏
01-24 1303
一、      Hadoop伪分布配置            1. 在conf/hadoop-env.sh文件中增加：export JAVA_HOME=/home/Java/jdk1.6            2.  在conf/core-site.xml文件中增加如下内容：   fs.default.name - 这是一个描述集群中NameNode结点的URI(包括协议
hadoop全分布式搭建6（修改hadoop配置文件）
m0_46220986的博客
04-12 438
hadoop全分布式搭建6（修改hadoop配置文件） 4.配置文件hdfs-site.xml # vi hdfs-site.xml esc退出INSERT页面，:x 直接保存退出 5.配置文件mapred-site.xml 实际上在hadoop文件中只能找到mapred-site.xml.template,可以把mapred-site.xml.template改名为mapred-site...
在虚拟机CentOs7中配置hadoop2.7.5伪分布式
Allen的博客
08-24 1386
因完全分布式的集群安装hive后hive出现了点问题导致无法用hive进行select查询,导致学习进度卡住,所以我决定去搭建一个伪分布式的hadoop集群,一下就是安装过程. 搭建伪分布式集群准备条件 第一部分 安装前部署 1.查看虚拟机版本 2.查看IP地址 3.修改主机名为hadoop 4.修改 /etc/hosts 5.关闭防火墙 6.关闭SELINUX 7.安装yum源并安装基础包 8....
hadoop安装配置文件
h_b_b_h的专栏
09-23 282
1:hadoop-env.sh 2:core-site.xml 3:hdfs-site.xml 4:mapred-site.xml 5:masters 6:slaves ------------------------------------------------- 1:hadoop-env.sh 这里要配置JAVA_HOME 我个人的：exportJAVA_HOME=/usr
hadoop的六大配置文件
东城庞太师
02-02 712
Hadoop各个配置文件的作用
lockie的博客
11-28 5706
core-site.xml  其中 fs.defaultFS 配置的地址就是java代码访问的时候的路径，需要配置在java代码中代码中要用IP:9000不能用localhost <configuration> <property> <!-- 这个属性用来指定namenode的hdfs协议的文件系统通信地址，可以指定一个主机+端...
解决hadoop 3.0.0配置过程中无法找到hadoop-env.sh的问题
watcher1230的博客
03-15 1万+
初次尝试安装配置Hadoop，并且使用了新版本3.0.0，依据网上教程进行安装过程中，在进行修改配置文件时候出现了问题：无法找到hadoop/conf/hadoop-env.sh。具体见图1。 网上各种搜索无果后决定自己找找看，想到了用WinSCP会不会有文件搜索功能，登陆后发现可以搜索，直接搜素hadoop-env.sh，找到了它的具体位置，包含在：/usr/local/hadoop/
虚拟机安装配置Hadoop（图文教程）
在人间负债^
09-03 1万+
启动镜像 Init1.0检查是否安装 Hdoop 和 jdk。
centos如何配置Hadoop的配置文件
05-31
要在CentOS上配置Hadoop的配置文件，请按照以下步骤操作： 1. 找到Hadoop的配置文件 Hadoop的配置文件通常位于`$HADOOP_HOME/etc/hadoop`目录下。在CentOS中，`$HADOOP_HOME`通常是`/usr/local/hadoop`。您可以使用以下命令查找Hadoop的安装位置： ``` sudo find / -name hadoop-* | grep -v logs | grep -v tmp ``` 该命令将在整个文件系统中查找Hadoop的安装位置，并将忽略`logs`和`tmp`目录。 2. 复制默认配置文件 在`$HADOOP_HOME/etc/hadoop`目录下，您需要复制默认的配置文件，以便进行修改。默认的配置文件通常是以`.xml.template`为后缀的文件。您可以使用以下命令复制默认配置文件： ``` cd $HADOOP_HOME/etc/hadoop cp *.xml.template *.xml ``` 该命令将复制所有以`.xml.template`为后缀的文件，并将它们的后缀更改为`.xml`。 3. 编辑配置文件 编辑Hadoop的配置文件，以进行必要的更改。以下是一些常见的配置文件和其用途： - `core-site.xml`：配置Hadoop文件系统的URI、I/O设置等。 - `hdfs-site.xml`：配置HDFS的副本数量、块大小、NameNode和DataNode设置等。 - `mapred-site.xml`：配置MapReduce作业的设置。 - `yarn-site.xml`：配置YARN（Hadoop资源管理器）的设置。 您可以使用文本编辑器（如`vi`或`nano`）编辑这些文件。例如，使用以下命令编辑`core-site.xml`文件： ``` vi $HADOOP_HOME/etc/hadoop/core-site.xml ``` 4. 重启Hadoop服务 在您对配置文件进行更改后，您需要重启Hadoop服务，以使更改生效。使用以下命令重启Hadoop服务： ``` stop-all.sh start-all.sh ``` 该命令将停止Hadoop服务，并重新启动它们。您可以使用以下命令检查服务是否已经启动： ``` jps ``` 该命令将列出正在运行的Java进程，包括Hadoop服务。如果Hadoop服务已经成功启动，您应该会看到各个服务的进程。 以上是在CentOS上配置Hadoop配置文件的基本步骤。请注意，这只是一个基本的指南，您可能需要根据您的具体情况进行一些调整。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

绝地反击T

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值