hadoop配置

于 2023-06-16 15:14:29 发布
阅读量483 收藏
点赞数
文章标签： hadoop 大数据 hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/RayMand168/article/details/131246766
版权

提前下载好hadoop的tar包

上传安装包到hadoop01

解压到指定目录

tar -zxvf /bigdata/soft/hadoop-3.3.3.tar.gz -C /bigdata/server/

创建软链接

cd /bigdata/server

ln -s hadoop-3.3.3/ hadoop

常见的Hadoop软件目录说明

目录作用说明
bin/Hadoop最基本的管理脚本和使用脚本hdfs: 文件上传命令
hadoop文件管理基础命令
yarn: 资源调度相关
mapred: 程序运行, 启动历史服务器
etc/Hadoop配置文件的目录core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml
include/对外提供的编程库头文件对外提供的编程库头文件（具体动态库和静态库在lib目录中），
这些头文件均是用C++定义的，通常用于C++程序访问HDFS或者编写MapReduce程序
lib/动态库和静态库该目录包含了Hadoop对外提供的编程动态库和静态库，
与include目录中的头文件结合使用。
libexec/shell配置文件各个服务对用的shell配置文件所在的目录，
可用于配置日志输出、启动参数（比如JVM参数）等基本信息。
sbin/Hadoop管理命令主要包含HDFS和YARN中各类服务的启动/关闭脚本
share/官方自带示例Hadoop各个模块编译后的jar包所在的目录

[所有节点]配置环境变量

vim /etc/profile.d/my_env.sh

export HADOOP_HOME=/bigdata/server/hadoop

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

hadoop-env.sh

文件中设置的是Hadoop运行时需要的环境变量。JAVA_HOME是必须设置的，即使我们当前的系统中设置了JAVA_HOME，它也是不认识的，因为Hadoop即使是在本机上执行，它也是把当前的执行环境当成远程服务器。

vim hadoop-env.sh

54行的JAVA_HOME的设置

export JAVA_HOME=/bigdata/server/jdk

在文件末尾添加如下内容

export JAVA_HOME=/export/server/jdk
export HADOOP_HOME=/export/server/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_LOG_DIR=$HADOOP_HOME/logs
上面的参数选择性填写,还未验证,但是不会报错

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
export YARN_PROXYSERVER_USER=root

core-site.xml

hadoop的核心配置文件，有默认的配置项core-default.xml。
core-default.xml与core-site.xml的功能是一样的，如果在core-site.xml里没有配置的属性，则会自动会获取core-default.xml里的相同属性的值。

cd /bigdata/server/hadoop/etc/hadoop/
vim core-site.xml

在文件的configuration的标签中添加以下内容:

<property>
 <name>fs.defaultFS</name>
 <value>hdfs://hadoop01:8020</value>
</property>

<property>
 <name>hadoop.tmp.dir</name>
 <value>/bigdata/data/hadoop</value>
</property>

<!-- 设置HDFS web UI用户身份 -->
<property>
 <name>hadoop.http.staticuser.user</name>
 <value>root</value>
</property>
<property>
 <name>io.file.buffer.size</name>
 <value>131072</value>
 </property>
<!-- 整合hive -->
<property>
 <name>hadoop.proxyuser.root.hosts</name>
 <value>*</value>
</property>

<property>
 <name>hadoop.proxyuser.root.groups</name>
 <value>*</value>
</property>

hdfs-site.xml

HDFS的核心配置文件，有默认的配置项hdfs-default.xml。

hdfs-default.xml与hdfs-site.xml的功能是一样的，如果在hdfs-site.xml里没有配置的属性，则会自动会获取hdfs-default.xml里的相同属性的值。

cd /bigdata/server/hadoop/etc/hadoop/

vim hdfs-site.xml

 <!-- 指定secondarynamenode运行位置 -->
 <property>
     <name>dfs.namenode.secondary.http-address</name>
     <value>hadoop02:50090</value>
 </property>
 
<property>
<name>dfs.datanode.data.dir.perm></name>
<value>700></value>
</property>
<property>
<name>dfs.namenode.name.dir></name>
<value>/data/nn></value>
</property>
<property>
<name>dfs.namenode.hosts></name>
<value>node1,node2,node3></value>
</property>
<property>
<name>dfs.blocksize></name>
<value>268435456></value>
</property>
<property>
<name>dfs.namenode.handler.count></name>
<value>100></value>
</property>
<property>
<name>dfs.datanode.data.dir></name>
<value>/data/dn></value>
</property>
<property>
<name>dfs.namenode.datanode.registration.ip-hostname-check></name>
<value>false></value>
</property>
<property>
<name>dfs.replication></name>
<value>3></value>
</property>

mapred-site.xml

MapReduce的核心配置文件，有默认的配置项mapred-default.xml。

mapred-default.xml与mapred-site.xml的功能是一样的，如果在mapred-site.xml里没有配置的属性，则会自动会获取mapred-default.xml里的相同属性的值。

cd /bigdata/server/hadoop/etc/hadoop/

vim mapred-site.xml

 <property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
 </property>
 <property>
     <name>yarn.app.mapreduce.am.env</name>
     <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
 </property>
 <property>
     <name>mapreduce.map.env</name>
     <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
 </property>
 <property>
     <name>mapreduce.reduce.env</name>
     <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
 </property>
 <property>
     <name>mapreduce.jobhistory.address</name>
     <value>node1:10020</value>
 </property>
	<property>
     <name>mapreduce.jobhistory.webapp.address</name>
     <value>node1:19888</value>
 </property>

yarn-site.xml

YARN的核心配置文件，有默认的配置项yarn-default.xml。

yarn-default.xml与yarn-site.xml的功能是一样的，如果在yarn-site.xml里没有配置的属性，则会自动会获取yarn-default.xml里的相同属性的值。

cd /bigdata/server/hadoop/etc/hadoop/

vim yarn-site.xml

<!-- 指定YARN的主角色（ResourceManager）的地址 -->
 <property>
     <name>yarn.resourcemanager.hostname</name>
     <value>hadoop01</value>
 </property>

 <!-- NodeManager上运行的附属服务。需配置成mapreduce_shuffle，才可运行MapReduce程序默认值："" -->
 <property>
     <name>yarn.nodemanager.aux-services</name>
     <value>mapreduce_shuffle</value>
 </property>

 <!-- 是否将对容器实施物理内存限制 -->
 <property>
     <name>yarn.nodemanager.pmem-check-enabled</name>
     <value>false</value>
 </property>

 <!-- 是否将对容器实施虚拟内存限制。 -->
 <property>
     <name>yarn.nodemanager.vmem-check-enabled</name>
     <value>false</value>
 </property>
 <!-- 开启日志聚集 -->
 <property>
     <name>yarn.log-aggregation-enable</name>
     <value>true</value>
 </property>

 <!-- 设置yarn历史服务器地址 -->
 <property>
     <name>yarn.log.server.url</name>
     <value>http://hadoop01:19888/jobhistory/logs</value>
 </property>

 <!-- 保存的时间7天 -->
 <property>
     <name>yarn.log-aggregation.retain-seconds</name>
     <value>604800</value>
 </property>

workers

workers文件里面记录的是集群主机名。主要作用是配合一键启动脚本如start-dfs.sh、stop-yarn.sh用来进行集群启动。这时候workers文件里面的主机标记的就是从节点角色所在的机器。

cd /bigdata/server/hadoop/etc/hadoop/

vim workers

master
hadoop01
hadoop02
hadoop03

用分发脚本同步到其他节点

xrsync /bigdata

查看进程情况
jps

启动方式

要启动Hadoop集群，需要启动HDFS和YARN两个集群。
注意：首次启动HDFS时，必须在主节点hadoop01对其进行格式化操作。本质上是一些清理和准备工作，因为此时的HDFS在物理上还是不存在的。

hadoop namenode -format

一键脚本启动

如果配置了etc/hadoop/workers和ssh免密登录，则可以使用程序脚本启动所有Hadoop两个集群的相关进程，在主节点所设定的机器上执行。

hdfs：/bigdata/server/hadoop/sbin/start-dfs.sh

yarn：/bigdata/server/hadoop/sbin/start-yarn.sh

停止脚本

hdfs：/bigdata/server/hadoop/sbin/stop-dfs.sh

yarn：/bigdata/server/hadoop/sbin/stop-yarn.sh

完整的一键启动hdfs和yarn脚本

start-all.sh: 启动所有的hdfs和yarn的脚本

stop-all.sh: 停止所有的hdfs和yarn的脚本

启动历史服务器
mapred --daemon start historyserver

常用端口hadoop

hdfs的web端口

http://master:9870

访问web管理界面

http://node1:19888/jobhistory

你很棒滴
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
WIN7或WIN10 Hadoop配置
weixin_41318491的博客
09-04 319
WIN7或WIN10 Hadoop配置，包含hadoop资源
Hadoop-hdfs 配置
x_hxiao的博客
03-28 269
value>hdfs://westgisb001:8020</value> /*此处wetgis101为NameNode的机器名*//*此处需要说明的是：/home/xiao/hadoop和/home/xiao/jdk分别为hadoop和jdk安装包所在路径*/如果使用xiao配置环境变量，则修改配置文件/home/xiao/.bashrc。/*此处/opt/hdfs/data为实际数据在DataNode本地存储路径*//*此处/opt/hdfs/name为元数据在NameNode本地存储路径*/
mac 搭建hadoop设置JAVA_HOME
RiziRo的博客
01-17 1833
在搭建hadoop环境的过程中，如果JAVA_HOME变量没有设置正确会出现未知的错误提示或者得不到想要的结果。下面介绍如何正确设置该变量。
hadoop 全分布式配置
来啊 快活啊
12-29 2207
1./etc/profile.d/文件夹下建立hadoop.sh HADOOP_COMMON_HOME=/opt/hadoop HADOOP_HDFS_HOME=/opt/hadoop HADOOP_MAPRED_HOME=/opt/hadoop HADOOP_YARN_HOME=/opt/hadoop HADOOP_CONF_DIR=/opt/hadoop/conf YARN_CO
Hadoop常见命令总结
叶小刀
05-22 469
注意：使用hadoop命令时，/ 代表是$HADOOP_HOME的目录（即HDFS文件系统的根目录），要和本地主机的/区分开。1.上传文件到hdfs系统的根目录下：    hadoop fs -put filename /     查看：hadoop fs -ls /            进入到自己设置的存放data的目录，输入 ls -lrt   可以看到Block的列表信息         ...
Hadoop配置
12-18
linux环境安装Ubuntu（可以用别的虚拟机）安装配置过程，包括单机版和完全分布式0.0
hadoop配置文件夹
最新发布
05-15
用于练习PySpark的数据输出，内有readme说明文档
hadoop配置文件
07-13
配置hadoop2.0，按照文档执行就可以了
hadoop环境构建
walk slow down
06-07 339
《Hadoop大数据技术》 实验目的 安装Java环境 搭建Hadoop单机模式 在hadoop伪分布式基础上搭建Hadoop完全分布式模式环境 实验环境 Win10+Centos7(Vmware workstation14)+winscp jdk 环境变量配置 打开一个terminal窗口，切换到管理员命令，关闭网络防火墙，并取消开机自启防火墙。 查找系统自带的openjdk...
【Hadoop】——入门：集群搭建
qq_42000631的博客
01-10 858
Hadoop 集群搭建
Hadoop中HDFS的API操作、客户端环境准备、配置HADOOP_HOME环境变量
Redamancy06的博客
08-15 2880
客户端去操作HDFS时，是有一个用户身份的。默认情况下，HDFS客户端API会从采用Windows默认用户访问HDFS，会报权限异常错误。所以在访问HDFS时，一定要配置用户。org.apache.hadoop.security.AccessControlException: Permission denied: user=73631, access=WRITE, inode="/xiyou":summer:supergroup:drwxr-xr-x.........
集群配置，hadoop配置过程，细节满满
z2839的博客
03-21 1798
(2)如果你的集群虚拟机已经都创建完成，且确保网络，ssh密钥登陆 都做好了后，就可以开始安装jdk和hadoop了。/usr/local/src/hadoop/etc/hadoop 中的对应配置文件中加入下面的相关参数。这一步是集群配置的关键。做一个hadoop的配置流程的全记录，把遇到的问题和细节全都记录了下来。选择下载hadoop的版本，下载对应版本的source安装包。进入安装目录，修改对应安装包文件名，改成jdk，hadoop。(1) hadoop的部署规划，我使用3台虚假机搭建集群，
Hadoop HA 集群部署（以三台为例），zookeeper集群管理
youhebuke_f的博客
10-05 2814
Hadoop ha高可用集群部署
Hadoop集群配置（二）免密登录和集群配置
学而知之@的博客
05-20 1686
写在开头： 难难难道德玄，不对知音不可谈，对了知音谈几句，不对知音枉费舌尖~~ 咱们书接上回，上一篇写完了基础环境的配置，这篇就来说硕同样重要的免密登录，当然还有Hadoop集群的配置。 2.1 三台linux服务器环境准备 1. 三台机器IP设置 三台机器修改ip地址： # 对网库进行设置 vi /etc/sysconfig/network-scripts/ifcfg-ens33 # hadoop版本IP设置 BOOTPROTO="static" IPADDR=192.168.32.100 NETMA
Hadoop-HDFS详解与HA，完全分布式集群搭建(细到令人发指的教程)
wudidahuanggua的博客
09-17 3215
对HDFS细致到腋毛的讲解，包括HA，完全分布式集群搭建，以及让你打瞌睡的理论知识！
配置HADOOP_HOME以及部分功能
m0_67401761的博客
04-29 1636
配置HADOOP_HOME 配置完成后可以直接通过hadoop中的命令执行以下操作 hdfs开启namenode、datanode 格式化文件系统： $ bin/hdfs namenode -format 启动服务： $ sbin/hadoop-daemon.sh start namenode $ sbin/hadoop-daemon.sh start datanode 上传文件测试： 在HDFS系统中创建目录存放上传文件 ： $ bin/hdfs dfs -mkdir /input 存储文件： $ bi
在windows环境上配置HADOOP_HOME环境变量
BIGKEY的博客
02-19 2351
修改D:\hadoop-2.7.2\etc\hadoop\hadoop-env.cmd文件 在D:\hadoop-2.7.2\bin目录下添加winutils.exe文件
hadoop配置详解
09-03
Hadoop的配置是非常重要的，以下是Hadoop配置的详细解释。 Hadoop的配置主要包括两个方面：Hadoop的核心配置和Hadoop的环境配置。核心配置指的是Hadoop的基本设置，包括Hadoop的文件系统、节点管理、任务调度等。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值