Hadoop-3.3.5 全分布式集群部署

已于 2023-09-01 23:27:06 修改
阅读量980 收藏 1
点赞数 1
分类专栏： Hadoop 文章标签： hadoop big data 大数据
于 2021-10-11 11:08:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xfp1007907124/article/details/120547053
版权

0、节点及角色安排

节点NameNodeSecondaryNameNodDataNodeResourceManagerNodeManager
node1√√√√
node2√√√
node3√√

1、下载 hadoop-3.3.5 安装包

http://archive.apache.org/dist/hadoop/common/hadoop-3.3.5/hadoop-3.3.5.tar.gz

下载好后传到主节点上

2、解压到 /opt/module目录下

tar -zxvf hadoop-3.3.5.tar.gz -C /opt/module

3、修改hadoop权限

sudo chown -R bigdata:bigdata /opt/module/hadoop-3.3.5

4、添加环境变量

vi /etc/profile

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.3.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

5、创建hadoop数据目录

node1本地

mkdir /data/hadoop
mkdir /data/hadoop/hdfs
mkdir /data/hadoop/yarn

node2、node3

mkdir /data/hadoop
sudo mkdir /data/hadoop/hdfs
sudo mkdir /data/hadoop/yarn
sudo chown -R bigdata:bigdata /data/hadoop

6、修改Hadoop配置文件

core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
<!--hdfs端口/url配置-->
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://node1:9000</value>
  </property>

<!--临时目录-->
  <property>
    <name>hadoop.tmp.dir</name>
    <value>file:/data/hadoop/tmp</value>
    <description>Abase for other temporary directories.</description>
  </property>

<!--  缓冲区大小，实际工作中根据服务器性能动态调整 4096为默认值 -->
  <property>
    <name>io.file.buffer.size</name>
    <value>4096</value>
  </property>

<!--回收站配置-->
  <property>
    <name>fs.trash.interval</name>
    <value>1440</value>
  </property>
  <property>
    <name>fs.trash.checkpoint.interval</name>
    <value>60</value>
  </property>
</configuration>

hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
<!--数据目录-->
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/data/hadoop/hdfs/nn</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/data/hadoop/hdfs/data</value>
  </property>

<!--hdfs备份数配置-->
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>

<!--线程配置(当前数值为cdh默认)-->
<!--NN处理程序线程数-->
  <property>
    <name>dfs.namenode.handler.count</name>
    <value>30</value>
  </property>
<!--NN服务处理程序线程数-->
  <property>
    <name>dfs.namenode.service.handler.count</name>
    <value>30</value>
  </property>
<!--DN处理程序线程数-->
  <property>
    <name>dfs.datanode.handler.count</name>
    <value>3</value>
  </property>
<!--DN最大传输程数-->
  <property>
    <name>dfs.datanode.max.transfer.threads</name>
    <value>4096</value>
  </property>

<!--secondary namenode配置-->
  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>node2:50090</value>
  </property>

<!--权限管理-->
 <property>
    <name>dfs.permissions</name>
    <value>false</value>
  </property>
  <property>
    <name>fs.permissions.umask-mode</name>
    <value>022</value>
  </property>
  <property>
    <name>dfs.namenode.acls.enabled</name>
    <value>false</value>
  </property>
</configuration>

mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
<!-- 指定分布式计算使用的框架是yarn -->
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
<!-- 开启MapReduce小任务模式 -->
  <property>
    <name>mapreduce.job.ubertask.enable</name>
    <value>true</value>
  </property>

<!-- 设置历史任务的主机和端口 -->
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>node1:10020</value>
  </property>

<!-- 设置网页访问历史任务的主机和端口 -->
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>node1:19888</value>
  </property>
<!-- 环境参数 -->
  <property>
    <name>yarn.app.mapreduce.am.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<property>
    <name>mapreduce.map.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<property>
    <name>mapreduce.reduce.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
</configuration>

yarn-site.xml

<?xml version="1.0"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->
<configuration>

<!-- Site specific YARN configuration properties -->
<!--ResourceManager地址与端口-->
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>node1</value>
  </property>

  <!--NodeManager 本地目录-->
  <property>
    <name>yarn.nodemanager.local-dirs</name>
    <value>/data/hadoop/yarn/nm</value>
  </property>

<!--每个nodemanager可使用的cpu/内存 -->
 <property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>28</value>
  </property>
  <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>81920</value>
  </property>


<!--container日志存储 / CDH配置了日志转移到HDFS-->
<!--本地container日志存储路径-->
  <property>
    <name>yarn.nodemanager.log-dirs</name>
    <value>/data/hadoop/yarn/container-logs</value>
  </property>
<!--开启日志聚合-->
 <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
  </property>
<!--日志聚合hdfs存储路径-->
  <property>
    <name>yarn.nodemanager.remote-app-log-dir</name>
    <value>/tmp/logs</value>
  </property>
  <property>
    <name>yarn.nodemanager.remote-app-log-dir-suffix</name>
    <value>logs</value>
  </property>
<!--hdfs上的日志保留时间-->

  <property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
  </property>
<property>
    <!--应用执行完日志保留的时间，默认0，即执行完本地立刻删除-->
    <name>yarn.nodemanager.delete.debug-delay-sec</name>
    <value>0</value>
</property>

<!--日志web url-->
  <property>
    <name>yarn.log.server.url</name>
    <value>http://node1:19888/jobhistory/logs/</value>
  </property>

<!--Thread-count配置(值为cdh默认)-->
<!--RM-->
<!--RM客户端线程数-->
  <property>
    <name>yarn.resourcemanager.client.thread-count</name>
    <value>50</value>
  </property>
<!--RM调度程序线程数-->
  <property>
    <name>yarn.resourcemanager.scheduler.client.thread-count</name>
    <value>50</value>
  </property>
<!--RM管理客户端线程数-->
  <property>
    <name>yarn.resourcemanager.admin.client.thread-count</name>
    <value>1</value>
  </property>
<!--RM资源跟踪器线程数-->
  <property>
    <name>yarn.resourcemanager.resource-tracker.client.thread-count</name>
    <value>50</value>
  </property>
<!--NM-->
  <!--NM容器管理器线程数-->
  <property>
    <name>yarn.nodemanager.container-manager.thread-count</name>
    <value>20</value>
  </property>
<!--NM清理线程数-->
  <property>
    <name>yarn.nodemanager.delete.thread-count</name>
    <value>4</value>
  </property>

<!--Yarn Scheduler配置 Contain的cpu内存上下限-->
  <property>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>1024</value>
  </property>
  <property>
    <name>yarn.scheduler.increment-allocation-mb</name>
    <value>512</value>
  </property>
  <property>
    <name>yarn.scheduler.maximum-allocation-mb</name>
    <value>65536</value>
  </property>
  <property>
    <name>yarn.scheduler.minimum-allocation-vcores</name>
    <value>1</value>
  </property>
  <property>
    <name>yarn.scheduler.increment-allocation-vcores</name>
    <value>1</value>
  </property>
  <property>
    <name>yarn.scheduler.maximum-allocation-vcores</name>
    <value>32</value>
  </property>

<!-- Scheduler配置 CDH使用的是FairScheduler （也可先不配 用默认）
  <property>
    <name>yarn.resourcemanager.scheduler.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
  </property>
-->

<!--Mr参数-->
  <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
  </property>
</configuration>

workers文件

vi works

node1
node2
node3

在hadoop-env.sh配置JAVA_HOME与各进程jvm内存

export JAVA_HOME=/usr/java/jdk1.8.0_212

export HDFS_NAMENODE_OPTS="-Xms4294967296 -Xmx4294967296 -Dhadoop.security.logger=INFO,RFAS"

export HDFS_SECONDARYNAMENODE_OPTS="-Xms1073741824 -Xmx1073741824 -Dhadoop.security.logger=INFO,RFAS"

export HDFS_DATANODE_OPTS="-Xms2147483648 -Xmx2147483648 -Dhadoop.security.logger=ERROR,RFAS"

配置yarn-env.sh各进程jvm内存

export YARN_RESOURCEMANAGER_OPTS="-Xms2147483648 -Xmx2147483648 -Drm.audit.logger=INFO,RMAUDIT"

export YARN_NODEMANAGER_OPTS="-Xms2147483648 -Xmx2147483648 -Dnm.audit.logger=INFO,NMAUDIT"

配置hadoop的日志输出
配置log4j.properties中的hadoop.log.dir不生效
需配置hadoop-env.sh

vim /opt/module/hadoop-3.3.5/etc/hadoop/hadoop-env.sh

#修改
export HADOOP_LOG_DIR=/data/log/hadoop
#pid默认存在/tmp 也许修改
export HADOOP_PID_DIR=/data/hadoop

7、将配置好的文件拷贝到其他节点

scp -r /opt/module/hadoop-3.3.5 node2:/opt/module/
scp -r /opt/module/hadoop-3.3.5 node3:/opt/module/
#修改权限
sudo chown -R bigdata:bigdata /opt/module/hadoop-3.3.5/

8、格式化namenode

/opt/module/hadoop-3.3.5/bin/hdfs namenode -format

9、配置集群启动

hdfs:

vi /opt/bash/hdfs.sh

#!/bin/bash
case $1 in
    start)
        /opt/module/hadoop-3.3.5/sbin/start-dfs.sh
       ;;
    stop)
        /opt/module/hadoop-3.3.5/sbin/stop-dfs.sh
           ;;

    *)
        echo "输入的参数不对"
        echo "  start   启动hdfs集群"
        echo "  stop    停止hdfs集群"

    ;;
esac

修改权限

chmod 744 /opt/bash/hdfs.sh

可以使用命令启动与关闭组件：

/opt/bash/hdfs.sh start
/opt/bash/hdfs.sh stop

yarn:

vi /opt/bash/yarn.sh

#!/bin/bash
case $1 in
    start)
        /opt/module/hadoop-3.3.5/sbin/start-yarn.sh
       ;;
    stop)
        /opt/module/hadoop-3.3.5/sbin/stop-yarn.sh
       ;;

    *)
        echo "输入的参数不对"
        echo "  start   启动yarn集群"
        echo "  stop    停止yarn集群"

    ;;
esac

修改权限

chmod 744 /opt/bash/yarn.sh

可以使用命令启动与关闭组件：

/opt/bash/yarn.sh start
/opt/bash/yarn.sh stop

10、jps验证

node1：

DateNode
NameNode
ResourceManager
NodeManager
Jps

node2：

DataNode
NodeManager
SecondaryNameNode
Jps

node3：

DataNode
NodeManager
Jps

Web端口查看集群状况
在浏览器输入：http://node1:8088打开ResourceManager页面。

在浏览器输入：http://node1:9870打开Hadoop Namenode页面。

11、使用systemctl 管理hdfs和yarn

因为每个节点hdfs和yarn启动的角色不太一样，所以需要根据启动的角色进行配置
创建hdfs.service文件

sudo vim /usr/lib/systemd/system/hdfs.service

node1 配置

[Unit]
Description=hdfs
Requires=network-online.target
After=network-online.target

[Service]
Type=forking
User=bigdata
Group=bigdata
Restart=on-failure
WorkingDirectory=/opt/module/hadoop-3.3.5
ExecStart=/opt/module/hadoop-3.3.5/sbin/hadoop-daemon.sh start namenode
[Install]
WantedBy=multi-user.target

node2 配置

[Unit]
Description=hdfs
Requires=network-online.target
After=network-online.target

[Service]
Type=forking
User=bigdata
Group=bigdata
Restart=on-failure
WorkingDirectory=/opt/module/hadoop-3.3.5
ExecStart=/bin/bash -c '/opt/module/hadoop-3.3.5/sbin/hadoop-daemon.sh start secondarynamenode && /opt/module/hadoop-3.3.5/sbin/hadoop-daemon.sh start datanode'
[Install]
WantedBy=multi-user.target

node3配置

[Unit]
Description=hdfs
Requires=network-online.target
After=network-online.target

[Service]
Type=forking
User=bigdata
Group=bigdata
Restart=on-failure
WorkingDirectory=/opt/module/hadoop-3.3.5
ExecStart=/opt/module/hadoop-3.3.5/sbin/hadoop-daemon.sh start datanode
[Install]
WantedBy=multi-user.target

创建yarn.service文件

sudo vim /usr/lib/systemd/system/yarn.service

node1配置

[Unit]
Description=hdfs
Requires=network-online.target
After=network-online.target

[Service]
Type=forking
User=bigdata
Group=bigdata
Restart=on-failure
WorkingDirectory=/opt/module/hadoop-3.3.5
ExecStart=/bin/bash -c '/opt/module/hadoop-3.3.5/sbin/yarn-daemon.sh start resourcemanager && /opt/module/hadoop-3.3.5/sbin/yarn-daemon.sh start nodemanager'
[Install]
WantedBy=multi-user.target

node2、node3配置

[Unit]
Description=hdfs
Requires=network-online.target
After=network-online.target

[Service]
Type=forking
User=bigdata
Group=bigdata
Restart=on-failure
WorkingDirectory=/opt/module/hadoop-3.3.5
ExecStart=/opt/module/hadoop-3.3.5/sbin/yarn-daemon.sh start nodemanager
[Install]
WantedBy=multi-user.target

启动、关闭验证是否配置成功

sudo systemctl start hdfs/yarn
sudo systemctl stop hdfs/yarn
sudo systemctl status hdfs/yarn

验证成功配置开机自启

sudo systemctl enable hdfs/yarn
bigdata-rookie
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop下载 hadoop-3.3.3.tar.gz
07-06
摘要 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS（Hadoop Distributed File System）。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算 软件特点 Hadoop是一个
Hadoop-2.8.4版本 分布式集群搭建
07-23
Hadoop-2.8.4版本的完全分布式搭建，图文版，步骤详细。
hadoop3.3.5集群搭建
qikuhu的博客
09-14 531
hadoop3.3.5集群搭建
VMware搭建Hadoop集群 for Windows（完整详细，实测可用）_vmware安装hadoop教程(1)
最新发布
pasehelpme的博客
05-14 863
SSH服务的作用一般是有两方面：一是便于虚拟机节点之间免密访问，二是传输数据时会有加解密的过程安全性更高。为了这三个节点间免密登录，比如后面在启动hadoop服务时，主节点启动其它从节点，就需要免密去执行。下载一个linux版本的JDK，这里是 jdk-8u161-linux-x64.tar.gz，3台机器均要执行以下。hadoop02、hadoop03修改时，把对于域名修改成hadoop02、hadoop03即可。这里我们需要借助ftcp文件传输软件，这里使用的是**MobaxTerm，*
Hadoop-3.3.5伪分布式安装
qq_46480020的博客
03-29 884
hadoop-3.3.5伪分布式安装，并做了一些优化配置
Hadoop学习（一）---Hadoop集群搭建(hadoop-3.3.5)
好好学习天天向上
08-22 940
【代码】Hadoop集群搭建(hadoop-3.3.5)
hadoop学习之hadoop集群功能简单测试验证
热门推荐
落魄影子
12-08 2万+
注：本文的主要目的是为了记录自己的学习过程，也方便与大家做交流。转载请注明来自： http://blog.csdn.net/ab198604             前几天对hadoop分布式集群的安装过程进行了总结，对hadoop的集群搭建只是学习hadoop中的艰难的一步，后面还需要学习更多的知识，不知道自己能不能坚持下去，不知道后面还会遇到多少困难，不过，我想，只要努力坚持下去，困难
Hadoop-0.21.0分布式集群配置
01-04
Hadoop-0.21.0分布式集群配置.doc
Spark+hadoop+scala 完全分布式集群搭建过程及启动过程
07-08
对于想学习 Spark 的人而言，如何构建 Spark 集群是其最大的难点之一， 为了解决大家构建 Spark 集群的一切困难，Spark 集群的构建分为了五个步骤，从 零起步，不需要任何前置知识，涵盖操作的每一个细节，构建完整...
Apache Hadoop （hadoop-3.3.3.tar.gz）
05-28
Apache Hadoop （hadoop-3.3.3.tar.gz）项目为可靠、可扩展的分布式计算开发开源软件。 Apache Hadoop 软件库是一个框架，它允许使用简单的编程模型跨计算机集群分布式处理大型数据集。它旨在从单个服务器扩展到数千...
hadoop滚动升级，3.2.3升级到3.3.5
斯坦索姆的博客
07-14 1069
16、完成namenode、datanode的升级后，需使用3.3.5的环境变量将journalnode，zkfc，resourcemanager，nodemanager，jobhistory等全部重启一遍，即可完成hadoop的全部滚动升级。5、复制3.2.3目录下的配置文件到3.3.5的${HADOOP_HOME}/etc/hadoop目录下，包括的配置文件为hdfs-site.xml,yarn-site.xml,core-site.xml,mapre-site.xml。
安装Hadoop 3.3.5
Aggy阿吉的博客
12-17 288
Hadoop架构设计论述kafka 依赖 Zookeeper 管理自身集群（Broker、Offset、Producer、Consumer等），所以先要安装 Zookeeper。为了达到高可用的目的，Zookeeper 自身也不能是单点，接下来就介绍如何搭建一个最小的 Zookeeper 集群（3个 zk 节点）。常识科普：Kafka的存储与安装不依赖于hdfs/spark，从下边安装过程你可以得知这个信息。
Hadoop-3.3.5遇到的坑
qq_37187606的博客
04-20 331
最终确定是由于公司里面服务器存储是基于NFS共享存储，所以相当于两台机器往同一个目录下写入pid。观察两台机器pid路径下的内容，发现仅有master主机上datanode的pid。所以使用停止脚本关闭时，会导致读取失败，从而导致两个datanode都无法关闭。可以看到时根据$HADOOP_CONF_DIR中的配置来启动进程的。可以看到，与启动脚本类似，也是通过配置文件中的参数来关闭进程。当我们启动后，hadoop底层将pid写入到配置的路径。其中，与关闭进程最相关的配置文件中的参数就是。
hadoop-3.3.5安装过程
Snower_2022的博客
12-01 534
hadoop 环境配置以及JDK 安装。
如何在云服务器/云主机上部署最新版本的Hadoop3.3.5（Ubuntu20.0.4）
weixin_49503250的博客
04-22 684
这样就完成了在Ubuntu 20.04上安装和部署Hadoop的过程。现在，您可以开始使用Hadoop进行数据处理和分析。如果您遇到任何问题，请随时私信，我会尽力帮助您。。
大数据平台——Hadoop环境配置
王同学的博客
09-30 1966
1. 虚拟机配置 版本：VM15中安装了centos7，镜像：CentOS-7-x86_64-Minimal-1908 ；hadoop2.10.0，jdk1.8.0_241 1.1 安装CentOS系统 不建议安装CentOS最新版本。 注：本文使用VMWare进行配置，若使用VirtualBox配置时，除虚拟机网络配置略有不同外，其他一致。 1.2 网络连接介绍 1.桥接模式：虚拟机和物理机连的是同一个网络，虚拟机和物理机是并列关系，地位是相当的。无论是虚拟系统还是真实系统，只要在同一个网段下，相互之间就
Hadoop3.3安装配置
feiyan的博客
04-19 1969
1. macOS安装 brew install hadoop brew install hive 2. 参数配置 参考地址：Hive安装配置 (1)环境变量： ## java export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_321.jdk/Contents/Home export CLASSPATH=$JAVA_HOME/lib export PATH=$JAVA_HOME/bin:$PATH ## go export GOROOT=
从零搭建Hadoop——3.安装Hadoop
qq_52491380的博客
08-07 620
文章目录前言一、配置无密钥登录1.生成密钥文件2.将公钥信息复制到授权文件3.添加权限4.测试二、安装Hadoop1.上传安装包2.解压3.重命名4.配置系统变量4.1 配置4.2 测试5.修改~/.bashrc6.配置Hadoop环境变量7.配置HDFS7.1 core-site.xml7.2 hdfs-site.xml7.3 workers8.配置YARN8.1 mapred-site.xml8.2 yarn-site.xml9.复制到其他节点10.格式化NameNode11.启动Hadoop12.测试
hadoop分布式部署(Hadoop-3.3)
weixin_43558498的博客
04-24 1490
准备三台虚拟机
hadoop3.3.5
10-08
Hadoop 3.3.5是一个开源的分布式计算框架，用于处理大规模数据的存储和处理。它提供了可靠的、高效的和可扩展的分布式计算解决方案。 要安装Hadoop 3.3.5，您可以按照以下步骤进行操作： 1. 首先，从提供的引用中下载Hadoop 3.3.5的安装包。 2. 将下载的安装包解压缩，并将解压后的文件夹（hadoop-3.3.5）移动到指定的环境目录（如引用中的D:\Environment\目录）。 3. 配置Hadoop环境变量。打开系统环境变量设置，添加一个新的环境变量HADOOP_HOME，并将其设置为Hadoop安装文件夹的路径（例如D:\Environment\hadoop-3.3.5）。 4. 将%HADOOP_HOME%\bin添加到系统的PATH环境变量中，以便在任何目录下都能够直接运行Hadoop命令。 5. 配置winutils.exe。将winutils.exe文件移动到Hadoop安装文件夹的bin目录中，确保它与Hadoop的版本兼容。 完成上述步骤后，您就成功安装了Hadoop 3.3.5。您可以使用hadoop命令来执行各种分布式计算任务，如在引用中提到的执行wordcount程序。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值