一键安装hadoop伪分布集群脚本

最新推荐文章于 2024-09-21 20:57:46 发布

只想做打工人

最新推荐文章于 2024-09-21 20:57:46 发布

阅读量371

点赞数

本文链接：https://blog.csdn.net/weixin_43848469/article/details/125713326

版权

Hadoop 伪分布集群 CentOS7 自动化脚本配置文件

关键词由CSDN通过智能技术生成

因为hadoop是大数据必用的组件，经常用来测试需要重新安装，用docker又不是很方便，于是写了一个脚本，可以在centos7上进行安装

#!/bin/bash

# 专为centos机器上实现hadoop伪分布集群安装，仅用于测试使用
cd /opt
mkdir module & cd module
wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.3/hadoop-3.2.3.tar.gz --no-check-certificate
#  解压
tar -zxvf hadoop-3.2.3.tar.gz 
mv hadoop-3.2.3 hadoop
echo '\nexport HADOOP_HOME=/opt/module/hadoop' >> /etc/profile
echo '\nexport PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin' >> /etc/profile       #这也是使用
#
cd hadoop/etc/hadoop

sed -i '19a <property>' hdfs-site.xml
sed -i '20a <name>dfs.replication</name>' hdfs-site.xml
sed -i '21a <value>1</value>' hdfs-site.xml
sed -i '22a </property>' hdfs-site.xml


sed -i '19a <property>' core-site.xml
sed -i '20a <name>fs.defaultFS</name>' core-site.xml
sed -i '21a <value>hdfs://localhost:9000</value>' core-site.xml
sed -i '22a </property>' core-site.xml
sed -i '23a<property&g