最全阿里云安装Hadoop全家桶

最新推荐文章于 2024-05-13 21:31:14 发布

2401_84181536

最新推荐文章于 2024-05-13 21:31:14 发布

阅读量643

点赞数 22

分类专栏：程序员文章标签：阿里云 hadoop 云计算

本文链接：https://blog.csdn.net/2401_84181536/article/details/138446834

版权

本文档详细介绍了如何在阿里云上安装Hadoop集群，并配置Hadoop、Kafka和Zookeeper。从设置JAVA_HOME到集群启动、停止脚本的编写，再到Kafka和Zookeeper的配置，包括各节点的broker.id和advertised.listeners等关键参数，以及Flume、Hive、HBase和Flink的安装与配置。文章还提及了Hive的metastore数据库创建以及高可用性的设置。最后，提供了完整的系统化大数据学习资料。

摘要由CSDN通过智能技术生成

export HADOOP_HOME=/opt/module/hadoop
export PATH= $P A T H :$ HADOOP_HOME/bin
export PATH= $P A T H :$ HADOOP_HOME/sbin


分发环境

xsync /etc/proifle


分发hadoop

xsync hadoop/


检查java


![Untitled](https://img-blog.csdnimg.cn/img_convert/7922e8364e68cc97486d75fbcb61df1f.png)


检查hadoop


![Untitled](https://img-blog.csdnimg.cn/img_convert/f5e4bdf76bc7895088b3dc7ed8e004b7.png)


格式化

cd /opt/module/hadoop/
bin/hdfs namenode -format


启动脚本

vim hdp.sh

#!/bin/bash
if [ $# -lt 1 ]
then
echo “No Args Input…”
exit ;
fi
case $1 in
“start”)
echo " =================== 启动 hadoop集群 ==================="

    echo " --------------- 启动 hdfs ---------------"
    ssh hadoop102 "/opt/module/hadoop/sbin/start-dfs.sh"
    echo " --------------- 启动 yarn ---------------"
    ssh hadoop103 "/opt/module/hadoop/sbin/start-yarn.sh"
    echo " --------------- 启动 historyserver ---------------"
    ssh hadoop102 "/opt/module/hadoop/bin/mapred --daemon start historyserver"

;;
“stop”)
echo " =================== 关闭 hadoop集群 ==================="

    echo " --------------- 关闭 historyserver ---------------"
    ssh hadoop102 "/opt/module/hadoop/bin/mapred --daemon stop historyserver"
    echo " --------------- 关闭 yarn ---------------"
    ssh hadoop103 "/opt/module/hadoop/sbin/stop-yarn.sh"
    echo " --------------- 关闭 hdfs ---------------"
    ssh hadoop102 "/opt/module/hadoop/sbin/stop-dfs.sh"

;;
*)
echo “Input Args Error…”
;;
esac

给权限
chmod 777 hdp.sh


jps查看脚本

vim xcall

#! /bin/bash
for i in hadoop102 hadoop103 hadoop104
do
echo --------- $i ----------
ssh $i “/opt/module/jdk/bin/jps $$*”
done

chmod 777


#### 启动与关闭

hdp.sh start
hdp.sh stop


![Untitled](https://img-blog.csdnimg.cn/img_convert/88643f7b3d6134cf3876eda901605e2b.png)


![Untitled](https://img-blog.csdnimg.cn/img_convert/7156799b8986971a15ebcc4cf038548e.png)


![Untitled](https://img-blog.csdnimg.cn/img_convert/23eff056774879f9d9012607a04d3b86.png)


### Zookeeper


解压修改名字

tar -zxvf apache-zookeeper-3.7.1-bin.tar.gz -C /opt/module/
mv apache-zookeeper-3.7.1-bin/ zookeeper


#### 配置


配置服务器编号

cd zookeeper/

最低0.47元/天解锁文章

2401_84181536

关注

22
点赞
踩
30

收藏

觉得还不错? 一键收藏
0
评论
最全阿里云安装Hadoop全家桶

export HADOOP_HOME=/opt/module/hadoopexport PATH=PATH:PATH:PATH:HADOOP_HOME/binexport PATH=PATH:PATH:PATH:HADOOP_HOME/sbinxsync /etc/proiflexsync hadoop/cd /opt/module/hadoop/bin/hdfs namenode -formatvim hdp.sh#!/bin/bashif [ $# -lt 1 ]thenecho “
复制链接

扫一扫