Hadoop分布式集群

最新推荐文章于 2024-09-20 23:54:36 发布

Winter.＊

最新推荐文章于 2024-09-20 23:54:36 发布

阅读量165

点赞数

文章标签： hadoop

本文链接：https://blog.csdn.net/weixin_50904867/article/details/109206613

版权

这篇博客详细介绍了如何进行Hadoop分布式集群的安装和部署，包括单机和集群两种模式。在单机安装中，涉及云主机购买、Hadoop安装及JAVA环境配置，并进行了热点词汇分析。集群部署部分，讲解了HDFS和YARN的架构，以及各节点的配置和启动步骤，最后提供了各服务的Web监控页面URL。

摘要由CSDN通过智能技术生成

Hadoop分布式集群

单机安装部署

购买云主机

主机	IP地址	配置
hadoop1	192.168.1.50	最低配置2核2G

hadoop安装

拷贝云盘 public/hadoop/hadoop-2.7.7.tar.gz 到 hadoop1 上

[root@hadoop1 ~]# yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel
[root@hadoop1 ~]# tar -zxf hadoop-2.7.7.tar.gz
[root@hadoop1 ~]# mv hadoop-2.7.7 /usr/local/hadoop
[root@hadoop1 ~]# chown -R 0.0 /usr/local/hadoop

配置JAVA运行环境

[root@hadoop1 ~]# vim /etc/hosts
192.168.1.50	hadoop1
[root@hadoop1 ~]# rpm -qa | grep java
[root@hadoop1 ~]# rpm -ql java-1.8.0-openjdk
[root@hadoop1 ~]# vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh
25:  export JAVA_HOME="java-1.8.0-openjdk安装路径"
33:  export HADOOP_CONF_DIR="/usr/local/hadoop/etc/hadoop"
[root@hadoop1 ~]# /usr/local/hadoop/bin/hadoop version

热点词汇分析

[root@hadoop1 ~]# cd /usr/local/hadoop
[root@hadoop1 hadoop]# mkdir input
[root@hadoop1 hadoop]# cp *.txt input/
[root@hadoop1 hadoop]# ./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount ./input ./output
[root@hadoop1 hadoop]# cat ./output/*

集群安装部署

购买云主机

主机	IP地址	配置
hadoop1	192.168.1.50	最低配置2核2G
node-0001	192.168.1.51	最低配置2核2G
node-0002	192.168.1.52	最低配置2核2G
node-0003	192.168.1.53	最低配置2核2G