Hadoop分布式集群安装（非虚拟机）

最新推荐文章于 2023-04-14 18:05:19 发布
最新推荐文章于 2023-04-14 18:05:19 发布
阅读量583 收藏
点赞数
文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HelloWorldYangSong/article/details/106761126
版权

1. 机器

准备三台服务器，网络要通。配置大致如下

2. 安装jdk

比较简单，略过了

3. 新增Linux用户hadoop

useradd hadoop
useradd hadoop

输入密码即可

授予root权限

vim /etc/sudoers

增加：

3个节点都执行一遍如上操作

4. 免密登入

节点名字：master、slave1、slave2

4.1 3个节点切换到hadoop用户

su hadoop

4.2 分别执行，一直回车

ssh-keygen -t rsa

并将公钥复制为authorized_keys，3个节点都执行

cp ~/.ssh/id_rsa  ~/.ssh/authorized_keys

4.3 slave1和slave2中通过scp拷贝  ~/.ssh/authorized_keys到master

如：

scp ~/.ssh/authorized_keys zhangc@master:~/.ssh/authorized_keys_slave1

4.4 在master节点将上边的 authorized_keys_slave1和authorized_keys_slave2 追加到authorized_keys

如：

cd ~/.ssh/
cat authorized_keys_slave1 >> authorized_keys
cat authorized_keys_slave2 >> authorized_keys

4.5 将master中的~/.ssh/authorized_keys分发到slave1、slave2节点

4.6 然后在slave节点执行

scp ~/.ssh/authorized_keys zhangc@slave1:~/.ssh/authorized_keys

scp ~/.ssh/authorized_keys zhangc@slave2:~/.ssh/authorized_keys

参考：https://www.cnblogs.com/20kuaiqian/p/11202330.html

5. 下载Hadoop安装包

https://hadoop.apache.org/releases.html

or

https://www.apache.org/dyn/closer.cgi/hadoop/common

解压

tar -zxvf hadoop-3.2.1.tar.gz -C /usr/local/bigdata/hadoop

环境变量

vim ~/.bashrc
export PATH=$PATH:/usr/local/bigdata/hadoop/hadoop-3.2.1/bin:/usr/local/bigdata/hadoop/hadoop-3.2.1/sbin
source ~/.bashrc

5.1 配置hadoop-env.sh，内容如下

export JAVA_HOME=/usr/local/jdk

export HDFS_NAMENODE_USER="hadoop"
export HDFS_DATANODE_USER="hadoop"
export HDFS_SECONDARYNAMENODE_USER="hadoop"
export YARN_RESOURCEMANAGER_USER="hadoop"
export YARN_NODEMANAGER_USER="hadoop"

5.2 配置core-site.xml

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>file:/usr/local/bigdata/hadoop/tmp</value>
                <description>Abase for other temporary directories.</description>
        </property>
</configuration>

其中master可以自行改成指定的ip地址,hadoop.tmp.dir记得新建

5.3 配置hdfs-site.xml

<configuration>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>master:50090</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/usr/local/bigdata/hadoop/hdfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/usr/local/bigdata/hadoop/hdfs/data</value>
        </property>
</configuration>

其中，file路径记得新建好

5.4 配置mapred-site.xml

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>master:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>master:19888</value>
        </property>
</configuration>

5.5 配置yarn-site.xml

<configuration>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>master</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

注：master根据具体情况配置，配置ip也可以

5.6 配置workers

slave1
slave2

注：非虚拟机用两个真实ip

6. 复制hadoop文件夹到其他节点

cd ~
sudo tar -zxvf hadoop.master.tar.gz -C /usr/local/

进入 maser的/user/local执行以下命令压缩文件夹

tar -zcf ~/hadoop.master.tar.gz ./bigdata/

进入路径

cd ~

拷贝到slave1和slave2节点

scp ./hadoop.master.tar.gz slave1:/home/hadoop/
和
scp ./hadoop.master.tar.gz slave2:/home/hadoop/

7. 首次启动先格式化HDFS，一定要在master节点执行

hdfs namenode -format

 

8. 启动

启动前关闭防火墙

进入/usr/local/bigdata/hadoop/hadoop-3.2.1/sbin执行

./start-dfs.sh

master：

slave

./start-yarn.sh

master

slave

安装成功。。。

查看端口

netstat -nltp

各个端口访问地址https://blog.csdn.net/qq_41851454/article/details/79938811

1、HDFS页面：50070

2、YARN的管理界面：8088

3、HistoryServer的管理界面：19888

4、Zookeeper的服务端口号：2181

5、Mysql的服务端口号：3306

6、Hive.server1=10000

7、Kafka的服务端口号：9092

8、azkaban界面：8443

9、Hbase界面：16010,60010

10、Spark的界面：8080

11、Spark的URL：7077

9. 异常解决

java.net.BindException: Port in use: master:8088
	at org.apache.hadoop.http.HttpServer2.constructBindException(HttpServer2.java:1218)
	at org.apache.hadoop.http.HttpServer2.bindForSinglePort(HttpServer2.java:1240)
	at org.apache.hadoop.http.HttpServer2.openListeners(HttpServer2.java:1299)
	at org.apache.hadoop.http.HttpServer2.start(HttpServer2.java:1154)
	at org.apache.hadoop.yarn.webapp.WebApps$Builder.start(WebApps.java:439)
	at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.startWepApp(ResourceManager.java:1231)
	at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.serviceStart(ResourceManager.java:1340)
	at org.apache.hadoop.service.AbstractService.start(AbstractService.java:194)
	at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.main(ResourceManager.java:1535)
Caused by: java.net.BindException: Cannot assign requested address
	at sun.nio.ch.Net.bind0(Native Method)
	at sun.nio.ch.Net.bind(Net.java:436)
	at sun.nio.ch.Net.bind(Net.java:428)
	at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:214)
	at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74)
	at org.eclipse.jetty.server.ServerConnector.openAcceptChannel(ServerConnector.java:351)
	at org.eclipse.jetty.server.ServerConnector.open(ServerConnector.java:319)
	at org.apache.hadoop.http.HttpServer2.bindListener(HttpServer2.java:1205)
	at org.apache.hadoop.http.HttpServer2.bindForSinglePort(HttpServer2.java:1236)
	... 7 more
2020-06-17 13:28:17,806 INFO org.apache.hadoop.service.AbstractService: Service ResourceManager failed in state STARTED
org.apache.hadoop.yarn.webapp.WebAppException: Error starting http server
	at org.apache.hadoop.yarn.webapp.WebApps$Builder.start(WebApps.java:443)
	at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.startWepApp(ResourceManager.java:1231)
	at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.serviceStart(ResourceManager.java:1340)
	at org.apache.hadoop.service.AbstractService.start(AbstractService.java:194)
	at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.main(ResourceManager.java:1535)
Caused by: java.net.BindException: Port in use: master:8088
	at org.apache.hadoop.http.HttpServer2.constructBindException(HttpServer2.java:1218)
	at org.apache.hadoop.http.HttpServer2.bindForSinglePort(HttpServer2.java:1240)
	at org.apache.hadoop.http.HttpServer2.openListeners(HttpServer2.java:1299)
	at org.apache.hadoop.http.HttpServer2.start(HttpServer2.java:1154)
	at org.apache.hadoop.yarn.webapp.WebApps$Builder.start(WebApps.java:439)
	... 4 more
Caused by: java.net.BindException: Cannot assign requested address
	at sun.nio.ch.Net.bind0(Native Method)
	at sun.nio.ch.Net.bind(Net.java:436)
	at sun.nio.ch.Net.bind(Net.java:428)
	at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:214)
	at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74)
	at org.eclipse.jetty.server.ServerConnector.openAcceptChannel(ServerConnector.java:351)
	at org.eclipse.jetty.server.ServerConnector.open(ServerConnector.java:319)
	at org.apache.hadoop.http.HttpServer2.bindListener(HttpServer2.java:1205)
	at org.apache.hadoop.http.HttpServer2.bindForSinglePort(HttpServer2.java:1236)
	... 7 more
2020-06-17 13:28:17,810 INFO org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: Transitioning to standby state
2020-06-17 13:28:17,810 INFO org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: Transitioned to standby state
2020-06-17 13:28:17,811 FATAL org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: Error starting ResourceManager
org.apache.hadoop.yarn.webapp.WebAppException: Error starting http server
	at org.apache.hadoop.yarn.webapp.WebApps$Builder.start(WebApps.java:443)
	at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.startWepApp(ResourceManager.java:1231)
	at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.serviceStart(ResourceManager.java:1340)
	at org.apache.hadoop.service.AbstractService.start(AbstractService.java:194)
	at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.main(ResourceManager.java:1535)
Caused by: java.net.BindException: Port in use: master:8088
	at org.apache.hadoop.http.HttpServer2.constructBindException(HttpServer2.java:1218)
	at org.apache.hadoop.http.HttpServer2.bindForSinglePort(HttpServer2.java:1240)
	at org.apache.hadoop.http.HttpServer2.openListeners(HttpServer2.java:1299)
	at org.apache.hadoop.http.HttpServer2.start(HttpServer2.java:1154)
	at org.apache.hadoop.yarn.webapp.WebApps$Builder.start(WebApps.java:439)
	... 4 more
Caused by: java.net.BindException: Cannot assign requested address
	at sun.nio.ch.Net.bind0(Native Method)
	at sun.nio.ch.Net.bind(Net.java:436)
	at sun.nio.ch.Net.bind(Net.java:428)
	at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:214)
	at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74)
	at org.eclipse.jetty.server.ServerConnector.openAcceptChannel(ServerConnector.java:351)
	at org.eclipse.jetty.server.ServerConnector.open(ServerConnector.java:319)
	at org.apache.hadoop.http.HttpServer2.bindListener(HttpServer2.java:1205)
	at org.apache.hadoop.http.HttpServer2.bindForSinglePort(HttpServer2.java:1236)

这个异常多半是/etc/hosts下的配置有问题，我是把master这个域名直接指定到127.0.0.1就好了，其他的实事求是的看看。

 

参考：

https://blog.csdn.net/dream_an/article/details/80258283

https://www.cnblogs.com/20kuaiqian/p/11202330.html

http://dblab.xmu.edu.cn/blog/install-hadoop-cluster/

代码手艺人老羊
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
在Windows中安装Hadoop（非虚拟机安装）
大西瓜不甜的博客
03-16 1024
在Windo...
多台物理机构建Hadoop集群
weixin_44358694的博客
12-05 1310
多台物理机构建Hadoop集群
win10不用虚拟机部署伪分布式集群(服务部署+客户端访问)
LearnToPain的博客
11-03 1941
其实吧，花太多时间在环境的部署上不值得，环境部署是运维的事，所以在没环境 的时候自己测试用 伪分布就可以了。 小白开工 1.打开win10 （确保连接了互联网）, 2.鼠标左键单机开始按钮， 找到Microsoft Store，点击它， 3.会自动弹出它的窗口，找到右上角的搜索， 4.敲键盘，切换到英文输入法，输入"ubuntu",然后点击回车，等待片刻，出现下面这个界面； 5.然后选择18.04那个版本吧，其实三个版本都可以，我选择的18.04版本 6.点“18.04LTS”的图标，进入这个应用的详细说
Hadoop 两台物理机内部虚拟机组建集群（使用手机热点）
AdamShyly的博客
04-16 2323
如果想同时启动多台虚拟机来搭建Hadoop集群，但发现一台物理机无法承受这么大的内存、硬盘、CPU消耗，则可以再拿一台物理机进行实验。 第一步：开启手机热点，让两台物理机都通过WIFI连接到该热点，目的是构建局域网 第二步：两个物理机下的所有虚拟机的网络模式要从NAT改为桥接，并且要勾上“复制物理网络连接状态” 第三步：配置虚拟机子网。如果虚拟机想访问外网就要跟手机热点处于同一个子网，并且服务器的网关和DNS都要和该子网的网关相同。这里关于手机热点的子网划分可以从物理机用ipconfig.
Hadoop (三) --------- Hadoop 运行环境搭建 (虚拟机)
在森林里麋了鹿
07-11 2657
Hadoop 运行环境配置
2.Hadoop3.2.1分布式集群安装
01-20
Hadoop3.2.1 分布式集群安装 1.准备环境： 3 台 linux 虚拟机(CentOs7.x 64 位) ip 为： 192.168.2.100 192.168.2.101 192.168.2.102 对应的 hostname 为： hadoop100 hadoop101 hadoop102 2.虚拟机基本环境配置： ...
详解使用docker搭建hadoop分布式集群
01-11
使用Docker搭建部署Hadoop分布式集群 在网上找了很长时间都没有找到使用docker搭建hadoop分布式集群的文档，没办法，只能自己写一个了。 一：环境准备： 1：首先要有一个Centos7操作系统，可以在虚拟机中安装...
Hadoop分布式安装配置.docx
11-03
Hadoop分布式安装配置 Hadoop是当前大数据处理的主流技术之一，由于其开源、可扩展、灵活的特点，广泛应用于大数据处理、数据分析、机器学习等领域。为帮助读者更好地理解Hadoop的安装配置，本文将从大数据概念、...
linux虚拟机搭建hadoop伪分布式集群
04-26
搭建hadoop伪分布式集群的步骤，希望能帮到各位，多多
Hadoop单机、伪分布式、分布式集群安装教程
最新发布
04-16
Hadoop 是一个开源的...总的来说，这个教程详细地涵盖了从基础环境准备到Hadoop各模式安装配置的全过程，是学习和实践Hadoop分布式计算的良好起点。理解并熟练掌握这些步骤，将有助于你在大数据处理领域更进一步。
【Hadoop】大数据安装部署之虚拟机的安装
Echo 大数据之缘
05-06 1526
大数据安装部署 虚拟机的安装作为大数据安装部署很重要的一个环节，简单来说分为 1、VMware 软件安装与网络设置 2、创建虚拟机 3、安装操作系统 4、克隆系统 5、配置客户端远程登录 6、设置客户端远程登录 7、配置hosts文件
yarn中resourcemanager启动不了，启动hregionserver后又挂掉了问题的解决
热门推荐
Rocky
09-09 2万+
启动Hadoop-2.2.0中的yarn时，resourcemanager进程一直没有启动起来。 查看日志文件中的信息tail -n 50 yarn-dell-resourcemanager-master1.log 出现一下异常： 2016-09-09 14:41:09,341 INFO org.apache.hadoop.service.AbstractService: Service R
resourcemanager启动失败，别的节点成功
Xiaoweidumpb
11-07 2087
2021-11-07 20:06:23,347 FATAL org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: Error starting ResourceManager org.apache.hadoop.yarn.webapp.WebAppException: Error starting http server at org.apache.hadoop.yarn.webapp.WebApps$Builder.s
hadoop集群启动yarn时出现的问题和解决方法
qianyulin
06-01 5622
1、问题 使用start-all.sh 启动hdfs和yarn集群 ，启动后发现resourcemanager没启动，查看日志报错： 2020-06-01 09:42:21,280 INFO org.apache.hadoop.service.AbstractService: Service org.apache.hadoop.yarn.server.resourcemanager.AdminService failed in state INITED; cause: org.apache.had
hadoop报错——ResourceManager无法启动
weixin_63507910的博客
04-14 2533
本次的遇到的问题为启动Hadoop集群后，jps查看进程中，ResourceManage节点没有启动，导致无法访问http://localhost:8088，通过查看ResourceManage的启动日志，日志中给出的错误为，笔者初步判断为yarn-site.xml文件未填写Zookeeper的端口，以及设置开启自动恢复和故障自动转移。
Hadoop ResourceManager :Error starting ResourceManager，Port in Use
fang.lovest.yang的博客
07-30 937
问题 在fang1.fri.com启动yarn，yarn.site.xml配置的ResourceManage为fang2.fri.com,报错如下： fang1.fri.com fang2.fri.com fang3.fri.com NameNode ResourceManage DataNode DataNode D
端口被占用，解决方法
New_user_的博客
01-13 1681
端口被占用
搭建hadoop集群，从安装虚拟机开始直到hadoop成功搭建
sgsgsgwe的博客
06-16 3240
搭建Hadoop集群一、实验目的与要求学习和掌握Hadoop的相关应用，首先必须得学会搭建Hadoop集群。本次实验将针对Hadoop集群的搭建内容进行演练。学会虚拟机的安装和克隆，Linux系统的网络配置和SSH配置，Hadoop集群的搭建和配置，Hadoop集群测试，熟悉Hadoop集群基本的操作。要求：1、认真理解集群搭建过程，通过实践成功搭建Hadoop集群。2、结合实践内容和教材的相关章节完成实验报告。二、实验内容1、虚拟机安装2、虚拟机克隆3、Linux系统网络配置4、SSH服务配置5、JDK安
Hadoop安装准备
Python_XTyyds的博客
12-09 911
Hadoop安装准备

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值