云服务器搭建HADOOP集群

最新推荐文章于 2023-10-22 22:47:08 发布
最新推荐文章于 2023-10-22 22:47:08 发布
阅读量391 收藏 2
点赞数 1
分类专栏： 大数据 文章标签： hadoop 大数据 hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39491881/article/details/116128360
版权

云服务器搭建HADOOP集群

目录

云服务器配置

本次采用三台服务器名称分别为
	nn1 ：NameNode ，ResourceManager，JobHistoryServer
	dn1 ：NodeManager，SecondaryNameNode，DataNode
	dn2 ：DataNode，NodeManager
服务器版本:    centos 7.2
hadoop版本:   hadoop-2.7.2
JDK版本: 	 jdk-8u121-linux-x64

1. 设置安全组

为了防止外网攻击云服务器：
	将各个服务器的内外网地址添加进安全组
	将客户端外网地址添加进安全组
如用本机虚拟机搭建，则无需配置

2. 服务器配置

> 关闭防火墙和selinux 配置/etc/hosts
vi /etc/hosts
------>  nn1  <------
106.13.177.xxx dn1
106.12.7.xxx dn2
192.168.0.x nn1

------>  dn1  <------
192.168.16.x dn1
106.12.7.xxx dn2
106.12.51.xx nn1

------>  dn2  <------
106.13.177.xxx dn1
192.168.16.x dn2
106.12.51.xx nn1

这里注意本机地址必须配置为内网地址，其他两台设置必须为外网地址。 否则集成搭建完成后，idea写的JAVA程序访问不了集群。
如果是本机虚拟机，则正常写入内网地址即可

> 创建hdp用户，设置主机互信
>>创建用户
useradd hdp
passwd hdp

>>设置主机互信
交换各主机密钥
分别在各个主机上运行
ssh-keygen -t rsa
ssh-copy-id -i ~/.ssh/id_rsa.pub hdp@nn1
ssh-copy-id -i ~/.ssh/id_rsa.pub hdp@dn2
ssh-copy-id -i ~/.ssh/id_rsa.pub hdp@dn2
> 配置sudo
vi /etc/sudoers
在root    ALL=(ALL)       ALL下
添加如下内容
hdp    ALL=(ALL)       ALL
想免除密码输入加上NOPASSWD: 
hdp    ALL=(ALL)      NOPASSWD: ALL
> 编写xcall ,xrsync 文件
xcall -- 批量执行文件

#!/bin/bash
pcount=$#
if (( pcount<1 )) ;then
echo no args;
exit;
fi
for host in nn dn1 dn2 ;  ##主机名称
do
echo ---------------- $host ------------------
ssh $host $1
done

xrync -- 批量传输文件
#!/bin/bash
pcount=$#
if (( pcount<1 )) ;then
 echo no args;
 exit;
fi
p1=$1;
fname=`basename $p1`
echo fname=$fname;
pdir=`cd -P $(dirname $p1);pwd`
echo pdir=$pdir
cuser=`whoami`
for host in dn1 dn2 ;  ##主机名称
do
rsync $pdir/$fname $cuser@$host:$pdir
done

编写文件之后，将文件放入/usr/local/bin文件下
赋权chmod 755 /usr/local/bin/

3. 软件安装

利用xrsync将JDK和HADOOP安装包传到各个主机
利用xcall批量执行

> 安装JDK
>>卸载现有JDK
	查询现有JDK
		rpm -qa | grep java
	如有信息则卸载JDK
		sudo rpm -e 软件包
>>安装JDK
	解压
		tar -zxvf jdk-8u121-linux-x64.tar.gz -C /usr/local/
	赋权
		chmod -R 777 jdk1.8.0_121
	配置JDK环境变量
	  vi /etc/profile
		export JAVA_HOME=/usr/local/jdk1.8.0_121
		export HADOOP_HOME=/usr/local/hadoop-2.7.2
		export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
	  vi ~/.bashrc   ##root，hdp都要做修改
	  	source /etc/profile
> 安装hadoop
>>解压
	tar -zxvf hadoop-2.7.2.tar.gz -C /usr/local
>>赋权
	chown -R hdp:hdp /usr/local/hadoop-2.7.2
>>配置环境变量
(与JDK配置相同，文件有带有hadoop的配置，如JDK环境变量已经配置，此步省略)
	vi /etc/profile
		export JAVA_HOME=/usr/local/jdk1.8.0_121
		export HADOOP_HOME=/usr/local/hadoop-2.7.2
		export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
	vi ~/.bashrc   ##root，hdp都要做修改
  		source /etc/profile
>>source文件，使配置生效
	source /etc/profile

使用ssh执行命令 属于Login-shell，会自动读取 /etc/profile文件中定义的所有的变量！
ssh 执行远程机器命令属于non-login-shell,不会读取/etc/profile
如果在使用命令时，我们需要使用/etc/profile定义的一些变量，需要在目标机器的对应的用户的家目录/.bashrc中添加以下代码
source /etc/profile
如果不添加以上代码，在执行start-all.sh | stop-all.sh一定会报错！

> hadoop目录结构
bin目录：存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本
etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件
lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）
sbin目录：存放启动或停止Hadoop相关服务的脚本
share目录：存放Hadoop的依赖jar包、文档、和官方案例

4.HADOOP配置文件

以下配置文件均在 $HADOOP_HOME/etc/hadoop
配置完成后使用xrync将文件同步到各个节点

> core-site.xml
<!-- 指定HDFS中NameNode的地址 -->
<property>
    	<name>fs.defaultFS</name>
  		<value>hdfs://nn1:9000</value>
</property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hdp/bigdata/data/tmp</value>
</property>
> hdfs-site.xml
<!--配置副本数，默认3 -->
<property>
     <name>dfs.replication</name>
     <value>2</value>
</property>

<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
  	 <name>dfs.namenode.secondary.http-address</name>
 	 <value>dn1:50090</value>
</property>
<property>
<!-- namenode 的备份目录，即 HDFS数据目录的本机备份 -->
	<name>dfs.namenode.name.dir</name>
	<value>file:///${hadoop.tmp.dir}/dfs/name,file:///home/hdp/bigdata/namespace</value>
</property>

> datanode也可以配置多个目录，但不是副本。
> 两个目录可以分别存放在不用的磁盘上，更加安全
在hdfs-site.xml 内添加
<property>
<name>dfs.datanode.data.dir</name>
     <value>file:///${hadoop.tmp.dir}/dfs/data1,file:///${hadoop.tmp.dir}/dfs/data2</value>
</property>
> mapred-site.xml
<property>
	<!--配置在yarn上运行 -->
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

<property>
  <!--日志监控服务的地址，一般填写为nodenode机器地址 -->
    <name>mapreduce.jobhistroy.address</name>
    <value>nn1:10020</value>
</property>
<property>
    <name>mapreduce.jobhistroy.webapp.address</name>
    <value>nn1:19888</value>
</property>

<property>        
    <name>yarn.log.server.url</name>         
    <value>http://nn1:19888/jobhistory/logs</value> 
</property>
> yarn-site.xml
<!-- Site specific YARN configuration properties -->
<!-- reducer获取数据的方式 -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
     <name>yarn.resourcemanager.hostname</name>
     <value>nn1</value>
</property>

<property>
     <name>yarn.log-aggregation-enable</name>
     <value>true</value>
</property>

<!-- 日志聚集功能使能 -->
<property>
	<name>yarn.log-aggregation-enable</name>
	<value>true</value>
</property>

<!-- 日志保留时间设置7天 -->
<property>
	<name>yarn.log-aggregation.retain-seconds</name>
	<value>604800</value>
</property>
> slaves
配置集群的数据节点
dn1
dn2

5.启停集群

注意切换到hdp 用户

> 操作
1.格式化NameNode（第一次启动时格式化，以后就不要总格式化）
	bin/hdfs namenode -format
2.启动hadoop集群
	start-all.sh
3.启动历史服务器
	sh mr-jobhistory-daemon.sh start historyserver
4.停止hadoop集群
	stop-all.sh
5.验证集群是否正常启动
	xcall jps

集群启动后各个节点进程

> 集群可视化UI
hadoop集群状态
	http://nn1:50070/
yarn
	http://nn1:8088/cluster
2nn
	http://dn1:50090/status.html

创作不易，请各位多多点赞，转载请注明出处。
我们可以在评论交流，长期更新，可以关注我哦~

那天她没有吃冰棍
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
云服务器搭建hadoop集群（一主二从）
weixin_39411373的博客
12-09 1653
云服务器配置 最好是2核4G，内存太低的话后面跑hive的时候可能会出现问题 服务器最好买同一个区的 服务器不用再同一个账号下，可以注册多个账号，然后利用首单优惠政策低价购入服务器 拿到三台云服务器后需要修改hostname vim /etc/hostname 将三台云服务器分别命名为：hadoop102、hadoop103、hadoop104 还需要修改hosts（注意每台机器的ip，分清内外网ip区别） vim /etc/hosts hadoop1
详解搭建ubuntu版hadoop集群
09-15
在本文中，我们将详细阐述如何在Ubuntu 16.04环境下搭建Hadoop集群。Hadoop是一个开源的分布式计算框架，它允许处理和存储大量数据，尤其适合大数据分析。Ubuntu是Linux发行版中的一个流行选择，其稳定性和丰富的...
云服务器搭建Hadoop集群
weixin_42141873的博客
04-18 4853
云服务器搭建Hadoop集群一、配置服务器1. 创建普通用户2. 安装 Java 环境3.安装hadoop4.网络配置5.hadoop配置 一、配置服务器 1. 创建普通用户 说明：由于 root 环境下操作比较危险，所以这里新建一个普通用户来进行 hadoop 的搭建。 创建一个普通用户 hadoop sudo useradd -m hadoop -s /bin/bash 设置密码并重复一次 sudo passwd hadoop 给 hadoop 用户增加 sudo 管理员权限 sudo addu
Hadoop 集群搭建，云服务器
Wumo的博客
03-12 3314
先安装JDK与Hadoop cd $HADOOP_HOME/etc/hadoop =============core-site.xml fs.default.name hdfs://master:9000 hadoop.tmp.dir file:/opt/module/hadoop-3.3.1/temp io.file.buffer.size 131072 ===========hdfs-site.xml dfs.nam.
利用云服务器搭建hadoop集群
小新的蜡笔
12-28 770
利用云服务器搭建hadoop集群测试连接113355123123121323123121233123123312312321入3123211231 测试连接 有一台腾讯云的服务器,最近有买了两台百度云的,打算搭建一个集群,从零开始记录一下. 测试连接: 百度云之间互ping在1ms左右,可惜太穷了买不起,只能把一台成都的和两台保定的串起来,凑合着用吧. 百度云分配的名字太麻烦了,为方便操作修...
云服务器搭建Hadoop
qq_43054104的博客
04-03 321
Hadoop伪分布式集群的安装部署 【主要看这个】 https://blog.csdn.net/devcloud/article/details/96437988 最详细云服务器Centos7下搭建Hadoop伪分布式集群(防各种坑) 【主要看了配置文件】 https://www.jianshu.com/p/59fe6cdba293?tdsourcetag=s_pcqq_aiomsg //可以但是...
在阿里云服务器上利用 Docker 搭建 Hadoop 集群
01-07
Docker 安装与配置 安装 Docker（摘自 Docker 官方文档） 设置 Docker Repository 更新软件索引$ sudo apt-get update 安装一些必要的包 $ sudo apt-get install \ ... ca-certificates \ curl \ ...
基于centos的大数据hadoop集群搭建说明文档
10-30
【描述】：本教程专为初学者设计，详细阐述了如何手动搭建Hadoop集群，步骤详尽，易于理解。 【标签】：Hadoop集群搭建 【正文】： Hadoop是一个开源的分布式计算框架，它允许在普通硬件上处理大量数据。基于...
搭建Hadoop集群
01-20
Hadoop环境搭建 安装VMware Workstation 安装的版本是workstation pro v15.5.1 软件资源：https://www.nocmd.com/740.html 下载Ubuntu镜像文件，在虚拟机中安装 首先了解一下Vmware虚拟机下三种网络模式配置，可以...
hadoop集群搭建(超级详细)
10-11
在搭建Hadoop集群之前，首先需要准备多台虚拟机。可以使用VMware或VirtualBox等虚拟机软件，创建至少三台虚拟机，分别作为NameNode、DataNode和Secondary NameNode。确保每台虚拟机的网络设置为同一网络模式（如NAT...
hadoop云服务器环境搭建
05-08
hadoop云服务器环境搭建，自己写的文档，亲测可用，方便初学者搭建hadoop云服务环境
云服务器搭建Hadoop分布式
最新发布
weixin_44911248的博客
10-22 1886
首先排查pid是否为自己设置的pid地址，由于默认的pid是在/tmp目录下，但是tmp目录下的东西是会定期清理的，因此在hadoop-env.sh和yarn-env.sh中配置了新的pid地址，为$HADOOP_HOME/pid。还是建议将服务器的防火墙暂时关闭，因为hadoop的节点之间的网络通信涉及了太多复杂的端口，原先按照开放端口的方式不足以应对通信过程中可能产生的端口号，导致运行MR程序卡顿。1.检查了服务器之间的ip和主机名的映射，各个服务器主机之间通过主机名可以ping通，说明映射没有问题，
基于Apache Hadoop2.9.2使用云服务器搭建hadoop集群
哈哈哈哈哈哈哈
03-28 894
前言 本文基于Hadoop2.9.2，使用3台云服务器，搭建分布式文件系统HDFS。 在开始之前，你需要3台云服务器，可以在同一家购买也可以在不同家购买，比如，分别从BAT购买3台学生机，会很便宜，前提是要有学生身份。 服务器配置 来源 主机名 CPU 磁盘容量 阿里云 al-s2 1核2G 39.25G 腾讯云 tx-s2 1核2G 39.25 百度云 bd-s2 1核2...
云服务器大数据高可用集群搭建-----hadoop篇
a_dreaming的博客
12-06 3785
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 【注意】主要记录自己在云端服务器搭建个人用hadoop集群过程 新的改变 我们对Markdo
云服务器搭建 hadoop集群(全过程详解&解决碰到的问题)
m0_45311187的博客
03-01 7816
采用三台真实的部署在公网的服务器(系统为centos)搭建hadoop集群。（两台腾讯云，一台阿里云）包含jdk，hadoop的安装，配置环境变量，配置hadoop配置文件，初始化，启动。云服务器搭建hadoop集群。hadoop cluster cloud。
基于云服务器配置Hadoop集群
echolili123的博客
03-08 498
谢谢支持
（六）云服务器搭建Hadoop集群
Ares_song的博客
10-27 2236
使用两个阿里云和一个腾讯云搭建Hadoop集群方法和 hadoop分布式集群搭建 一样 但是同样的步骤会出现下面的错误 NameNode和ResourceManager、SecondrryNameNode三个进程都没有开启 主要原因是hosts中三个IP网段不一样导致的问题 解决方法很简单：每个云服务器会有1个公网ip和1个私网ip,在配置hosts映射时，对于对应的服务器要填私网...
云服务器部署hadoop集群
qq_38899062的博客
04-02 1909
0、准备 #1、服务器必须都在同一个vpc下 ping内网ip能直接ping通 #2、添加腾讯云的防火墙规则 （同一个vpc下内网之间所有端口互通） #3、hadoop版本3.1.3 jdk 1.8 #4、一定不要开启云服务器 yarn 端口的防火墙 会被挖矿病毒 kdevtmpfsi 入侵 (或者限制外网ip来源) #5、服务器的主机名修改成自己的 我的是 hadoop102 hadoop103 hadoop104 集群部署规划： 根据规划配置好ssh免密登录 我的hdfs 在hadoop1
Centos云服务器搭建Hadoop2.7完全分布式集群
钟离龙的博客
05-15 1110
一 安装环境：三台云服务器，我使用的是华为云一台为centos7，主机名:master，ip：192.168.0.1另外两台为centos6.5，主机名分别为node1、node2，ip分别为192.168.0.2，192.168.0.3。hadoop：hadoop-2.7.6.tar.gzjava jdk：jdk-8u171-linux-x64.tar.gz大家根据实际情况自行选择，linux系...
手把手教你搭建Hadoop集群：CentOS安装配置
本教程“细细品味Hadoop_Hadoop集群_第1期”主要针对初学者，手把手教你如何搭建Hadoop集群，采用的操作系统是CentOS。CentOS是一个基于Red Hat Enterprise Linux (RHEL) 的开源操作系统，因其稳定性、安全性以及与...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值