Hadoop搭建教程（自用）

最新推荐文章于 2024-04-28 04:40:43 发布
最新推荐文章于 2024-04-28 04:40:43 发布
阅读量681 收藏 7
点赞数 22
文章标签： hadoop 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nanfeng_ttns/article/details/136588569
版权
本文详细介绍了如何在VMware环境中设置网络配置、修改主机名、固定IP、关闭防火墙、配置SSH免密登录、同步时间、创建目录、安装和配置JDK、Hadoop，以及启动Hadoop集群的过程。
摘要由CSDN通过智能技术生成

一、设置VMware网段

1、打开VMware点击编辑选项里面的虚拟网络编辑器

2、点击更改设置找到VMnet8

3、将VMnet8的子网ip设置为：192.168.88.0

4、点击NAT设置将网关设置为：192.168.88.2

二、修改主机名和固定IP

1、修改主机名

# master更改
hostnamectl set -hostname master
# slave1更改
hostnamectl set -hostname slave1
# slave2更改
hostnamectl set -hostname slave2

2.修改IP地址

vi /etc/sysconfig/network-scripts/ifcfg-ens33
#将BOOTPROTO="static"
#在文件最后添加
IPADDR="192.168.88.101"
NETMASK="255.255.255.0"
GATEWAY="192.168.88.2"
DNS1="192.168.88.2"

3.关闭网卡

systemctl stop network

4.重启网卡

systemctl start network

同样的操作启动slave1、slave2

修改slave1主机名为slave1 ,设置ip为192.168.88.102

修改slave2主机名为slave2 ,设置ip为192.168.88.103

三、关闭防火墙

临时关闭防火墙

systemctl stop firewalld

查看防火墙状态

systemctl status firewalld

永久关闭防火墙

systemctl disable firewalld

四、配置主机名映射

1、在windows中修改hosts文件

找到C:\Windows\System32\drivers\etc下的hosts文件，打开在文件最后添加

192.168.88.101 master
192.168.88.102 slave1
192.168.88.103 slave2

2、在3台Linux的/etc/hosts文件中修改

vi /etc/hosts
# 在文件中加入
192.168.88.101 master
192.168.88.102 slave1
192.168.88.103 slave2

五、配置SSH免密登录

1、在每一台Linux机器里都执行

ssh-keygen
ssh-copy-id master
ssh-copy-id slave1
ssh-copy-id slave2

2、执行完毕后，master、slave1、slave2之间将完成root用户之间的免密互通

六、同步时间

1、下载时间同步工具（每个节点都要操作）

yum -y install ntp ntpdate

2、同步时间

ntpdate ntp5.aliyun.com

七、创建工作目录

1、每个节点都要创建

mkdir -p /opt/module
mkdir -p /opt/software

八、安装和配置JDK

1、将jdk压缩包上传到Linux中

2、解压jdk

tar -zxvf jdk名称 -C 解压到的路径

3、配置JDK环境变量

vi /etc/profile
#在文件最后添加
export JAVA_HOME=/opt/module/jdk1.8.0_202(这里写自己的jdk路径)
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

4、重新加载环境变量

source /etc/profile

5、执行验证

java -version
javac -version

九、安装配置Hadoop

1.上传Hadoop

2、解压缩安装包

tar -zxvf Hadoop压缩包名称 -C 解压到的路径

3、进入Hadoop安装包内

cd /opt/module/hadoop-3.3.0/etc/hadoop

4、配置hadoop-env.sh文件

vi hadoop-env.sh
#在文件最后添加
Export JAVA_HOME=/opt/module/jdk1.8.0_202
Erport HDFS_NAMENODE_USER=root
Export HDFS_DATANODE_USER=root
Export HDFS_SECONDARYNAMENODE_USER=root
Export YARN_RESOURCEMANAGER_USER=root
Export YARN_NODEMANAGER_USER=root

5、配置core-site.xml文件

vi core-site.xml
# 添加到文件内
<!-- 设置默认使用的文件系统 Hadoop支持file、HDFS、GFS、ali|Amazon云等文件系统 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:8020</value>
</property>

<!-- 设置Hadoop本地保存数据路径 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/export/data/hadoop-3.3.0</value>
</property>

<!-- 设置HDFS web UI用户身份 -->
<property>
    <name>hadoop.http.staticuser.user</name>
    <value>root</value>
</property>

<!-- 整合hive 用户代理设置 -->
<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>

<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>

<!-- 文件系统垃圾桶保存时间 -->
<property>
    <name>fs.trash.interval</name>
    <value>1440</value>
</property>

6、配置hdfs-site.xml文件

vi hdfs-site.xml
# 在文件最后添加
<!-- 设置SNN进程运行机器位置信息 -->
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>slave1:9868</value>
</property>

7、配置mapred-site.xml文件

vi mapred-site.xml
<!-- 设置MR程序默认运行模式： yarn集群模式 local本地模式 -->
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>

<!-- MR程序历史服务地址 -->
<property>
  <name>mapreduce.jobhistory.address</name>
  <value>master:10020</value>
</property>
 
<!-- MR程序历史服务器web端地址 -->
<property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>master:19888</value>
</property>

<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

8、配置yarn-site.xml文件

vi yarn-site.xml
<!-- 设置YARN集群主角色运行机器位置 -->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>master</value>
</property>

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

<!-- 是否将对容器实施物理内存限制 -->
<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>

<!-- 是否将对容器实施虚拟内存限制。 -->
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

<!-- 开启日志聚集 -->
<property>
  <name>yarn.log-aggregation-enable</name>
  <value>true</value>
</property>

<!-- 设置yarn历史服务器地址 -->
<property>
    <name>yarn.log.server.url</name>
    <value>http://master:19888/jobhistory/logs</value>
</property>

<!-- 历史日志保存的时间 7天 -->
<property>
  <name>yarn.log-aggregation.retain-seconds</name>
  <value>604800</value>
</property>

9、配置workers

vi workers
#添加
master 
slave1
slave2

10、向其他节点分发配置完成的程序

#先进入Hadoop的安装路径
cd /opt/module
#向slave1分发配置完成的程序
scp -r Hadoop文件名称 root@slave1:$PWD
scp -r Hadoop文件名称 root@slave2:$PWD

11、为Hadoop添加环境变量

vi /etc/profile
# 在文件最后面添加
export HADOOP_HOME=/opt/module/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
#重新加载环境变量
source /etc/profile
#scp分发给其他节点
scp /etc/profile slave1:/etc/profile
scp /etc/profile slave2:/etc/profile

12、在每个节点输入Hadoop验证配置是否成功

hadoop

十、启动Hadoop集群

1、初始化(不要多次执行，可能会导致数据丢失)

hdfs namenode -format

2、启动集群

# 启动hdfs集群
start-dfs.sh
# 启动yarn集群
start-yarn.sh

3、使用jps查询各个节点进程是否成功

4、web页面

master:8088

master:9870

裔飍
关注
  • 22
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Hadoop搭建笔记（08）
ZXQjinhu的博客
05-19 216
本文是我学习Hadoop搭建过程中的各种笔记，内容来自于各种公开的教程，起点非常低，从Linux基础开始，直至在PC上搭建Hadoop成功，是真正的从零开始。感谢过程中帮助我的各位认识的和不认识的老师。16、Linux连接公网：yum的在线安装在线：首先要把Linux连上外网链接外网的四要素：IP、子网源码、网关、DNS(域名要被DNS解析)yum（全称为Yellow dog Updater,Mo...
Hadoop的搭建与使用
LIyang_Yin的博客
06-28 405
目录1、需求分析（或者应用场景）2、环境说明3、项目运行效果4、项目完成步骤4.1 修改主机名4.2修改/etc/hosts文件，配置主机域名映射4.3 关闭防火墙（三台同时关闭)4.4 安装并配置NTP服务，用于时间同步4.5 配置免密码登录（只需要配置从主节点到从节点即可)4.6 将安装上传到服务器中4.7 安装和配置jdk4.8 安装Hadoop4.9 修改Hadoop的配置文件4.10 将修改好的环境复制到其他的从节点4.11 格式化Hadoop4.12 启动4.13 验证启动情况5、项目使用说明5
【大数据】hadoop运行环境搭建（搭建如此简单）
YG15165的博客
07-07 3274
首先准备好工具。下载好最新的VMware Workstation，CentorOS 7运行Linux，建议Linux桌面标准版，且创建好一个用户模板机一定要按照步骤做好准备，避免遗漏，否则一台一台改超级麻烦。搭建hadoop运行环境！！
Hadoop 3.3.4 搭建（YARN部署 HDFS部署）
2301_79036309的博客
10-23 501
的node1是要在你的电脑上修改hosts文件的，不然是打不开的网站的，详细请看 1.3。MapReduce运行在YARN容器内，无需启动独立进程。node1，node2，node3都需要建快照。SecondaryNameNode：主节点辅助。ResourceManager进程作为管理节点。yarn正确启动后，在浏览器 在url框输入。NodeManager进程作为工作节点。NameNode进程作为管理节点。NameNode：主节点管理者。DataNode：从节点工作者。成功打开网站后，是下面这样的。
VMware搭建Hadoop集群 for Windows（完整详细，实测可用）_vmware安装hadoop教程
最新发布
2401_84184638的博客
04-28 873
在hadoop01虚拟机下执行： vi的insert、save等基本操作参考：https://blog.csdn.net/weixin_41231928修改后如下：同理修改hadoop02和hadoop03的hostname为 hadoop02 和 hadoop03，原因是hadoop02和hadoop03是由hadoop01克隆来的，不修改的话，hostname都是hadoop01，修改后如下：其实就是配置ip和域名的映射关系。 上面的命令编辑hosts，在3个虚拟机都里面添加：在3个虚拟机下新增以下ip
Hadoop——Windows系统下Hadoop单机环境搭建
qq_43760191的博客
07-19 6787
Hadoop环境搭建流程
HDFS完全分布式集群搭建与配置
Aricya的博客
11-09 4161
(1)防火墙设置:为了防止发生一些奇奇怪怪的错误，请务必关闭所有节点的防火墙，他可能会导致浏览器无法获取集群信息和文件上传集群失败环境搭建，还有通过.start-dfs.sh命令启动集群失败的很大一个原因就是服务器防火墙未关闭的原因。(2)hosts文件配置和主机名:因为这是完全分布式的集群，所以配置hosts文件至关重要，不然你的私钥配置和以后节点的格式化都会出错，他将会提示你无法解析主机名.(3)将配置好的HDFS拷贝到其他节点时注意路径问题。
HADOOP集群搭建， HDFS简易配置
m0_56369204的博客
06-25 1612
注意： hdfs://192.168.70.100:9000 ip需修改为你自己的。HADOOP在多计算机集群环境中营造一个统一而稳定的存储和计算环境。IPADDR=192.168.70.100 这里修改为你的ip。GATEWAY=192.168.70.2 这里修改为你的网关。注意：如果想root用户启动，需在配置文件添加如下内容。把bootproto改为static。ip和网关可以在如下地方查看。访问web端也是正常打开。后续依然要source。在最下面加入如下内容。
9个步骤，手把手教你在Windows上安装Hadoop
u013643074的博客
07-14 5960
在Windows上安装Hadoop时经常会出现许多错误，很多用户使用基于Linux的操作系统。本文详细讲述如何在Windows上安装和运行Apache Hadoop，如果遇到了问题，可以参考文章中的步骤进行解决。
2.HDFS介绍、HDFS完全分布式搭建
m0_63953077的博客
03-04 780
HDFS介绍、HDFS完全分布式搭建
hadoop 搭建教程
03-02
通过这个教程，你应该能够成功地在Ubuntu上搭建一个基本的Hadoop MapReduce集群，从而迈入大数据处理的世界。在实际操作中，还需要关注网络配置、安全性以及性能优化等方面，以满足不同的业务需求。
hadoop集群搭建教程
03-07
在虚拟机上面搭建hdfs 集群亲测可用 记得 修改ip地址就行
Hadoop集群搭建详细简明教程
05-16
本教程“Hadoop集群搭建详细简明教程”将带你逐步走进Hadoop的世界，了解并掌握如何构建一个高效稳定的Hadoop集群。 Hadoop是由Apache基金会开发的一个开源项目，其核心包括两个主要组件：Hadoop Distributed File ...
大数据开源框架环境搭建(四)——HDFS完全分布式集群的安装部署
木子一个Lee的博客
02-17 2800
普通用户下大部分命令需要加sudo，root模式下不用。如果怕麻烦，直接在root用户下操作。本框架的分布式集群如下图所示(IP地址不一定跟图中一样)
【Hadoop】Windows下安装Hadoop（手把手包成功安装）
热门推荐
tttzzzqqq2018的博客
07-26 2万+
【实操】Windows下安装Hadoop（手把手包成功安装）
HDFS 高可用的环境搭建
m0_37658639的博客
05-16 2434
在开始Hadoop集群的HDFS高可用环境搭建之前，需要完成搭建工作。
HDFS集群搭建
qq_37436172的博客
05-05 952
在已经启动单机版hdfs的基础上进行 1.准备三台虚拟机（以完成网络配置，主机名配置，主机域名映射,防火墙关闭并关闭重启，ssh免密，安装JDK等等） 2.在node01上安装Hadoop，配置环境变量（修改和配置一些文件，修改时一定小心错一个字母就会失败。） 3.同步配置信息（把在node01上修改的配置文件同步到node02和node03上） 4.在node01上格式化，并启动集群。 5.用jps查看启动情况，并测试上传下载是否能成功。在web端查看
失眠大数据专家，手把手带你玩转大数据，HDFS三种搭建方式
2401_83384536的博客
03-19 936
② 在node01节点执行，将node01的公钥加入到其他节点的白名单中 ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01。① 在node02节点执行，将node01的公钥加入到其他节点的白名单中 ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01。① 所有节点执行 ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa。① 创建目录 hdfs dfs -mkdir -p /user/root。
linux hadoop搭建教程
06-28
要在Linux系统上搭建Hadoop，需要以下步骤: 1. 安装Java：Hadoop需要Java的运行环境，因此需要在Linux系统上安装Java。 2. 下载Hadoop：在官网上下载Hadoop的最新版本，或者使用wget命令下载。 3. 配置Hadoop：...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值