Hadoop完全分布式搭建

最新推荐文章于 2024-06-15 06:34:43 发布
最新推荐文章于 2024-06-15 06:34:43 发布
阅读量169 收藏 1
点赞数 1
文章标签： 大数据 hadoop hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_50835159/article/details/117595062
版权

Hadoop完全分布式搭建教程

分析:
1.配好IP
2.修改主机名
3.配置IP映射
4.关闭防火墙
5.配置SSH免密
6.安装Java
7.集群搭建
软件提取链接:https://pan.baidu.com/s/1oxBcv6xRavVtxmBPzEWHuQ 提取码:1000

1.配置IP

在这里插入图片描述

master主节点上配置IP
[root@localhost ~] # vim /etc/sysconfig/network-scripts/ifcfg-ens33
#修改
ONBOOT=yes
BOOTPROTO=static
#添加,网关以实际网关为主
IPADDR=192.168.15.100
NETMASK=255.255.255.0
GATEWAY=192.168.15.2
DNS1=114.114.114.114
DNS2=192.168.15.2

slave1从节点配置IP
[root@localhost ~] # vim /etc/sysconfig/network-scripts/ifcfg-ens33
#修改
ONBOOT=yes
BOOTPROTO=static
#添加,网关以实际网关为主
IPADDR=192.168.15.102
NETMASK=255.255.255.0
GATEWAY=192.168.15.2
DNS1=114.114.114.114
DNS2=192.168.15.2

slave2从节点配置IP
[root@localhost ~] # vim /etc/sysconfig/network-scripts/ifcfg-ens33
#修改
ONBOOT=yes
BOOTPROTO=static
#添加,网关以实际网关为主
IPADDR=192.168.15.103
NETMASK=255.255.255.0
GATEWAY=192.168.15.2
DNS1=114.114.114.114
DNS2=192.168.15.2

2.修改主机名

master主节点修改主机名
[root@localhost ~] # vim /etc/sysconfig/network
#删除原有内容，添加如下字段
HOSTNAME=master
[root@master ~] #hostname master
[root@master ~] #exit

slave1从节点修改主机名
[root@localhost ~] # vim /etc/sysconfig/network
#删除原有内容，添加如下字段
HOSTNAME=slave1
[root@master ~] #hostname slave1
[root@master ~] #exit

slave2从节点修改主机名
[root@localhost ~] # vim /etc/sysconfig/network
#删除原有内容，添加如下字段
HOSTNAME=slave2
[root@master ~] #hostname slave2
[root@master ~] #exit

3.配置IP映射

[root@master ~] #vim /etc/hosts
#添加
192.168.15.100 master
192.168.15.102 slave1
192.168.15.103 slave2

[root@slave1 ~] #vim /etc/hosts
#添加
192.168.15.100 master
192.168.15.102 slave1
192.168.15.103 slave2

[root@slave2 ~] #vim /etc/hosts
#添加
192.168.15.100 master
192.168.15.102 slave1
192.168.15.103 slave2

4.关闭防火墙

[root@master ~] #systemctl stop firewalld.service
[root@master ~] #systemctl disable firewalld.service

[root@slave1 ~] #systemctl stop firewalld.service
[root@slave1 ~] #systemctl disable firewalld.service

[root@slave2 ~] #systemctl stop firewalld.service
[root@slave2 ~] #systemctl disable firewalld.service

5.SSH免密

[root@master ~]#cd .ssh
如果显示没有就执行 mkdir .ssh再执行cd .ssh
[root@master .ssh] #ssh-keygen -t rsa
三下回车
[root@master .ssh] #ssh-copy-id master
输入yes，然后输入密码就完成了免密登入
[root@master .ssh] #ssh-copy-id slave1
输入yes，然后输入密码就完成了免密登入
[root@master .ssh] #ssh-copy-id slave2
输入yes，然后输入密码就完成了免密登入

[root@slave1~]#cd .ssh
如果显示没有就执行 mkdir .ssh再执行cd .ssh
[root@slave1 .ssh] #ssh-keygen -t rsa
三下回车
[root@slave1 .ssh] #ssh-copy-id master
输入yes，然后输入密码就完成了免密登入
[root@slave1 .ssh] #ssh-copy-id slave1
输入yes，然后输入密码就完成了免密登入
[root@slave1 .ssh] #ssh-copy-id slave2
输入yes，然后输入密码就完成了免密登入

[root@slave2~]#cd .ssh
如果显示没有就执行 mkdir .ssh再执行cd .ssh
[root@slave2 .ssh] #ssh-keygen -t rsa
三下回车
[root@slave2 .ssh] #ssh-copy-id master
输入yes，然后输入密码就完成了免密登入
[root@slave2 .ssh] #ssh-copy-id slave1
输入yes，然后输入密码就完成了免密登入
[root@slave2 .ssh] #ssh-copy-id slave2
输入yes，然后输入密码就完成了免密登入

6.Java安装

https://blog.csdn.net/qq_50835159/article/details/117632199?spm=1001.2014.3001.5501

7.集群搭建（需提前装好Java）

Hadoop集群架构图
在这里插入图片描述

（Hadoop软件安装包统一发/opt/software）
[root@master software]#tar -zxvf hadoop-2.7.2.tar.gz -C /usr/local/
[root@master software]#cd /usr/local/hadoop-2.7.2
[root@master hadoop-2.7.2]#cd etc/hadoop

配置全局变量
[root@master hadoop]#vim /etc/profile
#将hadoop载入全局变量
export HADOOP_HOME=/usr/local/hadoop-2.7.2
export PATH=$HADOOP_HOME/bin:$PATH
export PATH=$HADOOP_HOME/sbin:$PATH
[root@master hadoop]#source /etc/profile

配置hadoop-env.sh
[root@master hadoop]#vim hadoop-env.sh
# 修改JAVA_HOME,引入JAVA变量 
export JAVA_HOME=/usr/local/jdk1.8.0_144

配置core-site.xml
[root@master hadoop]#vim core-site.xml
<!-- 指定HDFS中NameNode的地址 -->
<property>
		<name>fs.defaultFS</name>
      	<value>hdfs://master:9000</value>
</property>

<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
		<name>hadoop.tmp.dir</name>
		<value>/usr/local/hadoop-2.7.2/data/tmp</value>
</property>

配置hdfs-site.xml
[root@master hadoop]#vim hdfs-site.xml
<!-- 指定副本为3 -->
<property>
		<name>dfs.replication</name>
		<value>3</value>
</property>

<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>slave2:50090</value>
</property>

<!-- 配置namenode元数据存储目录 -->
<property>
    	<name>dfs.namenode.name.dir</name>
   		<value>/usr/local/hadoop-2.7.2/data/tmp/dfs/name</value>
</property>


<!-- 配置datanode元数据存储目录 -->
<property>
		<name>dfs.datanode.data.dir</name>
		<value>/usr/local/hadoop-2.7.2/data/tmp/dfs/data</value>
</property>

配置yarn-env.sh
[root@master hadoop]#vim yarn-env.sh
#修改JAVA_HOME,引入JAVA变量
export JAVA_HOME=/usr/local/jdk1.8.0_144

配置yarn-site.xml
[root@master hadoop]#vim yarn-site.xml
<!-- Reducer获取数据的方式 -->
<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>slave1</value>
</property>

配置mapred-env.sh
[root@master hadoop]#vim mapred-env.sh
#修改JAVA_HOME,引入JAVA变量
export JAVA_HOME=/usr/local/jdk1.8.0_144

配置mapred-site.xml
[root@master hadoop]#cp mapred-site.xml.template mapred-site.xml
[root@master hadoop]#vim mapred-site.xml
<!-- 指定MR运行在Yarn上 -->
<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
</property>

配置slaves,不能出现多余空行或者空格否则将会出错。
[root@master hadoop]#vim slaves
master
slave1
slave2

分发Hadoop
[root@master hadoop]#cd /usr/local
[root@master local]#scp -r /usr/local/hadoop-2.7.2 root@slave1:/usr/local/
[root@master local]#scp -r /usr/local/hadoop-2.7.2 root@slave2:/usr/local/

配置slave1节点hadoop全局环境变量
[root@slave1 ~]#vim /etc/profile
#将hadoop载入全局变量
export HADOOP_HOME=/usr/local/hadoop-2.7.2
export PATH=$HADOOP_HOME/bin:$PATH
export PATH=$HADOOP_HOME/sbin:$PATH
[root@slave1 ~]#source /etc/profile

配置slave2节点hadoop全局环境变量
[root@slave2 ~]#vim /etc/profile
#将hadoop载入全局变量
export HADOOP_HOME=/usr/local/hadoop-2.7.2
export PATH=$HADOOP_HOME/bin:$PATH
export PATH=$HADOOP_HOME/sbin:$PATH
[root@slave2 ~]#source /etc/profile

Master节点:格式化Hadoop
[root@master local]#cd hadoop-2.7.2
[root@master hadoop-2.7.2]#hadoop namenode -format

启动Hadoop-dfs、Hadoop-yarn
[root@master hadoop-2.7.2]#start-all.sh

启动resourcemanager
[root@slave1 ~]#cd /usr/local/hadoop-2.7.2
[root@slave1 hadoop-2.7.2]#yarn-daemon.sh start resourcemanager

查看集群
[root@master ~]#jps
4166 NameNode
4482 Jps
4263 DataNode
4524 NodeManager

[root@slave1 ~]#jps
4389 ResourceManager
3218 DataNode
3288 Jps
3564 NodeManager

[root@slave2 ~]#jps
3221 DataNode
3283 SecondaryNameNode
3514 NodeManager
3364 Jps

关闭hadoop
[root@master ~]#stop-all.sh
[root@master ~]#jps
3288 Jps

[root@slave1 ~]#jps
3364 Jps

[root@slave2 ~]#jps
3543 Jps

hadoop shell命令(常用)
-help：输出这个命令参数
[root@master hadoop-2.7.2]#hadoop fs -help rm

-mkdir：在HDFS上创建目录 -p多级目录
[root@master hadoop-2.7.2]#hadoop fs -mkdir -p /data/Localhost

-put:从本地文件系统中拷贝文件到HDFS路径去
[root@master hadoop-2.7.2]#hadoop fs -put ./test.txt /data/Localhost

-tail：显示一个文件的末尾
[root@master hadoop-2.7.2]#hadoop fs -put ./test.txt /data/Localhost/test.txt

-rm：删除文件或文件夹
[root@master hadoop-2.7.2]#hadoop fs -rm /data/test.txt

-get：从HDFS拷贝到本地
[root@master hadoop-2.7.2]#hadoop fs -get /data/kongming.txt ./

-cp ：从HDFS的一个路径拷贝到HDFS的另一个路径
[root@master hadoop-2.7.2]#hadoop fs -cp /data/kongming.txt /zhuge.txt

-cat：显示文件内容
[root@master hadoop-2.7.2]#hadoop fs -cat  /test.txt

-mv：在HDFS目录中移动文件
[root@master hadoop-2.7.2]#hadoop fs -mv /zhuge.txt /data

-rmdir：删除空目录
[root@master hadoop-2.7.2]#hadoop fs -rmdir /none
明天要开心
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ansible + kubeasz 二进制部署K8S高可用集群方案
Yosigo_的博客
08-13 780
代码】ansible + kubeasz 二进制部署K8S高可用集群方案。
hadoop 完全分布式搭建
08-07
hadoop 完全分布式搭建详细步骤
Navicat无法连接Mycat的解决方法
weixin_65870997的博客
04-15 3676
报错提示Can't connect to MySQL server on "192.168.15.103' (10060 "Unknown error")，如图所示 检查过程： 1. 先去黑窗口ping了网络是否通顺。正常 2. 检查两个配置文件是否书写正确，是否拉入linux配置。正常 3. 检查了linux防火墙是否没关。正常 #第一个本次关闭防火墙，第二个永久关闭防火墙，效果图找不到了，所以不展示了 systemctl stop firewalld systemctl...
AIweb1靶场总结
胖虎的博客
11-03 459
aiweb1靶场总结
telnet: connect to address 192.168.1.103: Connection refused
heifeizhou12166的专栏
10-03 2万+
解决问题： ssh 192.168.1.103 # netstat -tnl |grep 23 rpm -qa telnet-server # vi /etc/xinetd.d/telnet 把disable         = yes 修改为： disable         = no # service xinetd restart# netstat -tnl |g
mysql主主模式配置
村长在路上
09-05 503
mysql主主复制
Hadoop 完全分布式搭建（超详细）
热门推荐
JIE的博客 --- moon_coder
10-24 3万+
到此为止，我们的 Hadoop 完全分布式就已经搭建完成啦！
Hadoop完全分布式搭建（超详细，傻瓜式安装）
2301_77578187的博客
01-16 1110
Hadoop完全分布式安装配置。
hadoop完全分布式搭建与集群测试
weixin_51659640的博客
07-03 3247
hadoop是本文章主演介绍hadoop完全分布式搭建过程。Hadoop是一个由Apache基金会所开发的分布式系统基础架构，是完全开源的，是由java语言编写的。
Hadoop完全分布式搭建教程（完整版）
小赵同学€的博客
03-19 4765
Hadoop完全分布式搭建流程（完整版）适合初学者参考！！！ 基于Linux的大数据Hadoop集群搭建！
hadoop完全分布式搭建.pdf
10-22
关于hadoop搭建的问题文件
hadoop完全分布式环境搭建.docx
02-17
hadoop、分布式环境、完全分布式、大数据、搭建
hadoop完全分布式集群搭建
09-24
hadoop完全分布式集群搭建
hadoop完全分布式搭建.docx
09-09
完成详细的阐述了hadoop在centOs7中的搭建过程。
java技术专家面试指南80问【java学习+面试宝典】（六）
fengbeely的博客
06-15 811
CPU缓存从内存读数据时，是按缓存行读取的，即使只用到一个变量，也要将整行数据进行读取，这行数据量可能包含其他变量。当多个线程同时修改同一个缓存行里的不同变量时，由于同时只能有一个线程在操作，所以相比将每个变量放到不同缓存行里，性能会有所下降。多个线程同时修改了同一个缓存行上的不同变量，由于不能并发修改，所以称为“伪共享”。孤儿卷是未与任何容器关联的卷。在 Docker v。1.9 之前的版本中，删除这些孤儿卷存在很大问题。
java技术专家面试指南80问【java学习+面试宝典】（七）
最新发布
fengbeely的博客
06-15 1074
索引是一种数据结构,可以帮助我们快速的进行数据的查找。在Java中，可以将一个类的定义放在另外一个类的定义内部，这就是 内部类。内部类本身就是类的一个属性，与其他属性定义方式一致。1）计算机体系结构是指那些能够被程序员看到的计算机的属性。如指令集、数据类型等；2）计算机组成是指如何实现计算机体系结构所体现出来的属性；3）以乘法指令为例，计算机是否有乘法指令，属于体系结构的问题。乘法指令是采用专用的乘法器，还是使用加法器和移位器构成，属于计算机组成的问题。1.mycat的全局id方案。
人工智能（AI）的基础核心技术
qqk808的博客
06-12 399
人工智能（AI）的基础核心技术
某文旅集团定岗定编项目成功案例纪实
weixin_47375858的博客
06-13 1063
但是与此同时，目前的整体人数较多，存在冗员现象，并且原先由村民转化而来的员工，文化素质相对比较低，和目前业务发展不匹配，存在明显的忙闲不均、工作效率不高等问题。项目组建议优化配套的考核激励机制，集团可以鼓励员工承担多岗位职责，并针对工作量的不同给予相应的激励，有助于激发员工的工作热情，也能够提高员工在工作中的投入和责任感。针对该集团现有人员能力素质相对低，无法适应转型发展的问题，建议加强培训，增加人员一专多能的能力和专业能力，从而承担更多职责，提高工作饱和度。
hadoop完全分布式搭建
05-28
好的，下面是 Hadoop 完全分布式搭建的步骤： 1. 安装 Java Hadoop 运行需要 Java 环境，可以安装 Oracle JDK 或 OpenJDK。 2. 下载 Hadoop 从官网下载 Hadoop 最新版本的二进制压缩包，解压到指定目录。 3. ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值