hadoop安装（超详细）

最新推荐文章于 2024-05-03 15:04:48 发布
最新推荐文章于 2024-05-03 15:04:48 发布
阅读量4.1k 收藏 20
点赞数 1
分类专栏： 笔记 文章标签： hadoop hdfs 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45947498/article/details/122548873
版权

本文用到的软件
在这里插入图片描述

设置固定IP

（1）

（2）修改配置文件“/etc/sysconfig/network-scripts/ifcfg-ens33”

#修改：

ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
\#添加以下内容
IPADDR=192.168.128.130(根据自身情况)
NETMASK=255.255.255.0
GATEWAY=192.168.128.2
DNS1=192.168.128.2

重启服务，输入“service network restart”

（3）再次重启服务并查看IP。在这里插入图片描述

克隆节点

把克隆好的节点重新设置IP（修改地方如图）
在这里插入图片描述

修改主机名

最好是在xshell中进行

使用hostnamectl set-hostname +修改后的主机名， 命令修改主机名

或者（ vi /etc/hostname）
在这里插入图片描述

修改好后重启虚拟机（reboot）

重新连接后
在这里插入图片描述

配置IP映射

在这里插入图片描述

在这里插入图片描述

每个节点都要添加后
能够相互ping通

在这里插入图片描述

安装免密

应该是在主节点安装就可以了

 ssh-keygen -t rsa

在这里插入图片描述

生成私有密钥id_rsa和公有密钥id_rsa.pub两个文件。ssh-keygen用来生成RSA类型的密钥以及管理该密钥，参数“-t”用于指定要创建的SSH密钥的类型为RSA。

（2）用ssh-copy-id将公钥复制到远程机器中

ssh-copy-id -i /root/.ssh/id_rsa.pub server001`//依次输入yes,123456（root用户的密码）
ssh-copy-id -i /root/.ssh/id_rsa.pub server002
ssh-copy-id -i /root/.ssh/id_rsa.pub server003

在这里插入图片描述

验证是否设置无密码登录

在这里插入图片描述

配置时间同步服务

（1）安装NTP服务。在各节点：

yum -y install ntp

（2）设置假设master节点为NTP服务主节点，那么其配置如下。

使用命令“vim /etc/ntp.conf”打开/etc/ntp.conf文件，注释掉以server开头的行，并添加:

restrict 192.168.128.2 mask 255.255.255.0 nomodify notrap
server 127.127.1.0
fudge 127.127.1.0 stratum 10

在这里插入图片描述

​
（3）在slave中配置NTP，同样修改/etc/ntp.conf文件，注释掉server开头的行，并添加:

server master

在这里插入图片描述

（4）执行命令“sudo systemctl stop firewalld.service”永久性关闭防火墙，主节点和从节点都要关闭。

（5）启动NTP服务

① 在master节点执行命令“service ntpd start & chkconfig ntpd on”

在这里插入图片描述

② 在slave上执行命令“ntpdate master”即可同步时间

在这里插入图片描述

③ 在slave上分别执行“service ntpd start & chkconfig ntpd on”即可启动并永久启动NTP服务。

在这里插入图片描述

安装jdk（以master为例，主节点和从节点都要配置）

每一个结点都要安装

（1） 上传JDK安装包到虚拟机/opt目录
在这里插入图片描述

在这里插入图片描述

（2） 进入/opt目录，执行命令“rpm -ivh jdk-8u151-linux-x64.rpm”安装JDK

在这里插入图片描述

（3） 在/etc/profile添加

export JAVA_HOME=/usr/java/jdk1.8.0_151
export PATH=$PATH:$JAVA_HOME/bin

在这里插入图片描述

执行source /etc/profile 使配置生效

（4） 验证JDK是否配置成功，执行命令“java -version”
在这里插入图片描述

Hadoop集群配置()

  1. 后面的配置文件都是复制粘贴就好
  2. 通过xmanager的Xftp上传hadoop-2.6.5.tar.gz文件到/opt目录
  3. 解压缩hadoop-2.6.5.tar.gz 文件
  tar -zxf hadoop-2.6.5.tar.gz -C /usr/local

解压后即可，看到/usr/local/hadoop-2.6.5文件夹

  1. 配置Hadoop

进入目录：

cd /usr/local/hadoop-2.6.5/etc/hadoop/

依次修改下面的文件：
4.1 core-site.xml

<configuration>
    <property>
    <name>fs.defaultFS</name>  
      <value>hdfs://master:8020</value>  
      </property>  
    <property>
      <name>hadoop.tmp.dir</name>
      <value>/var/log/hadoop/tmp</value>
    </property>
</configuration

4.2 hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_151

4.3 hdfs-site.xml

<configuration>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///data/hadoop/hdfs/name</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///data/hadoop/hdfs/data</value>
</property>
<property>
     <name>dfs.namenode.secondary.http-address</name>
     <value>master:50090</value>
</property>
<property>
     <name>dfs.replication</name>
     <value>3</value>
</property>
</configuration>

4.4复制cp mapred-site.xml.template mapred-site.xml

mapred-site.xml

<configuration>
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<!-- jobhistory properties -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>master:10020</value>
</property>
<property>
     <name>mapreduce.jobhistory.webapp.address</name>
     <value>master:19888</value>
</property>
</configuration>

4.5 yarn-site.xml

<configuration>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>
  </property>    
  <property>
    <name>yarn.resourcemanager.address</name>
    <value>${yarn.resourcemanager.hostname}:8032</value>
  </property>
  <property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>${yarn.resourcemanager.hostname}:8030</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>${yarn.resourcemanager.hostname}:8088</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.https.address</name>
    <value>${yarn.resourcemanager.hostname}:8090</value>
  </property>
  <property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>${yarn.resourcemanager.hostname}:8031</value>
  </property>
  <property>
    <name>yarn.resourcemanager.admin.address</name>
    <value>${yarn.resourcemanager.hostname}:8033</value>
  </property>
  <property>
    <name>yarn.nodemanager.local-dirs</name>
    <value>/data/hadoop/yarn/local</value>
  </property>
  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
  </property>
  <property>
    <name>yarn.nodemanager.remote-app-log-dir</name>
    <value>/data/tmp/logs</value>
  </property>
<property> 
 <name>yarn.log.server.url</name> 
 <value>http://master:19888/jobhistory/logs/</value>
 <description>URL for job history server</description>
</property>
<property>
   <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
  </property>
 <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
      <value>org.apache.hadoop.mapred.ShuffleHandler</value>
      </property>
<property>  
        <name>yarn.nodemanager.resource.memory-mb</name>  
        <value>2048</value>  
 </property>  
 <property>  
        <name>yarn.scheduler.minimum-allocation-mb</name>  
        <value>512</value>  
 </property>   
 <property>  
        <name>yarn.scheduler.maximum-allocation-mb</name>  
        <value>4096</value>  
 </property> 
 <property> 
    <name>mapreduce.map.memory.mb</name> 
    <value>2048</value> 
 </property> 
 <property> 
    <name>mapreduce.reduce.memory.mb</name> 
    <value>2048</value> 
 </property> 
 <property> 
    <name>yarn.nodemanager.resource.cpu-vcores</name> 
    <value>1</value> 
 </property>
</configuration>

4.6 yarn-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_151

4.7 slaves
删除localhost，（有几个添加几个）添加：
slave1
slave2
slave3

拷贝hadoop安装文件到集群slave节点

scp -r /usr/local/hadoop-2.6.5 slave1:/usr/local
scp -r /usr/local/hadoop-2.6.5 slave2:/usr/local
scp -r /usr/local/hadoop-2.6.5 slave3:/usr/local

5.在/etc/profile添加Hadoop路径

export HADOOP_HOME=/usr/local/hadoop-2.6.5
export PATH=$HADOOP_HOME/bin:$PATH

source /etc/profile使修改生效

  1. 格式化NameNode
    进入目录
cd /usr/local/hadoop-2.6.5/bin

执行格式化

 ./hdfs namenode -format

7.启动集群
进入目录

cd /usr/local/hadoop-2.6.5/sbin

执行启动：

./start-dfs.sh
./start-yarn.sh
./mr-jobhistory-daemon.sh start historyserver

使用jps，查看进程
[root@master sbin]# jps
1765 NameNode
1929 SecondaryNameNode
2378 JobHistoryServer
2412 Jps
2077 ResourceManager

[root@slave1 ~]# jps
1844 Jps
1612 DataNode
1711 NodeManager

在Windows下C:\Windows\System32\drivers\etc\hosts添加IP映射
192.168.128.130 master master.centos.com
192.168.128.131 slave1 slave1.centos.com
192.168.128.132 slave2 slave2.centos.com
192.168.128.133 slave3 slave3.centos.com

  1. 浏览器查看：

http://master:50070
yNameNode
2378 JobHistoryServer
2412 Jps
2077 ResourceManager

[root@slave1 ~]# jps
1844 Jps
1612 DataNode
1711 NodeManager

在Windows下C:\Windows\System32\drivers\etc\hosts添加IP映射

192.168.128.130 master master.centos.com
192.168.128.131 slave1 slave1.centos.com
192.168.128.132 slave2 slave2.centos.com
192.168.128.133 slave3 slave3.centos.com
  1. 浏览器查看：
http://master:50070
http://master:8088

总结：这就是一篇笔记，根据以前学校老师给出的文件自己搭建的集群。后面很多配置文件我也看不懂。

qq_45947498
关注
  • 1
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
hadoop安装（超详细）.docx
01-16
这是在学校安装分布式hadoop集群总结的安装步骤
配置时间同步服务
weixin_43621549的博客
01-16 4066
（1）安装NTP服务。在各节点： yum -y install ntp （2）设置假设master节点为NTP服务主节点，那么其配置如下。 使用命令“vim /etc/ntp.conf”打开/etc/ntp.conf文件，注释掉以server开头的行，并添加: restrict 192.168.0.0 mask 255.255.255.0 nomodify notrap server 127.127.1.0 fudge 127.127.1.0 stratum 10 （3）在slave中配置NTP，同样修改/
Hadoop平台安装及运行————详细版搭建流程
2301_82049895的博客
04-24 3365
如果已经存在/output 目录，就要先删除/output目录，再执行上述命令。另外，只要运行过 HDFS，Hadoop 的 工作目录（本书设置为/usr/local/src/hadoop/tmp）就会有数据，如果需要重 新格式化，则在格式化之前一定要先删除工作目录下的数据，否则格式化时会 出问题。上述安装完成的 Hadoop 软件只能让 root 用户使用，要让 hadoop 用户能够 运行 Hadoop 软件，需要将目录/usr/local/src 的所有者改为 hadoop 用户。
hadoop安装教程（一次填完所有的坑）
热门推荐
阿甘兄
06-07 2万+
hadoop安装教程，一次填完所有的坑
Hadoop安装和使用详解
Sharkkkie的博客
05-16 3722
本文希望通过部署Hadoop为主线，对Hadoop的框架组成、各部分协同工作的原理、技术细节形成一个初步的认知和了解。
Hadoop入门(七)——Hadoop安装（图文详解步骤2021）
a18850765326的博客
12-02 697
...
如何在虚拟机部署项目
最新发布
2302_79100751的博客
05-03 1606
1、安装虚拟机2、配置jdk3、安装tomcat4、安装mysql5、部署项目。
centos安装hadoop超级详细
09-20
在centos环境下安装hadoop。有详细的过程，代码分析。还有详细的操作逻辑。
hadoop超级详细安装文档
06-14
【Hadoop超级详细安装文档】 Hadoop是一款开源的分布式计算框架，由Apache基金会开发，用于处理和存储海量数据。它的核心组件包括HDFS（Hadoop Distributed File System）和MapReduce，能够实现数据的高容错性和高...
centos安装配置hadoop超详细过程.docx
05-19
centos安装配置hadoop超详细过程.docx
hadoop-3.1.4.tar.gz
09-04
官网下载较慢，可以在我这下载， 没有积分的用户可以邮箱私聊我， e-mail：13936553907@163.com
hadoop-3.1.4.tar.zip
09-23
hadoop-3.1.4.tar.zip
安装linux虚拟机（Hyper-v），从物理机传文件到虚拟机
kravli的博客
12-11 8415
本文章有两个主题 1、通过Hyper-v安装linux虚拟机 2、使用Xftp传文件到虚拟机
Hadoop分布式安装部署
wenhaoran的博客
03-06 314
文章目录一、安装Hadoop前的准备1、安装JDK配置环境变量2、时间同步3、查看IP映射4、关闭防火墙firewalld和selinux5、免密钥登录二、Hadoop的安装1.上传Hadoop安装包2.解压安装包3、配置Hadoop环境变量4.验证三、修改Hadoop文件配置1.输入下面命令，进入其目录2.修改hadoop-env.sh文件3.修改core-site.xml 文件4.修改hdfs-site.xml文件5.修改mapred-site.xml文件6.修改yarn-site.xml文件7.修改w
centos7下安装Hadoop3.1.4
白不懂黑的静的专栏
05-02 482
一、环境准备 win10系统下安装好vmware15pro vmware 里面安装好centos7 准备好hadoop3.1.4安装包 hadoop-3.1.4.tar.gz 提前建立好安装目录/opt/module 二、hadoop解压安装 进入到放置hadoop安装包目录module,然后解压 tar -zxvf hadoop-3.1.4.tar.gz -C /opt/module/ 解压后如下所示： 配置环境变量 sudo vim /etc/profile.d/my_env
Hadoop3.1.4完全分布式集群搭建
Allwordhuier的博客
04-02 2682
在Centos7中直接使用root用户执行hostnamectl命令修改，重启（reboot）后永久生效。要求：三台主机的名字分别为：master slave1 slave2。
任务一：Hadoop 完全分布式安装配置
ccbbaaap的博客
06-01 312
​ 在伪分布模式的基础上，前面已经将创建好用户、安装ssh服务、安装配置Java环境等，作为Master节点，配置好后需要在各个节点上执行如下命令，测试是否相互ping得通，如果pig不通，后面就无法顺利配置成功。检验免密码是否配置成功（成功后是不用输密码即可登录，同时执行 exit 即可返回到原来的终端）Ps: 在三台虚拟机上的 /etc/profile 文件都需要配置ok。两台虚拟机作为slave节点（分别是Slave1、Slave2）以上在所有节点上都需要完成网络配置。
【chrony】--时间同步服务器详解
jsj18700625723的博客
03-29 5727
Chrony是一个开源的自由软件，它能保持系统时钟与时钟服务器（NTP）同步，让时间保持精确。chronyd和chronyc。chronyd是一个后台运行的守护进程，用于调整内核中运行的系统时钟和时钟服务器同步。它确定计算机增减时间的比率，并对此进行补偿chronyc提供了一个用户界面，用于监控性能并进行多样化的配置。它可以在chronyd实例控制的计算机上工作，也可以在一台不同的远程计算机上工作启动服务后进入chrony的配置文件（/etc/chrony.conf）
centos安装配置hadoop超详细过程
08-09
CentOS安装配置Hadoop的详细过程如下： 1. 安装CentOS操作系统，确保系统处于最新版本。 2. 在终端中使用以下命令安装Java运行环境： ``` sudo yum install java-1.8.0-openjdk-devel ``` 3. 配置Java环境变量。编辑/etc/profile文件并添加以下行： ``` export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk export PATH=$PATH:$JAVA_HOME/bin ``` 4. 将profile更改应用到系统中： ``` source /etc/profile ``` 5. 下载Hadoop软件包，并解压到指定目录。你可以从Hadoop官方网站下载最新的稳定版。 ``` wget https://downloads.apache.org/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz tar -xzvf hadoop-3.3.0.tar.gz sudo mv hadoop-3.3.0 /usr/local/hadoop ``` 6. 配置Hadoop环境变量。编辑/etc/profile文件并添加以下行： ``` export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 7. 将profile更改应用到系统中： ``` source /etc/profile ``` 8. 配置Hadoop的核心文件。 - 编辑Hadoop配置文件core-site.xml： ``` sudo vi /usr/local/hadoop/etc/hadoop/core-site.xml ``` 在<configuration>标签之间添加以下内容： ``` <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> ``` - 编辑Hadoop配置文件hdfs-site.xml： ``` sudo vi /usr/local/hadoop/etc/hadoop/hdfs-site.xml ``` 在<configuration>标签之间添加以下内容： ``` <property> <name>dfs.replication</name> <value>1</value> </property> ``` 9. 设置Hadoop的主节点和从节点。 - 编辑Hadoop配置文件workers： ``` sudo vi /usr/local/hadoop/etc/hadoop/workers ``` 在文件中添加从节点的IP地址或主机名。 - 编辑Hadoop配置文件masters： ``` sudo vi /usr/local/hadoop/etc/hadoop/masters ``` 在文件中添加主节点的IP地址或主机名。 10. 格式化Hadoop的分布式文件系统（HDFS）： ``` hdfs namenode -format ``` 11. 启动Hadoop集群： ``` start-dfs.sh ``` 12. 验证Hadoop是否正常工作。打开网页访问http://localhost:9870，应该能看到Hadoop集群的状态。 以上就是在CentOS上安装配置Hadoop的超详细过程，希望能对你有所帮助！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值