hadoop安装（超详细）

最新推荐文章于 2024-06-19 12:39:51 发布
最新推荐文章于 2024-06-19 12:39:51 发布
阅读量4.2k 收藏 20
点赞数 1
分类专栏： 笔记 文章标签： hadoop hdfs 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45947498/article/details/122548873
版权

本文用到的软件
在这里插入图片描述

设置固定IP

（1）

（2）修改配置文件“/etc/sysconfig/network-scripts/ifcfg-ens33”

#修改：

ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
\#添加以下内容
IPADDR=192.168.128.130(根据自身情况)
NETMASK=255.255.255.0
GATEWAY=192.168.128.2
DNS1=192.168.128.2

重启服务，输入“service network restart”

（3）再次重启服务并查看IP。在这里插入图片描述

克隆节点

把克隆好的节点重新设置IP（修改地方如图）
在这里插入图片描述

修改主机名

最好是在xshell中进行

使用hostnamectl set-hostname +修改后的主机名， 命令修改主机名

或者（ vi /etc/hostname）
在这里插入图片描述

修改好后重启虚拟机（reboot）

重新连接后
在这里插入图片描述

配置IP映射

在这里插入图片描述

在这里插入图片描述

每个节点都要添加后
能够相互ping通

在这里插入图片描述

安装免密

应该是在主节点安装就可以了

 ssh-keygen -t rsa

在这里插入图片描述

生成私有密钥id_rsa和公有密钥id_rsa.pub两个文件。ssh-keygen用来生成RSA类型的密钥以及管理该密钥，参数“-t”用于指定要创建的SSH密钥的类型为RSA。

（2）用ssh-copy-id将公钥复制到远程机器中

ssh-copy-id -i /root/.ssh/id_rsa.pub server001`//依次输入yes,123456（root用户的密码）
ssh-copy-id -i /root/.ssh/id_rsa.pub server002
ssh-copy-id -i /root/.ssh/id_rsa.pub server003

在这里插入图片描述

验证是否设置无密码登录

在这里插入图片描述

配置时间同步服务

（1）安装NTP服务。在各节点：

yum -y install ntp

（2）设置假设master节点为NTP服务主节点，那么其配置如下。

使用命令“vim /etc/ntp.conf”打开/etc/ntp.conf文件，注释掉以server开头的行，并添加:

restrict 192.168.128.2 mask 255.255.255.0 nomodify notrap
server 127.127.1.0
fudge 127.127.1.0 stratum 10

在这里插入图片描述

​
（3）在slave中配置NTP，同样修改/etc/ntp.conf文件，注释掉server开头的行，并添加:

server master

在这里插入图片描述

（4）执行命令“sudo systemctl stop firewalld.service”永久性关闭防火墙，主节点和从节点都要关闭。

（5）启动NTP服务

① 在master节点执行命令“service ntpd start & chkconfig ntpd on”

在这里插入图片描述

② 在slave上执行命令“ntpdate master”即可同步时间

在这里插入图片描述

③ 在slave上分别执行“service ntpd start & chkconfig ntpd on”即可启动并永久启动NTP服务。

在这里插入图片描述

安装jdk（以master为例，主节点和从节点都要配置）

每一个结点都要安装

（1） 上传JDK安装包到虚拟机/opt目录
在这里插入图片描述

在这里插入图片描述

（2） 进入/opt目录，执行命令“rpm -ivh jdk-8u151-linux-x64.rpm”安装JDK

在这里插入图片描述

（3） 在/etc/profile添加

export JAVA_HOME=/usr/java/jdk1.8.0_151
export PATH=$PATH:$JAVA_HOME/bin

在这里插入图片描述

执行source /etc/profile 使配置生效

（4） 验证JDK是否配置成功，执行命令“java -version”
在这里插入图片描述

Hadoop集群配置()

  1. 后面的配置文件都是复制粘贴就好
  2. 通过xmanager的Xftp上传hadoop-2.6.5.tar.gz文件到/opt目录
  3. 解压缩hadoop-2.6.5.tar.gz 文件
  tar -zxf hadoop-2.6.5.tar.gz -C /usr/local

解压后即可，看到/usr/local/hadoop-2.6.5文件夹

  1. 配置Hadoop

进入目录：

cd /usr/local/hadoop-2.6.5/etc/hadoop/

依次修改下面的文件：
4.1 core-site.xml

<configuration>
    <property>
    <name>fs.defaultFS</name>  
      <value>hdfs://master:8020</value>  
      </property>  
    <property>
      <name>hadoop.tmp.dir</name>
      <value>/var/log/hadoop/tmp</value>
    </property>
</configuration

4.2 hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_151

4.3 hdfs-site.xml

<configuration>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///data/hadoop/hdfs/name</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///data/hadoop/hdfs/data</value>
</property>
<property>
     <name>dfs.namenode.secondary.http-address</name>
     <value>master:50090</value>
</property>
<property>
     <name>dfs.replication</name>
     <value>3</value>
</property>
</configuration>

4.4复制cp mapred-site.xml.template mapred-site.xml

mapred-site.xml

<configuration>
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<!-- jobhistory properties -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>master:10020</value>
</property>
<property>
     <name>mapreduce.jobhistory.webapp.address</name>
     <value>master:19888</value>
</property>
</configuration>

4.5 yarn-site.xml

<configuration>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>
  </property>    
  <property>
    <name>yarn.resourcemanager.address</name>
    <value>${yarn.resourcemanager.hostname}:8032</value>
  </property>
  <property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>${yarn.resourcemanager.hostname}:8030</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>${yarn.resourcemanager.hostname}:8088</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.https.address</name>
    <value>${yarn.resourcemanager.hostname}:8090</value>
  </property>
  <property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>${yarn.resourcemanager.hostname}:8031</value>
  </property>
  <property>
    <name>yarn.resourcemanager.admin.address</name>
    <value>${yarn.resourcemanager.hostname}:8033</value>
  </property>
  <property>
    <name>yarn.nodemanager.local-dirs</name>
    <value>/data/hadoop/yarn/local</value>
  </property>
  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
  </property>
  <property>
    <name>yarn.nodemanager.remote-app-log-dir</name>
    <value>/data/tmp/logs</value>
  </property>
<property> 
 <name>yarn.log.server.url</name> 
 <value>http://master:19888/jobhistory/logs/</value>
 <description>URL for job history server</description>
</property>
<property>
   <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
  </property>
 <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
      <value>org.apache.hadoop.mapred.ShuffleHandler</value>
      </property>
<property>  
        <name>yarn.nodemanager.resource.memory-mb</name>  
        <value>2048</value>  
 </property>  
 <property>  
        <name>yarn.scheduler.minimum-allocation-mb</name>  
        <value>512</value>  
 </property>   
 <property>  
        <name>yarn.scheduler.maximum-allocation-mb</name>  
        <value>4096</value>  
 </property> 
 <property> 
    <name>mapreduce.map.memory.mb</name> 
    <value>2048</value> 
 </property> 
 <property> 
    <name>mapreduce.reduce.memory.mb</name> 
    <value>2048</value> 
 </property> 
 <property> 
    <name>yarn.nodemanager.resource.cpu-vcores</name> 
    <value>1</value> 
 </property>
</configuration>

4.6 yarn-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_151

4.7 slaves
删除localhost，（有几个添加几个）添加：
slave1
slave2
slave3

拷贝hadoop安装文件到集群slave节点

scp -r /usr/local/hadoop-2.6.5 slave1:/usr/local
scp -r /usr/local/hadoop-2.6.5 slave2:/usr/local
scp -r /usr/local/hadoop-2.6.5 slave3:/usr/local

5.在/etc/profile添加Hadoop路径

export HADOOP_HOME=/usr/local/hadoop-2.6.5
export PATH=$HADOOP_HOME/bin:$PATH

source /etc/profile使修改生效

  1. 格式化NameNode
    进入目录
cd /usr/local/hadoop-2.6.5/bin

执行格式化

 ./hdfs namenode -format

7.启动集群
进入目录

cd /usr/local/hadoop-2.6.5/sbin

执行启动：

./start-dfs.sh
./start-yarn.sh
./mr-jobhistory-daemon.sh start historyserver

使用jps，查看进程
[root@master sbin]# jps
1765 NameNode
1929 SecondaryNameNode
2378 JobHistoryServer
2412 Jps
2077 ResourceManager

[root@slave1 ~]# jps
1844 Jps
1612 DataNode
1711 NodeManager

在Windows下C:\Windows\System32\drivers\etc\hosts添加IP映射
192.168.128.130 master master.centos.com
192.168.128.131 slave1 slave1.centos.com
192.168.128.132 slave2 slave2.centos.com
192.168.128.133 slave3 slave3.centos.com

  1. 浏览器查看：

http://master:50070
yNameNode
2378 JobHistoryServer
2412 Jps
2077 ResourceManager

[root@slave1 ~]# jps
1844 Jps
1612 DataNode
1711 NodeManager

在Windows下C:\Windows\System32\drivers\etc\hosts添加IP映射

192.168.128.130 master master.centos.com
192.168.128.131 slave1 slave1.centos.com
192.168.128.132 slave2 slave2.centos.com
192.168.128.133 slave3 slave3.centos.com
  1. 浏览器查看：
http://master:50070
http://master:8088

总结：这就是一篇笔记，根据以前学校老师给出的文件自己搭建的集群。后面很多配置文件我也看不懂。

qq_45947498
关注
  • 1
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
centos安装hadoop超级详细
09-20
### CentOS下Hadoop安装超级详细指南 #### 一、前言 随着大数据技术的发展，Hadoop作为处理海量数据的重要框架之一，在企业级应用中扮演着关键角色。本文旨在详细介绍如何在CentOS环境下安装Hadoop，包括必要的准备...
配置时间同步服务
weixin_43621549的博客
01-16 4072
（1）安装NTP服务。在各节点： yum -y install ntp （2）设置假设master节点为NTP服务主节点，那么其配置如下。 使用命令“vim /etc/ntp.conf”打开/etc/ntp.conf文件，注释掉以server开头的行，并添加: restrict 192.168.0.0 mask 255.255.255.0 nomodify notrap server 127.127.1.0 fudge 127.127.1.0 stratum 10 （3）在slave中配置NTP，同样修改/
史上最详细的hadoop安装教程（含坑点）
m0_67391377的博客
08-28 3万+
最近因为需要所以要安装hadoop，但是网上怎么说呢，就是很混乱，各种资料，各种安装方法，总体来说都不是很有效果，经过了3天的挣扎，收集资料，才完成了部署。输入jps看到上述四个即完成启动。...
大数据集群搭建基础：Hadoop完全分布式搭建学习指南！！
最新发布
2303_77433204的博客
06-19 1033
大数据集群搭建基础：Hadoop完全分布式搭建傻瓜式教学！！
Hadoop集群环境配置及安装配置（详细过程包含安装包）
热门推荐
2202_75347029的博客
07-07 3万+
进入到网络配置文件中。快照，是对虚拟机的当前状态进行保存，在虚拟机出现问题无法解决，可以通过返回快照，使虚拟机返回到快照拍摄状态。4.配置jdk软连接 命令：ln -s /export/servers/jdk1.8.0_361 /export/servers/jdk。3.选择克隆对象，一共有两种方式，第一种是直接克隆虚拟机的当前状态，第二种是选取虚拟机的快照，克隆指定快照的虚拟机状态。构建软连接： ln -s /export/servers/jdk/bin/java /usr/bin/java。
一、 配置安装hadoop环境
m0_66115674的博客
06-01 3274
~ 代表的是用户的主文件夹，即 “/home/用户名” 这个目录，如你的用户名为 hadoop，则 ~ 就代表 “/home/hadoop/”进入/opt/hadoop-3.2.2/share/hadoop/mapreduce文件夹运行词频统计命令。则修改/opt/hadoop-3.2.2/etc/hadoop/ hadoop-env.sh。进入/opt/hadoop-3.2.2/etc/hadoop目录，编辑yarn-env.sh。表示执行用户身份错误，修改/etc/profile文件，增加以下配置。
超详细Hadoop安装教程（单机版、伪分布式）
kunkun的博客
04-17 1万+
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。
hadoop超级详细安装文档
06-14
【Hadoop超级详细安装文档】 Hadoop是一款开源的分布式计算框架，由Apache基金会开发，用于处理和存储海量数据。它的核心组件包括HDFS（Hadoop Distributed File System）和MapReduce，能够实现数据的高容错性和高...
hadoop安装（超详细）.docx
01-16
Hadoop 安装详细步骤 Hadoop 是一个开源的大数据处理框架，由 Apache 基金会开发和维护。它提供了一个分布式的文件系统和一个 MapReduce 计算框架，用于处理大规模数据。下面是 Hadoop 安装的详细步骤： 固定 IP ...
centos安装配置hadoop超详细过程.docx
05-19
### CentOS安装配置Hadoop超详细过程 #### 一、Hadoop概述 Hadoop是一个由Apache基金会维护的开源分布式计算平台，其核心组件包括Hadoop分布式文件系统(HDFS)和MapReduce计算框架。HDFS用于存储大规模数据集，而...
hadoop安装教程（一次填完所有的坑）
阿甘兄
06-07 2万+
hadoop安装教程，一次填完所有的坑
Hadoop安装
xiaolong1155的博客
06-09 1042
从0开始构建一套Hadoop大数据平台，实战环境为目前主流服务器操作系统CentOS 7.x系统。Hadoop的安装部署都属于java进程，就是启动了JVM进程，运行服务。
Hadoop平台安装及运行————详细版搭建流程
2301_82049895的博客
04-24 4386
如果已经存在/output 目录，就要先删除/output目录，再执行上述命令。另外，只要运行过 HDFS，Hadoop 的 工作目录（本书设置为/usr/local/src/hadoop/tmp）就会有数据，如果需要重 新格式化，则在格式化之前一定要先删除工作目录下的数据，否则格式化时会 出问题。上述安装完成的 Hadoop 软件只能让 root 用户使用，要让 hadoop 用户能够 运行 Hadoop 软件，需要将目录/usr/local/src 的所有者改为 hadoop 用户。
Hadoop安装教程
dream_xin2013的专栏
07-12 1709
主要介绍了在虚拟环境下如何配置并安装hadoop服务，对于hadoop服务安装时需要修改的几个配置文件示例
Hadoop安装和使用详解
Sharkkkie的博客
05-16 3745
本文希望通过部署Hadoop为主线，对Hadoop的框架组成、各部分协同工作的原理、技术细节形成一个初步的认知和了解。
Linux中的软件安装——Redis
gezq0714的博客
01-02 137
Redis 1.下载安装包 官网下载安装包redis-6.0.9.tar.gz 2.上传安装包 通过xftp将安装包上传至/opt目录下对应的文件夹Redis 3.进行解压操作 tar -zxvf redis-6.0.9.tar.gz 4.安装编译环境 yum install gcc-c++ gcc -v #之后使用`gcc -v`查看版本 make && make install #进行编译安装 5.查看redis redis默认安装路径/usr/local/bin 6.更
Hadoop集群搭建详细步骤(只有JDK和Hadoop)
雷神乐乐的博客
02-12 2892
Hadoop集群搭建详细步骤，跟着尚硅谷做的，直接用root用户也可以
hadoop安装教程完整版【含配置文件】
weixin_63580983的博客
03-07 1248
hadoop
CentOS安装Hadoop详细指南
"超详细CentOS_安装Hadoop" 在本文档中，我们将深入探讨如何在CentOS 6.4操作系统上安装和配置Hadoop，这是一个适用于初学者的指南。Hadoop是一个开源的分布式计算框架，它包括两个核心组件：Hadoop 分布式文件系统...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值