Hadoop的安装、配置、初步使用！（附加集群）

最新推荐文章于 2024-09-11 06:00:00 发布
最新推荐文章于 2024-09-11 06:00:00 发布
阅读量291 收藏
点赞数
文章标签： 大数据 hadoop java linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/helltaker/article/details/108404894
版权

Hadoop的安装、配置、初步使用


这几天在学习给虚拟机装上hadoop，因为这个过程今后可能将会反复使用，所以开一篇博客专门记录一下整个流程，并汇总其中各种可能会发生的小问题，以及我们应该如何规避。

准备阶段

一台虚拟机，装有配置好的 jdk 和 mysql，如果对这两个软件安装和配置还有疑问，可以查看我的博客或者在csdn里搜索名为子清的博主的博客

所需材料：

  • hadoop-2.6.0-cdh5.14.2.tar.gz
  • hadoop-native-64-2.6.0.tar

如果有需要的小伙伴可以在底下留言！

解压

先解压hadoop-2.6.0-cdh5.14.2.tar.gz到/opt目录下
然后改名mv hadoop-2.6.0-cdh5.14.2/ hadoop，方便以后使用

本机配置

  • 修改本机名vi /etc/hostname，把里面的localhost修改成新的本机名
  • 修改vi /etc/hosts文件，添加本机IP地址 本机名
  • 生成秘钥ssh-keygen
  • 伪分布式复制到自己cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

配置

进入/opt/hadoop/etc/hadoop目录，我们要在这个目录下配置许多文件

第一步

进入hadoop-env.sh文件

vi hadoop-env.sh

找到# The java implementation to use.这一行，添加如下内容

# The java implementation to use.
export JAVA_HOME=/opt/jdk1.8.0_221    <---个人的jdk路径

:x保存退出（以下修改配置文件的操作均视为有这一步骤，除非有特殊说明）

第二步

进入core-site.xml文件

vi core-site.xml

在<configuration> </configuration>中添加如下内容：

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://192.168.23.52:9000</value>    <---本机IP地址
</property>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/opt/hadoop/tmp</value>    <---hadoop文件路径
</property>
<property>
  <name>hadoop.proxyuser.root.hosts</name>
  <value>*</value>
</property>
<property>
  <name>hadoop.proxyuser.root.groups</name>
  <value>*</value>
</property>

第三步

进入hdfs-site.xml文件

vi hdfs-site.xml

在<configuration> </configuration>中添加如下内容：

<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>
<property>
  <name>dfs.namenode.secondary.http-address</name>
  <value>192.168.23.52:50090</value>    <---本机IP地址
</property>

第四步

重新命名mv mapred-site.xml.template mapred-site.xml
进入mapred-site.xml文件

vi mapred-site.xml

在<configuration> </configuration>中添加如下内容：

<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>
<property>
  <name>mapreduce.jobhistory.address</name>
  <value>192.168.23.52:10020</value>    <---本机IP地址
</property>
<property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>192.168.23.52:19888</value>    <---本机IP地址
</property>

第五步

进入yarn-site.xml文件

vi yarn-site.xml

在<configuration> </configuration>中添加如下内容：

<!-- reducer获取数据方式 -->
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
<property>
  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
  <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
  <name>yarn.resourcemanager.hostname</name>
  <value>hadoop02</value>    <----主机名
</property>
<!-- 日志聚集功能使用 -->
<property>
  <name>yarn.log-aggregation-enable</name>
  <value>true</value>
</property>
<!-- 日志保留时间设置7天 -->
<property>
  <name>yarn.log-aggregation.retain-seconds</name>
  <value>604800</value>
</property>

第六步

vi ./slaves

把原本的localhost修改成现在的主机名

环境变量配置

vi /etc/profile

添加如下内容：

export HADOOP_HOME=/opt/hadoop    <---hadoop文件路径
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

如果已经有$PATH，则在原来的基础上添加，而不是覆盖

export PATH=$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$PATH

# 可以顺便添加一下初始化路径
export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin

最后修改完成的应如下图所示：
在这里插入图片描述
保存退出后别忘记source /etc/profile

格式化

在格式化之前，还有几个重要的步骤
回到/opt/hadoop目录下，如果有 tmp 和 logs 文件（一般都会有），请先删除

rm -rf tmp/
rm -rf logs/

然后输入jps，查看是否有除了jps以外的进程，如果有请使用kill先杀掉

下面正式开始格式化

hadoop namenode -format

启动

在/opt/hadoop/etc/hadoop目录下，输入start-all.sh启动
该过程可能会花一段时间
如果想停用，则输入stop-all.sh
可以选择性地启动历史服务mr-jobhistory-daemon.sh start historyserver

访问Hadoop

在浏览器输入本机IP地址:50070，即可进入HDFS页面
在浏览器输入本机IP地址:8088，即可进入YARN管理界面

简单测试

让我们用hadoop创建一个文件夹，并往里放入一个txt文本

hadoop fs -mkdir /test    <---创建了一个名为test的文件夹，记得在目录名前加/符号
hadoop fs -put README.txt /test/    <---将一篇名为README的txt文件放入了test

如何查看这样的操作是否完成？
进入端口50070的页面，点击右上角Utilities，然后点击Browse the file system
在这里插入图片描述
这时候会出现我们的test文件夹
在这里插入图片描述
点击test文件夹，就可以发现README已经在里面了
在这里插入图片描述

hadoop集群

2020.09.05更新

首先需要准备三台虚拟机（克隆），修改IP地址和主机名，生成新秘钥，添加互信，如果对这一系列的步骤还有疑问，可以去看我的上一篇博客，基本都有提到该如何操作
ELK的安装 配置 集群

这里其实只实现了Linux集群，我们还需要对其他虚拟机的配置进行更改

修改配置文件

进入hdfs-site.xml文件，修改后的内容如下

<property>
  <name>dfs.replication</name>
  <value>3</value>    <---这里的数字修改为对应集群内的虚拟机数量
</property>
<property>
  <name>dfs.namenode.secondary.http-address</name>
  <value>192.168.23.53:50090</value>    <---新虚拟机的本机IP地址
</property>

进入mapred-site.xml文件，修改后的内容如下

 <property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>
<property>
  <name>mapreduce.jobhistory.address</name>
  <value>192.168.23.54:10020</value>    <---我们将这个jobhistory服务放在另一台虚拟机（非主节点）上，分担压力
</property>
<property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>192.168.23.54:19888</value>    <---注意上下一致
</property>

进入slaves文件
将集群内所有的主机名都添加进来
在这里插入图片描述

以上步骤需要在所有集群内的虚拟机上同步完成，可以使用Moba的功能分屏MultiExec；也可以在一台虚拟机上完成好所有的xml配置，再使用scp命令将文件发送到其他虚拟机上，scp命令如何使用可以查看我的博文Linux常用命令。

总结

配置hadoop的环节步骤很多，也很容易出错，需要大家小心谨慎，多加练习也可以减少以后犯错的概率。

如果你读完这篇博文仍然有没有解决的疑问，欢迎在评论区留言，一起共同讨论！

希望这篇博文能帮助到你！

Helltaker
关注
hadoop-2.6.0-cdh5.14.2.tar
09-04
hadoop-2.6.0-cdh5.14.2.tar.gz适用于Linux环境，centos7已测试
Hadoop集群搭建
44683331的博客
01-06 652
Hadoop集群得安装以及安装之后不能启动得问题解决
Hadoop-HDFS安装及分布式集群搭建详解
m0_70691645的博客
09-11 1537
本文介绍了如何在Linux环境下安装Hadoop HDFS，并进行了简单的单节点和多节点分布式集群搭建。通过配置Hadoop的核心文件、格式化NameNode、启动HDFS集群，我们可以顺利搭建一个高可用、高容错的HDFS分布式文件系统。HDFS是Hadoop生态系统的基石，熟练掌握其安装及配置是大数据处理的基础。
Linux下hadoop相关配置
Vicky_Tang
06-03 1万+
文章目录Linux下hadoop相关配置Linux下做免密登录hadoop 环境变量配置core-site.xmlhdfs-site.xmlyarn-site.xmlmapred-site.xml启动服务 Linux下hadoop相关配置 Linux下做免密登录 ssh-keygen -t rsa cd ~/.ssh cat id_rsa.pub>>authorized_keys hadoop 环境变量配置 vim /etc/profile.d/myenv.sh #hadoop exp
Hadoop介绍及群集搭建
小叮当的博客
07-20 1222
Hadoop介绍及安装部署
Hadoop安装和使用详解
Sharkkkie的博客
05-16 3944
本文希望通过部署Hadoop为主线，对Hadoop的框架组成、各部分协同工作的原理、技术细节形成一个初步的认知和了解。
Hadoop2.2.0安装配置手册！完全分布式Hadoop集群搭建过程
11-18
Hadoop2.2.0安装配置手册！完全分布式Hadoop集群搭建过程 按照文档中的操作步骤，一步步操作就可以完全实现hadoop2.2.0版本的完全分布式集群搭建过程
Hadoop的安装、配置过程和集群运行截图。
06-06
全程跟着安装配置的一般不会出现问题，jdk版本尽量选择和Hadoop版本相容的，Hadoop版本可以选择较低版本，2.7版本较为稳定，Linux系统版本没有多大要求，一般将Hadoop和jdk版本选择好就行，这个作业较为简单，在安装...
Hadoop2.X集群安装与配置
07-24
本文将详细介绍如何在三节点环境下安装和配置Hadoop 2.x 集群。 一、环境准备 在开始Hadoop的安装前，你需要确保你的硬件环境满足基本需求，包括足够的内存、硬盘空间以及至少三台服务器或虚拟机。每台节点应安装...
hadoop安装与配置.docx
最新发布
10-14
软件环境：通常使用Linux操作系统（如CentOS或Ubuntu），并安装Java运行环境（JDK），因为Hadoop是基于Java开发的。 安装VMware与Linux系统 VMware安装：VMware是一款虚拟化软件，可以在一台物理机上运行多个虚拟机...
hadoop-2.6.0-cdh5.14.2.tar.gz
09-12
hadoop安装包，需要的自行下载
zookeeper和hadoop
weixin_43737594的博客
10-12 797
zookeeper操作 连接 zkCli.sh -server 服务名称 查看客户端指令 help ​ ZooKeeper -server host:port cmd args stat path [watch] set path data [version] ls path [watch] delquota [-n|-b] path ls2 path [watch] setAcl p...
Hadoop安装及使用
huivictor的博客
10-09 2111
（1）Hadoop项目为可靠、可扩展的分布式计算开发开源软件。（2）Hadoop 软件库是一个框架，它允许使用简单的编程模型跨计算机集群分布式处理大型数据集。它旨在从单个服务器扩展到数千台机器，每台机器都提供本地计算和存储。库本身不是依靠硬件来提供高可用性，而是设计用于检测和处理应用层的故障，因此在计算机集群之上提供高可用性服务，每台计算机都可能容易出现故障。（4）Hadoop项目模块：Hadoop 分布式文件系统 (HDFS)：一种分布式文件系统，提供对程序数据高吞吐量访问（存储）。
Hadoop的安装以及使用
weixin_63260646的博客
05-10 2742
Hadoop的安装详解
Hadoop安装以及使用
csren11的博客
09-11 766
Hadoop官方网站：http://hadoop.apache.org/Hadoop是大数据组件。大数据是海量数据的处理和分析的技术，需要用分布式框架。分布式则是通过多个主机的进程协同在一起，构成整个应用。Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构，它可以使用户在不了解分布式底层细节的情況下开发分布式程序，充分利用集群的威力进行高速运算和存储。Hadoop解決了两大问题：大数据存储、大数据分析。也就是 Hadoop 的两大核心：HDFS 和 MapReduce。
Hadoop 搭建高可用集群--hadoop
m0_73469590的博客
02-19 441
Hadoop 搭建高可用集群--hadoop
Hadoop的安装和使用-2024年08月01日
i_for的博客
08-02 2644
1.创建Hadoop用户 2.SSH登陆权限设置 3.java的安装 4.Hadoop单机安装配置 5.Hadoop伪分布式安装配置
Hadoop的安装和使用
热门推荐
程序员战胜
03-03 2万+
前言： 这个Hadoop的安装和使用操作起来很容易出错，反正各种的问题，所以在实验过程中需要细心、重复，有的时候是机器的问题，还有配置的问题。 下面我讲一下我遇到的坑！ 第3章 Hadoop的安装和使用 注：本教程全部统一采用hadoop用户名登录Linux系统，用户名：hadoop 密码：hadoop 3.1 安装 Hadoop 前的准备工作 ​ 本节介绍安装Hadoop之前的一些准备工作，包括更新APT、安装SSH和安装Java环境等。 3.1.1 更新 APT 为了确保Hadoop安装过程顺利进行，
Hadoop集群安装配置指南
"这是一个关于Hadoop安装配置的详细文档，由成都索贝数码科技股份有限公司提供，涵盖了从安装前的准备到各个组件的安装、配置、整合以及常见问题的解决方法。适用于构建基于Hadoop的云计算环境。" 在部署Hadoop之前...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值