Hadoop的安装以及使用

已于 2024-05-18 22:16:54 修改
阅读量1k 收藏 18
点赞数 25
文章标签： hadoop 大数据 分布式
于 2024-05-10 18:55:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_63260646/article/details/138669438
版权

目录

前言

安装环境

一、安装JDK

二、安装Hadoop

后续：

YARN部署

集群

集群部署常见问题

前言

Hadoop是一个分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop有三大核心框架设计，分别是HDFS、MapReduce以及YARN。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算 ，YARN则提供统一的资源管理和调度。

安装环境

  • 虚拟机

​VMware Workstation Pro17
CentOS 7 64 位(此次演示所用环境)配置如下:

Hadoop安装包以及jdk分享：

链接：https://pan.baidu.com/s/1uv333OAcWgYD5DKucs9vHg?pwd=4t85 
提取码：4t85

一、安装JDK

1. 下载JDK软件：https://www.oracle.com/java/technologies/downloads 在页面下方找到：

下载jdk-8u361-linux-x64.tar.gz

 1.打开linux终端切换root用户

su root

 输入密码回车：（防止文件权限不足要开启root用户来解压文件）

2. 创建文件夹，用来部署JDK，将JDK安装部署到：/export/server 内：

mkdir -p  /export/server 

  3.解压缩JDK安装文件到server文件夹内：

tar -zxvf jdk-8u361-linux-x64.tar.gz -C /export/server/ 

 4. 配置JDK的软链接

ln -s /export/server/jdk-8u361-linux-x64.tar.gz /export/server/jdk

5. 配置JAVA_HOME环境变量，以及将$JAVA_HOME/bin文件夹加入PATH环境变量中 

# 编辑/etc/profile

export JAVA_HOME=/export/server/jdk
export PATH=$PATH:$JAVA_HOME/bin

6. 生效环境变量

source /etc/profile

 7. 配置java执行程序的软链接

#删除系统自带的java程序
rm -f /usr/bin/java
#软链接我们自己安装的java程序
ln -s /export/server/jdk/bin/java /usr/bin/java

 8. 执行验证

java -version

javac -version

输出如下: 

 

9.打开windows cmd命令输入

notepad C:\Windows\System32\drivers\etc\hosts

找到hosts文件配置主机映射：

打开虚拟机终端使用hostname以及ifconfig检查自己的ip地址跟对应的主机名

配置好Ctrl+s保存hosts文件。

二、安装Hadoop

1.解压缩安装包到/export/server/中

tar -zxvf hadoop-3.3.4.tar.gz -C /export/server

2.构建软链接

cd /export/server

ln -s /export/server/hadoop-3.3.4 hadoop

3.进入hadoop安装包内

cd hadoop

4.配置workers文件

cd etc/hadoop

vim workers

添加自己的节点：

5.配置hadoop-env.sh文件

#编写hadoop-env.sh文件

vim hadoop-env.sh

# 填入如下内容：

export JAVA_HOME=/export/server/jdk

export HADOOP_HOME=/export/server/hadoop

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

export HADOOP_LOG_DIR=$HADOOP_

HOME/logs

6.配置core-site.xml文件,在文件内部填入如下内容(node1更换成自己节点的名字):

#编写core-site.xml文件

vim core-site.xml

# 填入如下内容：

<configuration>

  <property>

    <name>fs.defaultFS</name>

   <value>hdfs://node1:8020</value>

  </property>

  <property>

    <name>io.file.buffer.size</name>

    <value>131072</value>

  </property>

</configuration>

7.配置hdfs-site.xml文件 

#编写hdfs-site.xml文件

vim hdfs-site.xml

# 填入如下内容：

<configuration>

  <property>

    <name>dfs.datanode.data.dir.perm</name>

    <value>700</value>

  </property>

  <property>

    <name>dfs.namenode.name.dir</name>

    <value>/data/nn</value>

  </property>

  <property>

    <name>dfs.namenode.hosts</name>

    <value>node1</value>

  </property>

<property>

    <name>dfs.blocksize</name>

    <value>268435456</value>

  </property>

  <property>

    <name>dfs.namenode.handler.count</name>

    <value>100</value>

  </property>

  <property>

    <name>dfs.datanode.data.dir</name>

    <value>/data/dn</value>

  </property>

</configuration>

 8.准备数据目录

mkdir -p /data/nn

mkdir /data/dn

 9.配置环境变量

#编辑profile文件

vim /etc/profile

# 在/etc/profile文件底部追加如下内容：

export HADOOP_HOME=/export/server/hadoop

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

10.格式化

# 格式化namenode

hadoop namenode -format

11.启动

# 一键启动hdfs集群

start-dfs.sh

# 一键关闭hdfs集群

stop-dfs.sh

# 如果遇到命令未找到的错误，表明环境变量未配置好，可以以绝对路径执行

/export/server/hadoop/sbin/start-dfs.sh

/export/server/hadoop/sbin/stop-dfs.sh

12.查看Web UI

启动完成后，可以在浏览器打开：http://node1:9870，即可查看到hdfs文件系统的管理网页。 

（node1即为你的主机映射名）

在虚拟机终端使用jps命令可以看到DataNode、NameNode、SecondaryNameNode表明Hadoop的服务已经启动。

后续：

书接上回，我们安装好了Hadoop的HDFS，以及成功运行，但是我发现有一些遗漏，所以写了第二部分，这回我们讲一讲YARN搭建已经后面集群的部署。

YARN部署

在 export/server/hadoop/etc/hadoop 文件夹内，修改：

mapred-env.sh文件，添加如下环境变量:

img编辑

export JAVA_HOME=/export/server/jdk
​
export HADOOP_JOB_HISTORYSERVER_HEAPSIZE=1000
​
export HADOOP_MAPRED_ROOT_LOGGER=INFO,RFA

mapred-site.xml文件，添加如下配置信息:

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    <description></description>
  </property>
​
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>node1:10020</value>
    <description></description>
  </property>
​
​
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>node1:19888</value>
    <description></description>
  </property>
​
​
  <property>
    <name>mapreduce.jobhistory.intermediate-done-dir</name>
    <value>/data/mr-history/tmp</value>
    <description></description>
  </property>
​
​
  <property>
    <name>mapreduce.jobhistory.done-dir</name>
    <value>/data/mr-history/done</value>
    <description></description>
  </property>
<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
</property>
<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
</property>
<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
</property>
</configuration>

yarn-env.sh文件，添加如下4行环境变量内容：

img编辑

export JAVA_HOME=/export/server/jdk
export HADOOP_HOME=/export/server/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_LOG_DIR=$HADOOP_HOME/logs

yarn-site.xml文件，添加如下4行环境变量内容：

<configuration>
​
<!-- Site specific YARN configuration properties -->
<property>
    <name>yarn.log.server.url</name>
    <value>http://node1:19888/jobhistory/logs</value>
    <description></description>
</property>
​
  <property>
    <name>yarn.web-proxy.address</name>
    <value>node1:8089</value>
    <description>proxy server hostname and port</description>
  </property>
​
​
  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
    <description>Configuration to enable or disable log aggregation</description>
  </property>
​
  <property>
    <name>yarn.nodemanager.remote-app-log-dir</name>
    <value>/tmp/logs</value>
    <description>Configuration to enable or disable log aggregation</description>
  </property>
​
​
<!-- Site specific YARN configuration properties -->
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>node1</value>
    <description></description>
  </property>
​
  <property>
    <name>yarn.resourcemanager.scheduler.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
    <description></description>
  </property>
​
  <property>
    <name>yarn.nodemanager.local-dirs</name>
    <value>/data/nm-local</value>
    <description>Comma-separated list of paths on the local filesystem where intermediate data is written.</description>
  </property>
​
​
  <property>
    <name>yarn.nodemanager.log-dirs</name>
    <value>/data/nm-log</value>
    <description>Comma-separated list of paths on the local filesystem where logs are written.</description>
  </property>
​
​
  <property>
    <name>yarn.nodemanager.log.retain-seconds</name>
    <value>10800</value>
    <description>Default time (in seconds) to retain log files on the NodeManager Only applicable if log-aggregation is disabled.</description>
  </property>
​
​
​
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    <description>Shuffle service that needs to be set for Map Reduce applications.</description>
  </property>
</configuration>

配置完成之后就是启动啦：

start-yarn.sh

使用jps命令看看有没有两个Manager以及一个代理Server

img编辑

有的话打开浏览器输入http://node1:8088看看自己能否看到YARN集群的监控页面，可以看到就是成功啦。

img编辑

集群

单单只是单节点部署的话，虽然是可以使用的，单这只是相当于你只有一台服务器呀，没有小弟的话就不能分布式存储以及计算啦，所以我们要创建几个小弟服务器来部署集群。

我们要创建另外两个虚拟机

img编辑

img编辑

首先改ip，打开linux终端（Centos7）root用户下修改：

vim /etc/sysconfig/network-scripts/ifcfg-ens33

img编辑

改成同一子网的地址就好了这里我改成131

重启网络：

service network restart

修改主机名成新的主机名（我这里改成node2）

sudo hostname 新主机名

然后就是打开windows的cmd修改hosts主机映射：

notepad C:\Windows\System32\drivers\etc\hosts

加上node2保存

img编辑

然后就是给node1跟node2两个用户配置免密登录（这个就不详细讲啦，百度有资料）

下一步就是修改一些配置文件（在node1用户中修改）

img编辑

在hadoop的workers中增加node2节点（我们只克隆了这个，可以再加node3，有就加）

同一目录下

img编辑

这里加上node2节点，原来只有node1一个节点

改完之后使用scp命令将hadoop文件夹复制到node2的用户当中就行啦

（设置免密登录之后复制，不免密好像也行会比较麻烦）

scp -r hadoop-3.3.4 node2:`pwd`/

#

集群部署常见问题

最后说一些集群部署的常见问题吧

1.没有权限（这是由于你不是root用户没有操作这个文件夹的权限）

特此说一下，就是我们的集群启动通常是在普通用户下启动，因为使用root用户启动的话由于root用户权限过大会造成安全隐患所以建议使用普通用户来启动集群，这里的权限不足就是因为使用了普通用户来启动，这时候只要给用户赋予这个文件夹的操作权限就可以啦

img编辑

在root用户下使用如下命令将hadoop文件夹的权限赋予给hadoop用户（假设这个用户叫做hadoop）：

sudo chown hadoop:hadoop /export/server/hadoop

2.环境变量

这种没有找到命令的问题就是因为环境变量没有配置好，可以去检查一下自己的环境变量是否有问题，这些会导致/export/server/hadoop/bin/hadoop

/export/server/hadoop/sbin/start-dfs.sh & /export/server/hadoop/sbin/stop-dfs.sh这些 命令不能运行

img编辑

3.logs日志（使用logs日志查看里面的内容可以解决你很多报错的问题）

img

暂时就是想到这么多啦，那就讲到这里。

行坐亦念
关注
  • 25
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
1.Hadoop的安装和使用（华为云学习笔记，Spark编程基础，大数据）
GCPOP的博客
05-24 2496
此笔记为第一篇，学校开放华为云平台，帮助我们学习有关大数据方面相关知识的学习笔记，因为是云平台，是已经搭建好linux环境了，使用的是Ubantu。精心整理，自学笔记，如有什么问题，请耐心指正 Hadoop的安装和使用 学习Hadoop的安装和使用 1 安装Hadoop前的准备工作 介绍安装Hadoop之前的一些准备工作，包括创建hadoop用户、安装SSH和安装Java环境等。 先配置hosts，输入以下命令，将本机的hostname添加到hosts文件中： 拷贝代码echo "127.0.0.1 "$H
hadoop安装
12-05
我们可以使用以下命令来验证 Hadoop 的安装是否成功： ``` $> hadoop version ``` 三、配置 Hadoop Hadoop 的配置文件包括 core-site.xml、hdfs-site.xml、mapred-site.xml 和 yarn-site.xml 等。下面，我们将...
从零开始Hadoop安装和配置（超详细图文步骤）
2301_77836489的博客
04-25 5250
从零开始Hadoop安装和配置（超详细图文步骤）
Hadoop的安装和使用
哈工大许政的博客
05-11 2万+
Hadoop的安装和使用 本文是基于CentOS 7.3系统环境，进行Hadoop的安装和使用 CentOS 7.3 hadoop-2.7.2 一、Hadoop简介 (1) 什么是Hadoop RabbitMQ是实现了高级消息队列协议（AMQP）的开源消息代理软件（亦称面向消息的中间件）。RabbitMQ服务器是用Erlang语言编写的，而集群和故障转移是构建在开放电信平台框架上的。所有主要的编程语言均有与代理接口通讯的客户端库。 (2) Hadoop的优势 高可靠性 Hadoop底层维护多个数据副
Hadoop平台安装及运行————详细版搭建流程
2301_82049895的博客
04-24 3647
如果已经存在/output 目录，就要先删除/output目录，再执行上述命令。另外，只要运行过 HDFS，Hadoop 的 工作目录（本书设置为/usr/local/src/hadoop/tmp）就会有数据，如果需要重 新格式化，则在格式化之前一定要先删除工作目录下的数据，否则格式化时会 出问题。上述安装完成的 Hadoop 软件只能让 root 用户使用，要让 hadoop 用户能够 运行 Hadoop 软件，需要将目录/usr/local/src 的所有者改为 hadoop 用户。
Hadoop安装和使用详解
Sharkkkie的博客
05-16 3727
本文希望通过部署Hadoop为主线，对Hadoop的框架组成、各部分协同工作的原理、技术细节形成一个初步的认知和了解。
Hadoop 安装与配置
weixin_43571612的博客
02-22 2万+
hadoop在Ubantu中的安装与配置
Windows系统下安装Hadoop
热门推荐
想你依然心痛的博客
06-24 3万+
前面我们已经讲过了在，还没看过的可以先去了解一下安装流程。今天我们来看一下如何在Window下安装Hadoop，这其实和在Linux下的安装都是大同小异的。下面我们具体来看一下安装步骤。
【Hadoop】Windows下安装Hadoop（手把手包成功安装）
tttzzzqqq2018的博客
07-26 2万+
【实操】Windows下安装Hadoop（手把手包成功安装）
hadoop2.6.5以及安装文档
05-13
6. **测试Hadoop**：通过运行简单的WordCount示例来验证Hadoop安装是否成功。 在Hadoop 2.6.5的使用中，你可能会遇到各种问题，如数据读写错误、节点通信问题、资源调度优化等。这时，你需要熟悉Hadoop的日志系统，...
大数据Hadoop安装部署文档
04-21
主要介绍了Hadoop在windows上伪分布式的安装过程、在Linux单节点伪分布式的安装过程、Eclipse开发环境介绍
物联网架构之Hadoop
moluxiangfenglo的博客
07-23 882
Hadoop的体系结构设计旨在处理和分析大数据集，通过分布式存储（HDFS）、资源管理（YARN）、并行计算（MapReduce）等核心组件，提供了一种可靠、可扩展的大数据解决方案。其生态系统的丰富性和灵活性使得Hadoop能够适应不同类型和规模的数据处理需求。hadoop的核心结构Hadoop分布式文件系统，用于存储大规模数据集。主要包括一个NameNode（主节点）和多个DataNode（从节点）。
分布式系统常见软件架构模式
Ben的专栏
07-25 1003
简而言之，有效管理数据和通信流对于构建健壮且可扩展的分布式系统至关重要。对等、API 网关、发布-订阅、请求-响应、事件溯源、ETL、批处理、流处理和编排等架构模式提供了有价值的解决方案，以应对系统设计和实现中的各种挑战。通过理解这些软件架构和分布式系统模式及其各自的优势和权衡，架构师和开发人员可以做出明智的决策，设计出满足其应用程序和用户不断变化的需求的系统。
消息队列-rabbitmq（生产者.消费者. 消息.可靠性）
最新发布
2202_75352238的博客
07-28 574
在我们 生产者发送消息到交换机的时候，假如 我们发送到交换机 ，但是 队列没有收到消息，会返回ack，发送到交换机，然后发送到队列，消费者没有接收到消息返回ack，但是发送到交换机失败，会返回nack。死信交换机 ，都是假如一个定时消息过期了，或者发送延迟消息我们直接把该消息传递到我们绑定的死信交换机中，跟上文 消息发送失败了返回rejct之后，消息发送到err交换机是两种不同的策略。当一条消息发送失败的时候，消费者重新尝试消费消息，达到我们重试的次数之后，消费者返回reject，mq直接删除消息。
hadoop安装与使用问题与收获
09-14
Hadoop是一个用于分布式存储和处理大规模数据的开源软件框架。下面是关于Hadoop安装、使用和收获的一些建议和信息： 1. 安装Hadoop：在安装Hadoop之前，确保你的系统满足Hadoop的要求，比如Java环境和网络连接。然后，下载合适版本的Hadoop并按照官方文档提供的步骤进行安装和配置。 2. 配置Hadoop集群：在配置Hadoop集群之前，你需要了解Hadoop的基本组件和配置文件。主要包括核心组件（HDFS和YARN）以及相关的配置文件（如hdfs-site.xml和yarn-site.xml）。根据你的需求，调整这些配置文件以实现最佳性能。 3. 使用Hadoop：一旦你安装和配置好了Hadoop，你就可以开始使用它来处理大规模数据了。Hadoop提供了多种方式来处理数据，包括MapReduce编程模型、Hive和Pig等高级数据处理工具，还有Spark等基于Hadoop的框架。 4. 收获与问题解决：通过使用Hadoop，你可以处理大规模数据并从中获得一些收获。这些收获可能包括更好的数据分析、更准确的预测或更高效的资源利用。在使用Hadoop的过程中，你可能会遇到一些问题，比如性能调优、故障排除等。要善于使用Hadoop社区和相关文档来解决这些问题。 总之，安装和使用Hadoop需要一定的技术知识和经验，但它可以为你提供处理大数据的强大能力和灵活性。希望以上信息对你有帮助！如果你还有其他问题，请随时问我。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值