初识大数据技术之Hadoop

最新推荐文章于 2023-07-22 10:10:11 发布

只要学不死就往死里学-致自己

最新推荐文章于 2023-07-22 10:10:11 发布

阅读量198

点赞数

分类专栏：大数据技术之Hadoop 文章标签：初识大数据技术之Hadoop

本文链接：https://blog.csdn.net/weixin_42137586/article/details/103023895

版权

大数据技术之Hadoop 专栏收录该内容

5 篇文章 0 订阅

订阅专栏

初识大数据技术之Hadoop

初识大数据技术之Hadoop
Getting Started
- Hadoop：搭建单节点集群

初识大数据技术之Hadoop

Hadoop概述

Hadoop官方文档

Apache™Hadoop®项目开发了用于可靠，可扩展的分布式计算的开源软件。
Apache Hadoop软件库是一个框架，该框架允许使用简单的编程模型跨计算机集群对大型数据集进行分布式处理。它旨在从单个服务器扩展到数千台机器，每台机器都提供本地计算和存储。而不是依赖硬件来提供高可用性，Apache Hadoop软件库本身旨在检测和处理应用程序层的故障，因此在计算机集群的顶部提供高可用的服务，每台计算机都容易出现故障。

包含的模块

Hadoop这个项目包含的模块主要有以下几个：

Hadoop Common ：主要用来支持其他Hadoop模块的通用工具。
Hadoop Distributed File System-(HDFS™)：提供对应用程序数据可以进行高吞吐量访问的分布式文件系统。
Hadoop YARN：作业调度和集群资源管理的框架。
Hadoop MapReduce：一个基于YARN的系统，用于并行处理大数据集。
Hadoop Ozone：用于Hadoop的对象存储。
Hadoop Submarine：Hadoop的机器学习引擎。

谁在使用Hadoop？

各种各样的公司和组织都将Hadoop用于研究和生产。鼓励用户将自己添加到Hadoop PoweredBy Wiki页面。

Getting Started

Hadoop：搭建单节点集群

目的

本文档介绍了如何设置和配置单节点Hadoop安装，以便您可以使用Hadoop MapReduce和Hadoop分布式文件系统（HDFS）快速执行简单的操作。

必要的条件

支持的平台
- 支持GNU / Linux作为开发和生产平台。 Hadoop在具有2000个节点的GNU / Linux集群上得到了证明。
- Windows也是受支持的平台，但是以下步骤仅适用于Linux。要在Windows上设置Hadoop，请参见Wiki页面。
所需软件
Linux所需的软件包括：
- 必须要安装Java™。 HadoopJavaVersions中描述了推荐的Java版本
- 如果要使用可选的启动和停止脚本，则必须安装ssh且sshd必须正在运行以使用管理远程Hadoop守护程序的Hadoop脚本。另外，建议也安装pdsh以便更好地进行ssh资源管理。
安装软件
- 如果您的群集没有必需的软件，则需要安装它。
- 例如在Ubuntu Linux上：
  
  $ sudo apt-get install ssh
  $ sudo apt-get install pdsh

下载软件

要获得Hadoop发行版，请从其中一个Apache Download Mirrors下载最新的稳定版本。

准备启动Hadoop集群

解压缩下载的Hadoop发行版。在发行版中，编辑文件etc/hadoop/hadoop-env.sh这个文件并定义一些参数，如下所示：

#set to the root of your Java installation
export JAVA_HOME=/usr/java/latest

尝试使用以下命令：

$ bin/hadoop

这将显示hadoop脚本的用法文档。
现在，您可以以三种支持的模式之一启动Hadoop集群：

本地运行模式的运行

默认情况下，Hadoop被配置为在非分布式模式下作为单个Java进程运行。这对于我们的调试是很有用的。
下面的示例复制解压缩的conf目录以用作输入，然后查找并显示给定正则表达式的每个匹配项。输出被写入给定的输出目录。

$ mkdir input
$ cp etc/hadoop/.xml input
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar grep input output ‘dfs[a-z.]+’
$ cat output/

伪分布式运行模式运行

Hadoop也可以以伪分布式模式在单节点上运行，其中每个Hadoop守护程序都在单独的Java进程中运行。

设置无密码SSH

现在检查您是否可以在没有密码的情况下SSH到本地主机：

$ ssh localhost

如果没有密码就无法SSH到本地主机，请执行以下命令：

$ ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys

执行相关的操作

以下说明是在本地运行MapReduce作业。如果要在YARN上执行作业，请参阅YARN on Single Node

格式化文件系统：

$ bin/hdfs namenode -format

启动NameNode守护程序和DataNode守护程序：

$ sbin/start-dfs.sh

hadoop守护程序日志输出将写入$ HADOOP_LOG_DIR目录（默认为$ HADOOP_HOME / logs）。

浏览Web界面以查找NameNode；默认情况下，它在以下位置可用：

NameNode - http://localhost:9870/

设置执行MapReduce作业所需的HDFS目录：

  $ bin/hdfs dfs -mkdir /user
  $ bin/hdfs dfs -mkdir /user/<username>

将输入文件复制到分布式文件系统中：

$ bin/hdfs dfs -mkdir input
$ bin/hdfs dfs -put etc/hadoop/*.xml input

运行提供的一些示例：

$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar grep input output ‘dfs[a-z.]+’

检查输出文件：将输出文件从分布式文件系统复制到本地文件系统并检查它们：

$ bin/hdfs dfs -get output output
$ cat output/*

要么，我们还可以查看分布式文件系统上的输出文件：

$ bin/hdfs dfs -cat output/*

完成后，我们就可以使用以下命令停止守护进程：

$ sbin/stop-dfs.sh

YARN运行在单节点上的相关设置

您可以通过设置一些参数并另外运行ResourceManager守护程序和NodeManager守护程序，以伪分布式模式在YARN上运行MapReduce作业。

假定上述指令instructions的1.〜4.已经执行。

配置如下的参数

etc/hadoop/mapred-site.xml：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.application.classpath</name>
        <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
    </property>
</configuration>

etc/hadoop/yarn-site.xml:

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

启动ResourceManager守护程序和NodeManager守护程序：

$ sbin/start-yarn.sh

浏览Web界面以找到ResourceManager；默认情况下，它在以下位置可用：

ResourceManager - http://localhost:8088/

运行MapReduce作业。
完成后，使用以下命令停止守护进程：

$ sbin/stop-yarn.sh

完全分布式模式的运行

有关配置完全分布式运行模式的信息，请参阅Cluster Setup。

只要学不死就往死里学-致自己

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
初识大数据技术之Hadoop

初识大数据技术之HadoopHadoop概述Hadoop官方文档Apache™Hadoop®项目开发了用于可靠，可扩展的分布式计算的开源软件。Apache Hadoop软件库是一个框架，该框架允许使用简单的编程模型跨计算机集群对大型数据集进行分布式处理。它旨在从单个服务器扩展到数千台机器，每台机器都提供本地计算和存储。而不是依赖硬件来提供高可用性，Apache Hadoop软件库本身...
复制链接

扫一扫