前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家。点击跳转到网站。
介绍
Hadoop 是一个基于 Java 的编程框架,支持在一组廉价机器的集群上处理和存储极其大型的数据集。它是大数据领域中第一个重要的开源项目,并得到 Apache 软件基金会的赞助。
Hadoop 2.7 由四个主要层组成:
- Hadoop Common 是支持其他 Hadoop 模块的实用程序和库的集合。
- HDFS,即 Hadoop 分布式文件系统,负责将数据持久化到磁盘。
- YARN,全称为 Yet Another Resource Negotiator,是 HDFS 的“操作系统”。
- MapReduce 是 Hadoop 集群的原始处理模型。它在集群内分发工作或映射,然后将节点的结果组织和减少为对查询的响应。在 Hadoop 2.x 版本中还有许多其他处理模型可用。
Hadoop 集群相对复杂,因此该项目包括一个独立模式,适用于学习 Hadoop、执行简单操作和调试。
在本教程中,我们将在独立模式下安装 Hadoop,并运行其中包含的一个示例 MapReduce 程序来验证安装。
先决条件
要按照本教程操作,您需要:
- 一个具有
sudo
权限的非 root 用户的 Ubuntu 16.04 服务器:您可以在我们的《在 Ubuntu 16.04 上进行初始服务器设置》指南中了解如何设置具有这些权限的用户。
完成这些先决条件后,您就可以安装 Hadoop 及其依赖项了。
在开始之前,您可能还想看看《大数据概念和术语简介》或《Hadoop 简介》。
步骤 1 — 安装 Java
首先,我们将更新软件包列表:
sudo apt-get update
接下来,我们将安装 OpenJDK,这是 Ubuntu 16.04 上的默认 Java 开发工具包。
sudo apt-get install default-jdk
安装完成后,让我们来检查版本。
java -version
openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-8u91-b14-3ubuntu1~16.04.1-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)
此输出验证了 OpenJDK 已成功安装。
步骤 2 — 安装 Hadoop
有了 Java,我们将访问 Apache Hadoop 发行版页面,找到最新的稳定版本。跟随当前版本的二进制链接:
!Hadoop 发行版页面的屏幕截图,突出显示镜像页面的链接
在下一个页面,右键单击并复制最新稳定版本二进制文件的链接。
!Hadoop 发行版页面的屏幕截图,突出显示最新稳定版本二进制文件的链接
在服务器上,我们将使用 wget
来获取它:
wget http://apache.mirrors.tds.net/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz
为了确保我们下载的文件没有被篡改,我们将使用 SHA-256 进行快速检查。返回发布页面,然后跟随 Apache 链接:
!突出显示 .mds 文件的屏幕截图
进入您下载的版本的目录:
!突出显示 .mds 文件的屏幕截图
最后,找到您下载的版本对应的 .mds
文件,然后复制相应文件的链接:
!突出显示 .mds 文件的屏幕截图
同样,右键单击复制文件位置,然后使用 wget
传输文件:
wget https://dist.apache.org/repos/dist/release/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz.mds
然后运行验证:
shasum -a 256 hadoop-2.7.3.tar.gz
d489df3808244b906eb38f4d081ba49e50c4603db03efd5e594a1e98b09259c2 hadoop-2.7.3.tar.gz
将此值与 .mds
文件中的 SHA-256 值进行比较:
cat hadoop-2.7.3.tar.gz.mds
...
hadoop-2.7.3.tar.gz: SHA256 = D489DF38 08244B90 6EB38F4D 081BA49E 50C4603D B03EFD5E 594A1E98 B09259C2
...
您可以安全地忽略大小写和空格的差异。我们从镜像下载的文件运行的命令的输出应该与我们从 apache.org 下载的文件中的值匹配。
现在我们已经验证了文件没有被损坏或更改,我们将使用 tar
命令和 -x
标志来提取,-z
来解压缩,-v
用于详细输出,-f
用于指定我们正在从文件中提取。使用制表符补全或在下面的命令中替换正确的版本号:
tar -xzvf hadoop-2.7.3.tar.gz
最后,我们将提取的文件移动到 /usr/local
,这是本地安装软件的适当位置。如果需要,更改版本号以匹配您下载的版本。
sudo mv hadoop-2.7.3 /usr/local/hadoop
软件安装完成后,我们准备配置其环境。
步骤 3 — 配置 Hadoop 的 Java Home
Hadoop 要求您设置 Java 的路径,可以作为环境变量或在 Hadoop 配置文件中设置。
Java 的路径 /usr/bin/java
是一个符号链接,指向 /etc/alternatives/java
,而后者又是默认 Java 二进制文件的符号链接。我们将使用 readlink
命令和 -f
标志来递归地跟随路径中的每个符号链接。然后,我们将使用 sed
命令从输出中修剪 bin/java
,以获得 JAVA_HOME
的正确值。
查找默认的 Java 路径
readlink -f /usr/bin/java | sed "s:bin/java::"
/usr/lib/jvm/java-8-openjdk-amd64/jre/
您可以将此输出复制到 Hadoop 的 Java 主目录,以确保如果默认的 Java 更改,这个值也不会改变。另外,您也可以在文件中动态使用 readlink
命令,这样 Hadoop 将自动使用系统默认设置的 Java 版本。
首先,打开 hadoop-env.sh
文件:
sudo nano /usr/local/hadoop/etc/hadoop/hadoop-env.sh
然后,选择以下选项之一:
选项 1: 设置静态值
. . .
#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/jre/
. . .
选项 2: 使用 Readlink 动态设置值
. . .
#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=$(readlink -f /usr/bin/java | sed "s:bin/java::")
. . .
步骤 4 — 运行 Hadoop
现在我们应该能够运行 Hadoop:
/usr/local/hadoop/bin/hadoop
Usage: hadoop [--config confdir] [COMMAND | CLASSNAME]
CLASSNAME run the class named CLASSNAME
or
where COMMAND is one of:
fs run a generic filesystem user client
version print the version
jar <jar> run a jar file
note: please use "yarn jar" to launch
YARN applications, not this command.
checknative [-a|-h] check native hadoop and compression libraries availability
distcp <srcurl> <desturl> copy file or directories recursively
archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop archive
classpath prints the class path needed to get the
credential interact with credential providers
Hadoop jar and the required libraries
daemonlog get/set the log level for each daemon
这意味着我们已成功配置 Hadoop 以在独立模式下运行。我们将通过运行它附带的示例 MapReduce 程序来确保它正常运行。为此,在我们的主目录中创建一个名为 input
的目录,并将 Hadoop 的配置文件复制到其中,以便将这些文件用作我们的数据。
mkdir ~/input
cp /usr/local/hadoop/etc/hadoop/*.xml ~/input
接下来,我们可以使用以下命令来运行 MapReduce hadoop-mapreduce-examples
程序,这是一个带有多个选项的 Java 存档。我们将调用它的 grep
程序之一,hadoop-mapreduce-examples
中包含了许多示例之一,接着是输入目录 input
和输出目录 grep_example
。MapReduce 的 grep 程序将计算文字或正则表达式的匹配次数。最后,我们将提供一个正则表达式,以查找在陈述句中出现的单词 principal
。该表达式区分大小写,因此如果单词在句子开头大写,我们将找不到它:
/usr/local/hadoop/bin/hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep ~/input ~/grep_example 'principal[.]*'
任务完成后,它会提供已处理的摘要和遇到的错误,但这不包含实际结果。
. . .
File System Counters
FILE: Number of bytes read=1247674
FILE: Number of bytes written=2324248
FILE: Number of read operations=0
FILE: Number of large read operations=0
FILE: Number of write operations=0
Map-Reduce Framework
Map input records=2
Map output records=2
Map output bytes=37
Map output materialized bytes=47
Input split bytes=114
Combine input records=0
Combine output records=0
Reduce input groups=2
Reduce shuffle bytes=47
Reduce input records=2
Reduce output records=2
Spilled Records=4
Shuffled Maps =1
Failed Shuffles=0
Merged Map outputs=1
GC time elapsed (ms)=61
Total committed heap usage (bytes)=263520256
Shuffle Errors
BAD_ID=0
CONNECTION=0
IO_ERROR=0
WRONG_LENGTH=0
WRONG_MAP=0
WRONG_REDUCE=0
File Input Format Counters
Bytes Read=151
File Output Format Counters
Bytes Written=37
结果存储在输出目录中,可以通过在输出目录上运行 cat
命令来检查:
cat ~/grep_example/*
6 principal
1 principal.
MapReduce 任务找到了一个带有句点的单词 principal
的出现次数,以及六个没有句点的出现次数。运行示例程序验证了我们的独立安装是否正常工作,并且系统上的非特权用户可以运行 Hadoop 进行探索或调试。
结论
在本教程中,我们已经以独立模式安装了 Hadoop,并通过运行它提供的示例程序进行了验证。要学习如何编写自己的 MapReduce 程序,您可能希望访问 Apache Hadoop 的 MapReduce 教程,该教程将详细介绍示例背后的代码。当您准备好设置集群时,请参阅 Apache Foundation Hadoop 集群设置指南。