如何使用Hadoop捆绑的低级工具进行数据提取？

在之前的几个章节，我们已经掌握了如何将数据从其他系统导入Hadoop。一旦企业使用Hadoop执行某些关键功能，无论是数据挖掘还是数据聚合，下一步通常是将该数据外部化到其他系统。例如，通常依靠Hadoop对从实时系统中提取的数据执行离线聚合，然后将派生数据反馈到实时系统中。

本节将介绍一些希望从Hadoop获取数据的常见方案，以及可帮助完成这项工作的工具。我们首先看一下现有的低级工具，其中大多数工具都内置在Hadoop中，然后继续研究如何将数据推送到关系数据库和HBase。

首先，我们将介绍如何使用命令行从Hadoop中复制文件。

5.3.1 Roll your own egress

本节介绍Hadoop中用于从HDFS复制数据的一些内置机制。这些技术可以手动执行，也可以使用Azkaban，Oozie甚至cron等调度系统自动执行。

实践：使用CLI提取文件

想象一下，你在Hadoop中运行一些工作来聚合数据，现在想要把它拿出来，可以使用的一种方法是HDFS命令行界面(CLI)，用于将目录和文件提取到本地文件系统。此技术涵盖了一些可以帮助你的基本CLI命令。

问题

希望使用shell将文件从HDFS复制到本地文件系统。

解决方案

HDFS CLI可用于一次性移动，或者相同的命令可以合并到脚本中，以便更频繁地使用移动。

讨论

通过hadoop命令可以将文件从HDFS复制到本地磁盘：

$ hadoop fs -get hdfs-file.txt local-file.txt

Hadoop put命令的行为与Linux中的Linux cp命令不同，如果目标已存在，则被覆盖; 在Hadoop中，副本失败并显示错误：

put: `hdfs-file.txt': File exists

必须添加-f选项以强制覆盖文件：

$ hadoop fs -get -f hdfs-file.txt local-file.txt

与Linux cp命令相似，可以使用相同的命令复制多个文件。在这种情况下，最后一个参数必须是HDFS文件复制到本地文件系统的目录：

$ hadoop fs -get hdfs-file1.txt hdfs-file2.txt /local/dest/

通常，一个是将大量文件从HDFS复制到本地磁盘——例如，MapReduce作业输出目录包含每个任务的文件。如果使用的是可以连接的文件格式，则可以使用-getmerge命令组合多个文件。默认情况下，在连接期间，在每个文件的末尾添加换行符：

$ hdfs fs -getmerge hdfs-dir/part* /local/output.txt

fs命令支持更多操作——查看完整列表，运行命令时没有任何选项。

使用CLI的挑战在于它非常低级，并且无法满足自动化需求。当然，我们可以在shell脚本中使用CLI，但是一旦升级到更复杂的编程语言，为每个HDFS命令分配进程并不理想。在这种情况下，可能希望查看使用REST，Java或C HDFS API。下一个技术着眼于REST API。

实践：使用REST提取文件

使用CLI对于快速运行命令和编写脚本非常方便，但是会产生为每个命令分配单独进程的开销，这可能是希望避免的，特别是如果在编程中与HDFS连接。该技术涵盖了使用Java以外的语言处理HDFS。

问题

如何让没有HDFS本机接口的编程语言与HDFS进行交互。

解决方案

使用Hadoop的WebHDFS接口，该接口为HDFS操作提供全功能的REST API。

讨论

在开始之前，需要在集群上启用WebHDFS

让我们首先使用CLI在HDFS中创建一个文件：

$echo "the cat sat on the mat" | hadoop fs -put - /tmp/hdfs-file.txt

从HDFS读取文件是指定OPEN为operation：

实践：在防火墙下实现HDFS读取

生产Hadoop环境通常被锁定以保护驻留在这些集群中的数据。部分安全过程可能包括将集群置于防火墙之后，如果Hadoop集群的目标位于防火墙之外，这可能会造成麻烦。该技术着眼于使用HttpFS网关通过端口80提供HDFS访问，端口80通常在防火墙上打开。

问题

希望从HDFS中提取数据，但是正处于限制访问HDFS的防火墙下。

解决方案

使用HttpFS网关，这是一个独立服务器，可通过HTTP提供对HDFS的访问。因为它是一个单独的服务而且是HTTP，所以可以配置为在任何可访问Hadoop节点的主机上运行，并且可以打开防火墙规则以允许流量到服务。

讨论

HttpFS非常有用，不仅可以使用REST来访问HDFS，还具有完整的Hadoop文件系统实现，这意味着可以使用CLI和本机HDFS Java客户端与HDFS进行通信。

一旦运行，可以发出与之前使用WebHDFS技术相同的curl命令(唯一的区别是URL主机和端口，需要指向部署HttpFS的位置)。这是关于HttpFS网关的好处之一—语法完全相同。

要转储文件/tmp/hdfs-file.txt的内容，需要执行以下操作：

实践：使用NFS挂载Hadoop

通常，如果Hadoop数据可以作为文件系统的常规安装来访问，那么使用Hadoop数据要容易得多。这允许使用现有脚本，工具和编程语言，并轻松地与HDFS中的数据进行交互。本节介绍如何使用NFS轻松地从HDFS复制数据。

问题

将HDFS视为常规Linux文件系统，并使用标准Linux工具与HDFS进行交互。

解决方案

使用Hadoop的NFS实现来访问HDFS中的数据。

讨论

前文介绍了用于NFS访问HDFS的设置指令。设置完成后，可以执行正常的文件系统操作，例如将文件从HDFS复制到本地文件系统。以下示例显示了这一点，假设HDFS安装在/hdfs下：

$ cp /hdfs/tmp/foo.txt ~/

实践：使用DistCp从Hadoop中复制数据

想象一下，希望从Hadoop中移出大量数据。对于本节中的大多数技术，有一个瓶颈，因为通过单个主机汇集数据，该主机是运行该进程的主机。要尽可能优化数据移动，需要利用MapReduce并行复制数据。这是DistCp发挥作用的地方，这种技术是一种可以将数据提取到NFS挂载的方法。

问题

希望有效地从Hadoop中提取数据并并行化副本。

解决方案

使用DistCp。

讨论

前文详细介绍了DistCp，并包含有关如何在不同Hadoop集群之间复制数据的详细信息，但DistCp不能用于将数据从Hadoop复制到本地文件系统(反之亦然)，因为DistCp作为MapReduce作业运行，并且集群将无法访问本地文件系统。根据具体情况，有几种选择：

使用HDFS File Slurper复制本地文件。

将文件复制到NFS，该NFS也可用于集群中的所有DataNode。

如果使用第二个选项，则可以使用DistCp并在每个DataNode上写入本地安装的NFS挂载，其示例如下：

请注意，NFS系统可能无法处理大量并行读取或写入，因此可能希望使用少于默认值20的mapper运行此命令——以下示例使用5个mapper运行：

使用Java提取文件

假设已经在HDFS中生成了许多Lucene索引，并且希望将它们拉出到外部主机。也许你想用Java以某种方式操作文件，此技术显示了如何使用Java HDFS API读取HDFS中的数据。

问题

希望将HDFS中的文件复制到本地文件系统。

解决方案

使用Hadoop的文件系统API从HDFS复制数据。

讨论

HDFS Java API与Java的I/O模型很好地集成，这意味着可以使用常规输入流和I/O输出流。

首先，需要使用命令行在HDFS中创建一个文件：

$ echo "hello world" | hadoop fs -put - hdfs-file.txt

现在使用命令行将该文件复制到本地文件系统：

$ hadoop fs -get hdfs-file.txt local-file.txt

让我们来探索如何在Java中复制此副本。编写代码有两个主要部分—第一部分是获取FileSystem的句柄并创建文件，第二部分是将数据从标准输入复制到OutputStream：

可以通过运行以下命令来查看此代码在实践中的工作原理：

到目前为止，我们已经介绍了与Hadoop捆绑在一起的低级工具，以帮助提取数据。接下来，我们将介绍从HDFS到本地文件系统的近乎连续的数据移动方法。

相关文章：

1、《第一章：Hadoop生态系统及运行MapReduce任务介绍!》链接： http://blog.itpub.net/31077337/viewspace-2213549/

2、《学习Hadoop生态第一步：Yarn基本原理和资源调度解析!》链接： http://blog.itpub.net/31077337/viewspace-2213602/

3、《MapReduce如何作为Yarn应用程序运行?》链接： http://blog.itpub.net/31077337/viewspace-2213676/

4、《Hadoop生态系统各组件与Yarn的兼容性如何?》链接： http://blog.itpub.net/31077337/viewspace-2213960/

5、《MapReduce数据序列化读写概念浅析!》链接： http://blog.itpub.net/31077337/viewspace-2214151/

6、《MapReuce中对大数据处理最合适的数据格式是什么?》链接： http://blog.itpub.net/31077337/viewspace-2214325/

7、《如何在MapReduce中使用SequenceFile数据格式?》链接： http://blog.itpub.net/31077337/viewspace-2214505/

8、《如何在MapReduce中使用Avro数据格式?》链接： http://blog.itpub.net/31077337/viewspace-2214709/

9、《企业自有数据格式杂乱，MapReduce如何搞定?》链接： http://blog.itpub.net/31077337/viewspace-2214826/

10、《企业使用Hadoop的重大挑战：如何在HDFS中组织和使用数据?》链接： http://blog.itpub.net/31545816/viewspace-2215158/ 》

11、《如何在HDFS中进行数据压缩以实现高效存储?》链接： http://blog.itpub.net/31545816/viewspace-2215281/

12、《Hadoop数据传输：如何将数据移入和移出Hadoop?》链接： http://blog.itpub.net/31545816/viewspace-2215580/

13、《如何将日志和二进制文件连续移入HDFS?》链接： http://blog.itpub.net/31545816/viewspace-2215948/

14、《如何将传统关系数据库的数据导入Hadoop?》链接： http://blog.itpub.net/31545816/viewspace-2216000/

15、《数据导入终章：如何将HBase的数据导入HDFS?》链接： http://blog.itpub.net/31545816/viewspace-2216036/

16、《如何将kafka中的数据快速导入Hadoop？》链接： http://blog.itpub.net/31545816/viewspace-2216076/

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/31545816/viewspace-2216444/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/31545816/viewspace-2216444/