Hadoop硬实战--技术点1--Slurper的使用

已经存在的文件传输机制，如Flume、Scribe和ChuKwa，可以支持日志文件，那么如何传输其他格式的文件，如半结构化和二进制的文件？--使用HDFS File Slurper。

使用HDFS File Slurper（HFS）工具进行数据自动化导入导出HDFS中。Slurper可以读取存在于源目录中的任何文件，并选择性的通过一个脚本文件确定文件在目标目录中的位置，然后将文件写入目的地，之后经过一个验证，最后完成复制。原理图如下：

Slurper的特点：

1、  不能并行的写入部分文件，文件必须原子的导入。

2、  可以写入点号开头的文件名，点号会被Slurper忽略。

3、  Slurper可以保证被复制的文件的全局唯一性，如果被复制的文件不存在全局唯一性，那么Slurper会在HDFS中覆盖这个文件。

一、安装及设置

也可以使用下载我上传的release 1.7版。直接tar即可。

https://download.csdn.net/download/mp412c/10465935