hadoop
kent7306
这个作者很懒,什么都没留下…
展开
-
ftp提取文件到hdfs
实际场景中,我们经常需要通过ftp协议把不同数据源的文件统一汇入到hdfs数据中心,经过实践,有以下的三种方法,分别列出其优缺点及适用场景。原创 2015-11-09 17:05:29 · 5409 阅读 · 0 评论 -
自定义MapReduce的InputFormat,提取指定开始与结束限定符间的内容
在编写MapReduce程序时,常用的TextInputFormat是以换行符作为Record分隔符的,即该行的内容作为MapReduce中map方法中的value,而该行头在文件中的偏移值作为key。但是在实际应用中,我们在提取日志内容时,有可能遇到一条Record包含多行的情况,并且要提取字段开始限定符到结束限定符的情况原创 2015-10-27 09:25:27 · 2291 阅读 · 2 评论 -
Elasticsearch使用笔记
这是ElasticSearch使用过程中的一些常用命令记要,简单整理了下,方便以后翻阅。原创 2016-04-21 18:32:29 · 3954 阅读 · 0 评论