大数据离线数据处理
关注
分享
扫一扫
文章平均质量分 89
大铁锤20
这个作者很懒，什么都没留下…
展开
-
sqoop入门
大数据技术之Sqoop 一、Sqoop简介Sqoop是hdfs、hive、hbase和RDBMS结构化数据库之间传输大量数据的工具。二、Sqoop原理将导入或导出命令翻译成mapreduce程序来实现。在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。三、Sqoop安装安装Sqoop的前提是已经具备Java和Hadoop原创 2017-12-27 19:51:57 · 2244 阅读 · 0 评论 -
flume 数据采集
1、flume在大数据业务中的角色Hadoop业务的整体开发流程： 在大数据的业务处理过程中，Flume主要负责数据的采集。 2、Flume架构介绍 flume是分布式的日志收集系统，它将各个服务器中的数据收集起来并送到指定的地方去，比如说送到图中的HDFS，简单来说flume就是收集日志的。 2、Event 在这里有必要先介绍一下flume中event原创 2017-12-29 21:00:07 · 3286 阅读 · 0 评论