- 博客(1)
- 资源 (3)
- 问答 (1)
- 收藏
- 关注
RSS订阅转载 使用Flume将MySQL表数据实时抽取到hadoop
一、为什么要用到Flume 在以前搭建HAWQ数据仓库实验环境时，我使用Sqoop抽取从MySQL数据库增量抽取数据到HDFS，然后用HAWQ的外部表进行访问。这种方式只需要很少量的配置即可完成数据抽取任务，但缺点同样明显，那就是实时性。Sqoop使用MapReduce读写数据，而MapReduce是为了批处理场景设计的，目标是大吞吐量，并不太关心低延时问题。就像实验中所做的
2017-07-10 11:34:02
1328
sqoop将mysql表数据导入hive报错
2017-05-20
TA创建的收藏夹 TA关注的收藏夹
TA关注的人