本文介绍了如何使用Apache Flume从MySQL数据库中实时抽取数据，并将其存储到HDFS上。首先，创建了名为`t_name`的MySQL表，接着配置了Flume的Source、Channel和Sink，包括指定数据库连接信息、表名、查询列和增量查询字段。然后，创建了HDFS的目标目录，并设置Flume配置文件，最后启动Flume agent进行数据同步。
Flume将MySQL表数据存入到HDFS
一、创建MySQL表
-- ----------------------------
-- Table structure for t_name
-- ----------------------------
DROP TABLE IF EXISTS `t_name`;
CREATE TABLE `t_name` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`sip` varchar(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci NULL DEFAULT NULL,
`dip` varchar(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci NULL DEFAULT NULL,
`sport` int(11) NULL DEFAULT NULL,
`dport` int(11) NULL DEFAULT NULL,
`protocol` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci NULL DEFAULT NULL,
`flowvalue` int(11) NULL DEFAULT NULL,
`createtime` datetime(0) NULL DEFAULT NULL,
PRIMARY KEY (`id`) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 21 CHARACTER SET =
最低0.47元/天 解锁文章
276
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
