![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flume
flume运维
zhiliang-chen
大数据工程师
展开
-
flume 安装
flume 安装 Flume NG为数据传输工具,安装为代理节点(agent),代理节点由 source,sink,Channel 组成; 环境 vps156 centos 7 jdk 1.8 flume 1.9 下载解压 $ wget https://mirrors.tuna.tsinghua.edu.cn/apache/flume/stable/apache-flume-1.9.0-bin...原创 2019-09-19 11:55:20 · 160 阅读 · 0 评论 -
flume 从mysql读数据,写入hdfs
环境 centos 6 JDK 1.8 CDH 5.15 flume 1.9 flume-ng-sql-source 1.5 mysql-connector-java-5.1 flume使用流程 命名agent 命名agent.source 命令agent.channal 命名agent.sink 通过channal连接source和sink 命令格式 $ flume-ng agent -...原创 2019-09-19 13:34:28 · 681 阅读 · 0 评论 -
flume 从MySQL导入到kafka
从MySQL导入到kafka 环境 centos 6 JDK 1.8 flume 1.9 flume-ng-sql-source 1.5 zookeeper单实例 kafka单实例 启动zk,kafka //# 启动zookeeper $ zkServer.sh start //# 启动kafka $ kafka-server-start.sh -daemon server.properti...原创 2019-09-19 15:30:50 · 516 阅读 · 1 评论