Flume
王乙已
三牌楼业余无线电俱乐部
展开
-
Flume 学习 —— 案例一:Flume 监听端口,在控制台输出端口数据
案例一:Flume 监听端口,在控制台输出端口数据创建配置文件1.在 flume 的 conf 同级目录下创建 job 文件夹,并在 job 文件夹内创建 flume-telnet-logger.confcd /usr/wang/flumemkdir jobcd jobvim flume-telnet-logger.conf将下方文件拷贝到 flume-telnet-logger....原创 2019-03-04 21:36:49 · 2293 阅读 · 1 评论 -
大数据学习——Flume环境搭建
搭建 Flume 环境 搭建 Flume 1.7.0 环境安装拷贝 Hadoop 的包到 Flume 的目录下分发配置完成的 Flume 到其它节点Flume 的使用搭建 Flume 1.7.0 环境我使用了4台虚拟机来搭建相对应的节点,具体情况如下:masterslave1slave2slave3NameNode√SecondaryNameNode...原创 2019-03-04 21:41:03 · 595 阅读 · 0 评论 -
Flume 学习 —— 案例二:Flume 监听日志文件,并将文件上传至 HDFS
案例二:Flume 监听日志文件,并将文件上传至 HDFS创建配置文件1.在这里,我使用 Flume 监听的是 ResourceManage 节点的日志文件2.在 flume 的 conf 同级目录下创建 job 文件夹,并在 job 文件夹内创建 flume-file-hdfs.confcd /usr/wang/flumemkdir jobcd jobvim flume-file-...原创 2019-03-05 08:13:38 · 2577 阅读 · 0 评论 -
Flume 学习 —— 案例三:Flume 监听本地目录,并将目录下文件上传至 HDFS
案例三:Flume 监听本地目录,并将目录下文件上传至 HDFS创建配置文件1.在这里,我使用 Flume 监听的是 /usr/wang/data/upload 目录下的文件2.在 flume 的 conf 同级目录下创建 job 文件夹,并在 job 文件夹内创建 flume-dir-hdfs.confcd /usr/wang/flumemkdir jobcd jobvim flu...原创 2019-03-05 13:56:18 · 3457 阅读 · 0 评论 -
Flume 学习 —— 案例四:Flume 监听本地文件,并将文件分别写至 HDFS 和本地文件夹中
案例四:Flume 监听本地文件,并将文件分别写至 HDFS 和本地文件夹中结构结构中有3个 Agent,分别是监控 File 文件的 a1,接收 a1 的 s1 并写入本地文件夹的 a3 和接收 a1 的 s2 并上传至 HDFS 的 a2创建配置文件1.在这里,我使用 Flume 监听的是 /usr/wang/data/Example4.txt 文件2.在 flume 的 conf...原创 2019-03-06 15:31:09 · 4949 阅读 · 0 评论