Flume
Flume
梁云亮
电 话:13264494458
微 信:13264494458
扣 扣:369950806
展开
-
Kafka2.4.1与Flume1.9.0集成
原理整合示例第一步:在flume下的job文件夹中编写Flume配置文件flume-kafka.conf# definea1.sources = r1a1.sinks = k1a1.channels = c1# sourcea1.sources.r1.type = execa1.sources.r1.command = tail -F -c +0 /usr/local/te...原创 2020-03-18 20:18:18 · 457 阅读 · 0 评论 -
Flume实时读取数据到MySQL
准备工作:在MySQL的db_test数据库下创建表tb_user:CREATE TABLE `tb_user` ( `id` int(11) NOT NULL AUTO_INCREMENT, `username` varchar(255) DEFAULT NULL, `password` varchar(255) DEFAULT NULL, PRIMARY KEY (`id`...原创 2020-03-17 21:15:10 · 1999 阅读 · 0 评论 -
Flume准实时采集MySQL数据
需求利用Flume将MySQL表数据准实时抽取到HDFS-软件版本Flume:1.9.0MySQL:5.7db_test下面有tb_dept表作为Flume的source:CREATE TABLE `tb_dept` ( `deptno` tinyint(2) UNSIGNED NOT NULL AUTO_INCREMENT COMMENT '部门编号', `dname`...原创 2020-03-17 13:59:52 · 3356 阅读 · 1 评论 -
Flume:多数据源汇总
需求hcslave1上的Flume-1监控文件/usr/local/test/demo.log,hcslave2上的Flume-2监控某一个端口的数据流,Flume-1与Flume-2将数据发送给hcmaster上的Flume-3,Flume-3将最终数据打印到控制台。实现hcslave1中flume-logger-flume2.conf:# Name the component...原创 2020-03-16 18:40:07 · 419 阅读 · 0 评论 -
Flume:单数据源多输出 之 sink组实现
需求使用Flume-1监控控制台,Flume-1将变动内容传递给Flume-2,Flume-2负责输出到控制台。同时Flume-1将变动内容传递给Flume-3,Flume-3也负责输出到控制台。实现第一步:在flume目录下创建文件夹job,然后在其下面创建配置文件:fume-netcat-flume.conf# Name the components on this agent...原创 2020-03-16 16:44:46 · 516 阅读 · 0 评论 -
Flume:单数据源多输出 之 选择器实现
需求使用Flume-1监控文件Hive日志,Flume-1将变动内容传递给Flume-2,Flume-2负责存储到HDFS。同时Flume-1将变动内容传递给Flume-3,Flume-3负责输出到Local FileSystem。实现第一步:在flume目录下创建文件夹job,然后在其下面创建配置文件flume-dir-hdfs.conf:flume-file-flume.conf...原创 2020-03-16 12:58:06 · 418 阅读 · 0 评论 -
Flume实时读目录到HDFS
需求让Flume监控某一个文件夹实现第一步:在flume目录下创建文件夹job,然后在其下面创建配置文件flume-dir-hdfs.conf:a3.sources = r3a3.sinks = k3a3.channels = c3# Describe/configure the sourcea3.sources.r3.type = spooldira3.sources.r3....原创 2020-03-16 10:28:29 · 182 阅读 · 0 评论 -
Flume实时读hive日志到HDFS
需求实时监控Hive日志,并上传到HDFS中实现第一步:在flume目录下创建文件夹job,然后在其下面创建配置文件flume-telnet-logger.conf:# Name the components on this agenta2.sources = r2a2.sinks = k2a2.channels = c2# Describe/configure the sour...原创 2020-03-16 00:12:47 · 624 阅读 · 0 评论 -
Flume安装及测试
前置博客安装telnet安装将apache-flume-1.9.0-bin.tar.gz上传到并解压到linux的/url/local目录下将flume/conf下的flume-env.sh.template文件修改为flume-env.sh,并配置flume-env.sh文件测试:示例:监听指定端口telnet发送来的数据第一步:在flume目录下创建文件夹job,然后在其下...原创 2020-03-15 22:21:24 · 1870 阅读 · 0 评论 -
yum安装telnet
简介Telnet协议是TCP/IP协议族中的一员,是Internet远程登录服务的标准协议和主要方式。它为用户提供了在本地计算机上完成远程主机工作的能力。在终端使用者的电脑上使用telnet程序,用它连接到服务器。终端使用者可以在telnet程序中输入命令,这些命令会在服务器上运行,就像直接在服务器的控制台上输入一样。可以在本地就能控制服务器。要开始一个telnet会话,必须输入用户名和密码来登...原创 2020-03-14 23:00:51 · 44636 阅读 · 3 评论 -
Flume
FlumeFlume最早是Cloudera提供的日志收集系统。Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。...原创 2019-11-12 19:42:28 · 375 阅读 · 0 评论