Flume六:自定义 Sink

案例

自定义实现类

package com.flume.sinks;

import org.apache.flume.*;
import org.apache.flume.conf.Configurable;
import org.apache.flume.sink.AbstractSink;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

/**
 * Created by HP on 2020/1/19.
 */
public class MySink extends AbstractSink implements Configurable{
    //定义logger对象
    Logger logger;

    //定义两个属性
    private String prefix;
    private String subfix;

    @Override
    public void configure(Context context) {
        //获取logger对象,用于将数据打印到控制台,方便测试查看数据输出的效果
        logger=LoggerFactory.getLogger(MySink.class);

        //读取配置文件,为参数赋值
        prefix=context.getString("prefix","prefix");
        subfix=context.getString("subfix");
    }

    /**
     * 1、定义返回状态
     * 2、获取channel
     * 3、从channel中获取 事务和数据
     * 4、发送数据
     *
     * @return
     * @throws EventDeliveryException
     */
    @Override
    public Status process() throws EventDeliveryException {
        //1、定义返回状态
        Status status=Status.BACKOFF;
        //2、获取当前 Sink 绑定的 Channel
        Channel channel = getChannel();
        //3、获取事务
        Transaction transaction = channel.getTransaction();
        //4、开启事务
        transaction.begin();
        try {
            //5、读取 Channel 中的事件,直到读取到事件结束循环
                //声明事件
            Event event ;
            while (true) {
                event = channel.take();
                if (event != null) {
                    break;
                }
            }
            //6、处理数据:此处就是业务逻辑代码了,将数据写到何方
                //从事件中获取body
            String body = new String(event.getBody());
                //打印事件中的body
            logger.info("["+prefix+" -- "+body+" -- "+subfix+"]");
            //7、提交事务
            transaction.commit();
            //8、修改状态
            status=Status.READY;
        } catch (ChannelException e) {
            //回滚数据
            transaction.rollback();

            status=Status.BACKOFF;
            e.printStackTrace();
        } finally {
            //关闭事务
            transaction.close();
        }
        return status;
    }

}

agent配置文件

#定义
a1.sources = r1
a1.channels = c1
a1.sinks = k1

#source
a1.sources.r1.type = netcat
a1.sources.r1.bind = node2
a1.sources.r1.port = 44444

#channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

#sink
a1.sinks.k1.type = com.flume.sinks.MySink
a1.sinks.k1.prefix = kaishi
a1.sinks.k1.subfix = ceshi

#bind
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

启动

flume-ng agent -n a1 -c conf -f /opt/flume_conf/flume_sink.conf -Dflume.root.logger=INFO,console

 

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
要将CSV文件写入MySQL,可以使用Flume自定义Sink。以下是一些基本步骤: 1. 创建一个自定义Sink类,继承AbstractSink类。 2. 在该类中实现process方法,在该方法中编写将CSV文件数据写入MySQL的逻辑。 3. 在Flume配置文件中指定自定义Sink类,并设置相关参数,例如CSV文件路径、MySQL连接信息等。 下面是一个简单的示例: ```java public class CsvToMysqlSink extends AbstractSink { private String csvPath; private String mysqlUrl; private String mysqlUsername; private String mysqlPassword; private String mysqlTable; private Connection connection; private PreparedStatement statement; @Override public void configure(Context context) { csvPath = context.getString("csvPath"); mysqlUrl = context.getString("mysqlUrl"); mysqlUsername = context.getString("mysqlUsername"); mysqlPassword = context.getString("mysqlPassword"); mysqlTable = context.getString("mysqlTable"); } @Override public void start() { try { Class.forName("com.mysql.jdbc.Driver"); connection = DriverManager.getConnection(mysqlUrl, mysqlUsername, mysqlPassword); statement = connection.prepareStatement("INSERT INTO " + mysqlTable + " VALUES (?, ?, ?)"); } catch (Exception e) { e.printStackTrace(); } } @Override public void stop() { try { statement.close(); connection.close(); } catch (Exception e) { e.printStackTrace(); } } @Override public Status process() throws EventDeliveryException { Status status = null; try { File csvFile = new File(csvPath); BufferedReader br = new BufferedReader(new FileReader(csvFile)); String line; while ((line = br.readLine()) != null) { String[] values = line.split(","); statement.setString(1, values[0]); statement.setString(2, values[1]); statement.setString(3, values[2]); statement.executeUpdate(); } br.close(); status = Status.READY; } catch (Exception e) { e.printStackTrace(); status = Status.BACKOFF; } return status; } } ``` 在Flume配置文件中,可以这样指定自定义Sink类: ```properties agent.sinks.mysqlSink.type = com.example.CsvToMysqlSink agent.sinks.mysqlSink.csvPath = /path/to/csv/file.csv agent.sinks.mysqlSink.mysqlUrl = jdbc:mysql://localhost:3306/mydatabase agent.sinks.mysqlSink.mysqlUsername = myusername agent.sinks.mysqlSink.mysqlPassword = mypassword agent.sinks.mysqlSink.mysqlTable = mytable ``` 这个示例假设CSV文件每行有三个值,分别对应MySQL表中的三个字段。在process方法中,将读取CSV文件中的每一行,并将其分割为三个值,然后使用PreparedStatement将这些值插入到MySQL表中。 注意,这个示例没有包含一些必要的异常处理和错误处理逻辑,需要根据实际情况进行完善。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值