Flume自定义Sink数据至MySQL

Flume自定义Sink数据至MySQL

一、介绍

Sink不断地轮询Channel中的事件且批量地移除它们,并将这些事件批量写入到存储或索引系统、或者被发送到另一个Flume Agent。

Sink是完全事务性的。在从Channel批量删除数据之前,每个Sink用Channel启动一个事务。批量事件一旦成功写出到存储系统或下一个Flume Agent,Sink就利用Channel提交事务。事务一旦被提交,该Channel从自己的内部缓冲区删除事件。

Sink组件目的地包括hdfs、logger、avro、thrift、ipc、file、null、HBase、solr、自定义。官方提供的Sink类型已经很多,但是有时候并不能满足实际开发当中的需求,此时我们就需要根据实际需求自定义某些Sink。

官方也提供了自定义sink的接口:
https://flume.apache.org/FlumeDeveloperGuide.html#sink根据官方说明自定义MySink需要继承AbstractSink类并实现Configurable接口。

实现相应方法:
configure(Context context)//初始化context(读取配置文件内容)
process()//从Channel读取获取数据(event),这个方法将被循环调用。
使用场景:读取Channel数据写入MySQL或者其他文件系统。

二、需求

使用flume接收(id,name,string)数据,并在Sink端给每条数据进行切分,编写JDBC驱动将数据保存到MySQL数据库。

三、编写MySink

package com.flume.flume;

import org.apache.flume.*;
import org.apache.flume.conf.Configurable;
import org.apache.flume.sink.AbstractSink;

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.SQLException;

public class MySink extends AbstractSink implements Configurable {

    private String msgPrefix;

    /**
     * 用来保存数据,不断调用次方法
     * @return
     * @throws EventDeliveryException
     */
    @Override
    public Status process() throws EventDeliveryException {
        //获取sink对应的channnel
        Channel channel = getChannel();
        Connection connection = null;
        PreparedStatement statement = null;
        //获取事务对象
        Transaction transaction = channel.getTransaction();
        try{
            //开启事务
            transaction.begin();
            //从channel中获取数据
            Event event = channel.take();

            //切割数据
            String data = new String(event.getBody());
            String[] arr = data.split(",");
            String id = arr[0];
            String name = arr[1];
            int age = Integer.parseInt(arr[2]);

            //保存到mysql
            //1、获取connect
            connection = DriverManager.getConnection("jdbc:mysql://hadoop102:3306/test?useSSL=false","root","123321");
            statement = connection.prepareStatement("insert into test values(?,?,?)");
            saveToMysql(id,name,age,connection,statement);
            //模拟数据保存
            //System.out.println(msgPrefix+":"+new String(take.getBody()));
            //提交事务
            transaction.commit();

            return Status.READY;
        }catch (Exception e){
            transaction.rollback();
        }finally {
            //关闭事务
            transaction.close();
            if(statement!=null)
            //5、关闭
            {
                try {
                    statement.close();
                } catch (SQLException e) {
                    e.printStackTrace();
                }
            }
            if(connection!=null) {
                try {
                    connection.close();
                } catch (SQLException e) {
                    e.printStackTrace();
                }
            }
        }

        return Status.BACKOFF;
    }

    public void saveToMysql(String id,String name,int age,Connection connection,PreparedStatement statement) throws SQLException {

        //2、获取statement对象
        //sql注入 【 select * from table where name='zhangsan' or 1=1】
        //connection.createStatement();

        //3、赋值
        statement.setString(1,id);
        statement.setString(2,name);
        statement.setInt(3,age);
        System.out.println(id+","+name+","+age);
        //4、保存
        statement.executeUpdate();


    }
    /**
     * 获取sink的配置属性
     * @param context
     */
    @Override
    public void configure(Context context) {

        msgPrefix = context.getString("msg.prefix");

    }
}

四、编写Flume脚本

#定义agent
a1.sources = r1
a1.channels = c1
a1.sinks = k1

#定义source
a1.sources.r1.type = netcat
a1.sources.r1.bind = 0.0.0.0
a1.sources.r1.port = 9999

#定义channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 1000

#定义sink
a1.sinks.k1.type = com.atguigu.flume.MySink
a1.sinks.k1.msg.prefix = message

#定义source、channel、sink之间的绑定关系
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

五、测试

  1. 启动flume
[hadoop@hadoop102 ~]$ cd /opt/module/flume/
[hadoop@hadoop102 flume]$ bin/flume-ng agent -c conf/ -n a1 -f job/mysik.config -Dflume.root.logger=INFO,console
  1. 启动nc端口
[hadoop@hadoop102 ~]$ nc hadoop102 9999
1,ttt,8
OK
  1. 客户端输出
    在这里插入图片描述

  2. 查看MySQL数据库
    在这里插入图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
要将CSV文件写入MySQL,可以使用Flume自定义Sink。以下是一些基本步骤: 1. 创建一个自定义Sink类,继承AbstractSink类。 2. 在该类中实现process方法,在该方法中编写将CSV文件数据写入MySQL的逻辑。 3. 在Flume配置文件中指定自定义Sink类,并设置相关参数,例如CSV文件路径、MySQL连接信息等。 下面是一个简单的示例: ```java public class CsvToMysqlSink extends AbstractSink { private String csvPath; private String mysqlUrl; private String mysqlUsername; private String mysqlPassword; private String mysqlTable; private Connection connection; private PreparedStatement statement; @Override public void configure(Context context) { csvPath = context.getString("csvPath"); mysqlUrl = context.getString("mysqlUrl"); mysqlUsername = context.getString("mysqlUsername"); mysqlPassword = context.getString("mysqlPassword"); mysqlTable = context.getString("mysqlTable"); } @Override public void start() { try { Class.forName("com.mysql.jdbc.Driver"); connection = DriverManager.getConnection(mysqlUrl, mysqlUsername, mysqlPassword); statement = connection.prepareStatement("INSERT INTO " + mysqlTable + " VALUES (?, ?, ?)"); } catch (Exception e) { e.printStackTrace(); } } @Override public void stop() { try { statement.close(); connection.close(); } catch (Exception e) { e.printStackTrace(); } } @Override public Status process() throws EventDeliveryException { Status status = null; try { File csvFile = new File(csvPath); BufferedReader br = new BufferedReader(new FileReader(csvFile)); String line; while ((line = br.readLine()) != null) { String[] values = line.split(","); statement.setString(1, values[0]); statement.setString(2, values[1]); statement.setString(3, values[2]); statement.executeUpdate(); } br.close(); status = Status.READY; } catch (Exception e) { e.printStackTrace(); status = Status.BACKOFF; } return status; } } ``` 在Flume配置文件中,可以这样指定自定义Sink类: ```properties agent.sinks.mysqlSink.type = com.example.CsvToMysqlSink agent.sinks.mysqlSink.csvPath = /path/to/csv/file.csv agent.sinks.mysqlSink.mysqlUrl = jdbc:mysql://localhost:3306/mydatabase agent.sinks.mysqlSink.mysqlUsername = myusername agent.sinks.mysqlSink.mysqlPassword = mypassword agent.sinks.mysqlSink.mysqlTable = mytable ``` 这个示例假设CSV文件每行有三个值,分别对应MySQL表中的三个字段。在process方法中,将读取CSV文件中的每一行,并将其分割为三个值,然后使用PreparedStatement将这些值插入到MySQL表中。 注意,这个示例没有包含一些必要的异常处理和错误处理逻辑,需要根据实际情况进行完善。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值