flink批量写入oracle,flink批处理jdbcInputFormat获取oracle clob字段数据

import org.apache.flink.api.common.typeinfo.BasicTypeInfo;

import org.apache.flink.api.common.typeinfo.TypeInformation;

import org.apache.flink.api.java.DataSet;

import org.apache.flink.api.java.ExecutionEnvironment;

import org.apache.flink.api.java.io.jdbc.JDBCInputFormat;

import org.apache.flink.api.java.operators.DataSource;

import org.apache.flink.api.java.typeutils.RowTypeInfo;

import org.apache.flink.table.api.Table;

import org.apache.flink.table.api.java.BatchTableEnvironment;

import org.apache.flink.types.Row;

import org.best.function.ClobToString;

import java.sql.Clob;

public class TestBatchJob {

public static void main(String[] args) throws Exception {

TypeInformation[] fieldTypes =new TypeInformation[]{

BasicTypeInfo.STRING_TYPE_INFO,

BasicTypeInfo.of(Clob.class)

};

RowTypeInfo rowTypeInfo =new RowTypeInfo(fieldTypes);

JDBCInputFormat jdbcInputFormat = JDBCInputFormat.buildJDBCInputFormat()

.setDrivername("oracle.jdbc.OracleDriver")

.setDBUrl("jdbc:oracle:thin:@192.168.0.123:1521:orcl")

.setUsername("test")

.setPassword("123456")

.setQuery("select a,to_clob(b) b from t1 where rownum<=100")

.setRowTypeInfo(rowTypeInfo)

.finish();

final ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();

DataSource s = env.createInput(jdbcInputFormat); //datasource

BatchTableEnvironment tableEnv = BatchTableEnvironment.create(env);

tableEnv.registerFunction("ClobToString", new ClobToString());

tableEnv.registerDataSet("t2", s, "a,b");

tableEnv.sqlQuery("select * from t2").printSchema();

Table query = tableEnv.sqlQuery("select a,ClobToString(b) as b from t2");

DataSet result = tableEnv.toDataSet(query, Row.class);

result.print();

env.execute("test");

}

}

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Flink 可以通过 Oracle JDBC 驱动程序来读取 Oracle 数据库中的数据。在读取大量数据时,为了提高效率,可以使用 Flink批处理模式来读取数据。具体而言,可以使用 FlinkJdbcInputFormat 类来读取 Oracle 数据库中的批量数据。 以下是使用 Flink 读取 Oracle 数据库中批量数据的示例代码: ```java import org.apache.flink.api.java.ExecutionEnvironment; import org.apache.flink.api.java.io.jdbc.JDBCInputFormat; import org.apache.flink.api.java.tuple.Tuple2; import org.apache.flink.types.Row; public class ReadFromOracle { public static void main(String[] args) throws Exception { final ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment(); JDBCInputFormat jdbcInputFormat = JDBCInputFormat.buildJDBCInputFormat() .setDrivername("oracle.jdbc.driver.OracleDriver") .setDBUrl("jdbc:oracle:thin:@//localhost:1521/orcl") .setUsername("username") .setPassword("password") .setQuery("SELECT id, name FROM users") .setRowTypeInfo(...) .finish(); env.createInput(jdbcInputFormat) .map((Row row) -> Tuple2.of(row.getField(0), row.getField(1))) .print(); } } ``` 在上述代码中,我们使用 `JDBCInputFormat` 类来读取 Oracle 数据库中的数据。需要设置数据库的 URL、用户名和密码,并指定要读取的表和字段。同时还需要设置 `RowTypeInfo` 对象来描述读取数据类型。最后,我们使用 `env.createInput(jdbcInputFormat)` 创建一个输入数据集,并使用 `map` 方法将每行数据转换为一个 `Tuple2` 对象,并打印出来。 需要注意的是,如果要读取大量数据,还需要设置适当的并行度和分区策略,以保证读取效率和性能。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值