flink sql 从filesystem读取数据写入filesystem实践 --错误记录

最新推荐文章于 2024-03-11 14:14:35 发布

house.zhang

最新推荐文章于 2024-03-11 14:14:35 发布

阅读量2.1k

点赞数 1

分类专栏： flink 文章标签： flink 大数据 maven

本文链接：https://blog.csdn.net/pop_xiaohao/article/details/110521932

版权

本文记录了使用Flink SQL从文件系统读取数据并写入文件系统的实践中遇到的问题及解决方法。主要问题包括：1) 初始运行时的类不存在错误，通过添加Maven依赖解决；2) Flink CSV格式工厂类不匹配，原因是Flink版本与依赖版本不一致，调整为对应版本后问题解决。总结中提到，Flink SQL在快速发展中可能存在一些问题，特别是在Python中使用Flink SQL时，由于底层是Java执行，通过Socket通信，可能会遇到数据插入失败但返回成功的情况，这种问题的排查相当困难。

摘要由CSDN通过智能技术生成

最近在验证flink sql 从source 读取数据写入到sink，验证一些场景，下面是简单的从一个文件当中读取数据写入到一个文件当中，这其中也遇到不少问题

import org.apache.flink.table.api.EnvironmentSettings;
import org.apache.flink.table.api.TableEnvironment;

//前提条件，在tmp目录下的input文件，随便输入一些单词就好
public class JavaSqlWordDemo {
   
	public static void main(String[] args)  throws Exception{
   


		EnvironmentSettings settings = EnvironmentSettings.newInstance().build();
		TableEnvironment tableEnvironment = TableEnvironment.create(settings);

		String source_ddl  ="create table filesourcev (word STRING) with ("+
				"'connector' = 'filesystem',"+
				"'format' = 'csv',"+
				"'path' = 'file:///tmp/input')";

		tableEnvironment.executeSql(source_ddl);
		tableEnvironment.executeSql("select * from filesourcev").print();

		String execsql  ="create table myfilesink (word STRING) with ("+
				"'connector' = 'filesystem',"+
				"'format' = 'csv',"+
				"'path' = 'file:///tmp/xxdss')";

    tableEnvironment.executeSql(execsql);
    tableEnvironment.executeSql(