24、Flink 的table api与sql之Catalogs（java api操作视图）-3

已于 2024-04-10 12:35:13 修改
阅读量1.8w 收藏 1
点赞数 2
分类专栏： # Flink专栏 文章标签： flink sql flink 流批一体化 flink sql hivecatalog flink hive flink 视图
于 2023-10-16 17:07:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chenwewi520feng/article/details/133862678
版权

Flink 系列文章

一、Flink 专栏

Flink 专栏系统介绍某一知识点，并辅以具体的示例进行说明。

  • 1、Flink 部署系列
    本部分介绍Flink的部署、配置相关基础内容。

  • 2、Flink基础系列
    本部分介绍Flink 的基础部分，比如术语、架构、编程模型、编程指南、基本的datastream api用法、四大基石等内容。

  • 3、Flik Table API和SQL基础系列
    本部分介绍Flink Table Api和SQL的基本用法，比如Table API和SQL创建库、表用法、查询、窗口函数、catalog等等内容。

  • 4、Flik Table API和SQL提高与应用系列
    本部分是table api 和sql的应用部分，和实际的生产应用联系更为密切，以及有一定开发难度的内容。

  • 5、Flink 监控系列
    本部分和实际的运维、监控工作相关。

二、Flink 示例专栏

Flink 示例专栏是 Flink 专栏的辅助说明，一般不会介绍知识点的信息，更多的是提供一个一个可以具体使用的示例。本专栏不再分目录，通过链接即可看出介绍的内容。

两专栏的所有文章入口点击：Flink 系列文章汇总索引

文章目录

本文简单介绍了通过java api操作视图，提供了三个示例，即sql实现和java api的两种实现方式。
本文依赖flink和hive、hadoop集群能正常使用。
本文示例java api的实现是通过Flink 1.13.5版本做的示例，SQL 如果没有特别说明则是Flink 1.17版本。

五、Catalog API

3、视图操作

1）、官方示例

// create view
catalog.createTable(new ObjectPath("mydb", "myview"), new CatalogViewImpl(...), false);

// drop view
catalog.dropTable(new ObjectPath("mydb", "myview"), false);

// alter view
catalog.alterTable(new ObjectPath("mydb", "mytable"), new CatalogViewImpl(...), false);

// rename view
catalog.renameTable(new ObjectPath("mydb", "myview"), "my_new_view", false);

// get view
catalog.getTable("myview");

// check if a view exist or not
catalog.tableExists("mytable");

// list views in a database
catalog.listViews("mydb");

2）、SQL创建HIVE 视图示例

1、maven依赖
properties>
		<encoding>UTF-8</encoding>
		<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
		<maven.compiler.source>1.8</maven.compiler.source>
		<maven.compiler.target>1.8</maven.compiler.target>
		<java.version>1.8</java.version>
		<scala.version>2.12</scala.version>
		<flink.version>1.13.6</flink.version>
	</properties>

	<dependencies>
		<dependency>
			<groupId>org.apache.flink</groupId>
			<artifactId>flink-clients_2.11</artifactId>
			<version>${flink.version}</version>
		</dependency>
		<dependency>
			<groupId>org.apache.flink</groupId>
			<artifactId>flink-scala_2.11</artifactId>
			<version>${flink.version}</version>
		</dependency>
		<dependency>
			<groupId>org.apache.flink</groupId>
			<artifactId>flink-java</artifactId>
			<version>${flink.version}</version>
			<scope>provided</scope> 
		</dependency>
		<dependency>
			<groupId>org.apache.flink</groupId>
			<artifactId>flink-streaming-scala_2.11</artifactId>
			<version>${flink.version}</version>
		</dependency>
		<dependency>
			<groupId>org.apache.flink</groupId>
			<artifactId>flink-streaming-java_2.11</artifactId>
			<version>${flink.version}</version>
			<scope>provided</scope>
		</dependency>
		<dependency>
			<groupId>org.apache.flink</groupId>
			<artifactId>flink-table-api-scala-bridge_2.11</artifactId>
			<version>${flink.version}</version>
		</dependency>
		<dependency>
			<groupId>org.apache.flink</groupId>
			<artifactId>flink-table-api-java-bridge_2.11</artifactId>
			<version>${flink.version}</version>
		</dependency>
		<!-- blink执行计划,1.11+默认的 -->
		<dependency>
			<groupId>org.apache.flink</groupId>
			<artifactId>flink-table-planner-blink_2.11</artifactId>
			<version>${flink.version}</version>
			<scope>provided</scope> 
		</dependency>
		<dependency>
			<groupId>org.apache.flink</groupId>
			<artifactId>flink-table-common</artifactId>
			<version>${flink.version}</version>
		</dependency>
		<!-- flink连接器 -->
		<dependency>
			<groupId>org.apache.flink</groupId>
			<artifactId>flink-connector-kafka_2.12</artifactId>
			<version>${flink.version}</version>
			<!-- <scope>provided</scope> -->
		</dependency>
		<dependency>
			<groupId>org.apache.flink</groupId>
			<artifactId>flink-sql-connector-kafka_2.12</artifactId>
			<version>${flink.version}</version>
			<scope>provided</scope>
		</dependency>
		<dependency>
			<groupId>org.apache.flink</groupId>
			<artifactId>flink-connector-jdbc_2.12</artifactId>
			<version>${flink.version}</version>
			<scope>provided</scope>
		</dependency>
		<dependency>
			<groupId>org.apache.flink</groupId>
			<artifactId>flink-csv</artifactId>
			<version>${flink.version}</version>
		</dependency>
		<dependency>
			<groupId>org.apache.flink</groupId>
			<artifactId>flink-json</artifactId>
			<version>${flink.version}</version>
		</dependency>

		<dependency>
			<groupId>org.apache.flink</groupId>
			<artifactId>flink-connector-hive_2.12</artifactId>
			<version>${flink.version}</version>
			<scope>provided</scope> 
		</dependency>
		<dependency>
			<groupId>org.apache.hive</groupId>
			<artifactId>hive-metastore</artifactId>
			<version>2.1.0</version>
		</dependency>
		<dependency>
			<groupId>org.apache.hive</groupId>
			<artifactId>hive-exec</artifactId>
			<version>3.1.2</version>
			<scope>provided</scope> 
		</dependency>

		<dependency>
			<groupId>org.apache.flink</groupId>
			<artifactId>flink-shaded-hadoop-2-uber</artifactId>
			<version>2.7.5-10.0</version>
			<!-- <scope>provided</scope> -->
		</dependency>

		<dependency>
			<groupId>mysql</groupId>
			<artifactId>mysql-connector-java</artifactId>
			<version>5.1.38</version>
			<scope>provided</scope>
			<!--<version>8.0.20</version> -->
		</dependency>

		<!-- 日志 -->
		<dependency>
			<groupId>org.slf4j</groupId>
			<artifactId>slf4j-log4j12</artifactId>
			<version>1.7.7</version>
			<scope>runtime</scope>
		</dependency>
		<dependency>
			<groupId>log4j</groupId>
			<artifactId>log4j</artifactId>
			<version>1.2.17</version>
			<scope>runtime</scope>
		</dependency>

		<dependency>
			<groupId>com.alibaba</groupId>
			<artifactId>fastjson</artifactId>
			<version>1.2.44</version>
		</dependency>

		<dependency>
			<groupId>org.projectlombok</groupId>
			<artifactId>lombok</artifactId>
			<version>1.18.2</version>
			<!-- <scope>provided</scope> -->
		</dependency>

	</dependencies>

	<build>
		<sourceDirectory>src/main/java</sourceDirectory>
		<plugins>
			<!-- 编译插件 -->
			<plugin>
				<groupId>org.apache.maven.plugins</groupId>
				<artifactId>maven-compiler-plugin</artifactId>
				<version>3.5.1</version>
				<configuration>
					<source>1.8</source>
					<target>1.8</target>
					<!--<encoding>${project.build.sourceEncoding}</encoding> -->
				</configuration>
			</plugin>
			<plugin>
				<groupId>org.apache.maven.plugins</groupId>
				<artifactId>maven-surefire-plugin</artifactId>
				<version>2.18.1</version>
				<configuration>
					<useFile>false</useFile>
					<disableXmlReport>true</disableXmlReport>
					<includes>
						<include>**/*Test.*</include>
						<include>**/*Suite.*</include>
					</includes>
				</configuration>
			</plugin>
			<!-- 打包插件(会包含所有依赖) -->
			<plugin>
				<groupId>org.apache.maven.plugins</groupId>
				<artifactId>maven-shade-plugin</artifactId>
				<version>2.3</version>
				<executions>
					<execution>
						<phase>package</phase>
						<goals>
							<goal>shade</goal>
						</goals>
						<configuration>
							<filters>
								<filter>
									<artifact>*:*</artifact>
									<excludes>
										<!-- zip -d learn_spark.jar META-INF/*.RSA META-INF/*.DSA META-INF/*.SF -->
										<exclude>META-INF/*.SF</exclude>
										<exclude>META-INF/*.DSA</exclude>
										<exclude>META-INF/*.RSA</exclude>
									</excludes>
								</filter>
							</filters>
							<transformers>
								<transformer
									implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
									<!-- 设置jar包的入口类(可选) -->
									<mainClass> org.table_sql.TestHiveViewBySQLDemo</mainClass>
								</transformer>
							</transformers>
						</configuration>
					</execution>
				</executions>
			</plugin>
		</plugins>
	</build>
2、代码
package org.table_sql;

import java.util.HashMap;
import java.util.List;

import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.table.api.SqlDialect;
import org.apache.flink.table.api.bridge.java.StreamTableEnvironment;
import org.apache.flink.table.catalog.CatalogDatabaseImpl;
import org.apache.flink.table.catalog.CatalogView;
import org.apache.flink.table.catalog.ObjectPath;
import org.apache.flink.table.catalog.hive.HiveCatalog;
import org.apache.flink.table.module.hive.HiveModule;
import org.apache.flink.types.Row;
import org.apache.flink.util.CollectionUtil;

/**
 * @author alanchan
 *
 */
public class TestHiveViewBySQLDemo {
	public static final String tableName = "viewtest";
	public static final String hive_create_table_sql = "CREATE  TABLE  " + tableName +  " (\n" + 
			  "  id INT,\n" + 
			  "  name STRING,\n" + 
			  "  age INT" + ") " + 
			  "TBLPROPERTIES (\n" + 
			  "  'sink.partition-commit.delay'='5 s',\n" + 
			  "  'sink.partition-commit.trigger'='partition-time',\n" + 
			  "  'sink.partition-commit.policy.kind'='metastore,success-file'" + ")";

	/**
	 * @param args
	 * @throws Exception
	 */
	public static void main(String[] args) throws Exception {
		StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
		StreamTableEnvironment tenv = StreamTableEnvironment.create(env);

		String moduleName = "myhive";
		String hiveVersion = "3.1.2";
		tenv.loadModule(moduleName, new HiveModule(hiveVersion));

		String name = "alan_hive";
		String defaultDatabase = "default";
		String databaseName = "viewtest_db";
		String hiveConfDir = "/usr/local/bigdata/apache-hive-3.1.2-bin/conf";

		HiveCatalog hiveCatalog = new HiveCatalog(name, defaultDatabase, hiveConfDir);
		tenv.registerCatalog(name, hiveCatalog);
		tenv.useCatalog(name);
		tenv.listDatabases();
		hiveCatalog.createDatabase(databaseName, new CatalogDatabaseImpl(new HashMap(), hiveConfDir) {
		}, true);

//		tenv.executeSql("create database "+databaseName);
		tenv.useDatabase(databaseName);

		// 创建第一个视图viewName_byTable
		String selectSQL = "select * from " + tableName;
		String viewName_byTable = "test_view_table_V";
		String createViewSQL = "create view " + viewName_byTable + " as " + selectSQL;

		tenv.getConfig().setSqlDialect(SqlDialect.HIVE);
		tenv.executeSql(hive_create_table_sql);

//		tenv.getConfig().setSqlDialect(SqlDialect.DEFAULT);

		String insertSQL = "insert into " + tableName + " values (1,'alan',18)";
		tenv.executeSql(insertSQL);

		tenv.executeSql(createViewSQL);
		tenv.listViews();

		CatalogView catalogView = (CatalogView) hiveCatalog.getTable(new ObjectPath(databaseName, viewName_byTable));

		List<Row> results = CollectionUtil.iteratorToList(tenv.executeSql("select * from " + viewName_byTable).collect());

		for (Row row : results) {
			System.out.println("test_view_table_V: " + row.toString());
		}

		// 创建第二个视图
		String viewName_byView = "test_view_view_V";
		tenv.executeSql("create view " + viewName_byView + " (v2_id,v2_name,v2_age) comment 'test_view_view_V comment' as select * from " + viewName_byTable);
		catalogView = (CatalogView) hiveCatalog.getTable(new ObjectPath(databaseName, viewName_byView));

		results = CollectionUtil.iteratorToList(tenv.executeSql("select * from " + viewName_byView).collect());
		System.out.println("test_view_view_V comment : " + catalogView.getComment());

		for (Row row : results) {
			System.out.println("test_view_view_V : " + row.toString());
		}
		tenv.executeSql("drop database " + databaseName + " cascade");
	}

}
3、运行结果

前提是flink的集群可用。使用maven打包成jar。

[alanchan@server2 bin]$ flink run  /usr/local/bigdata/flink-1.13.5/examples/table/table_sql-0.0.2-SNAPSHOT.jar

Hive Session ID = ed6d5c9b-e00f-4881-840d-24c72aba6db7
Hive Session ID = 14445dc8-1f08-4f0f-bb45-aba8c6f52174
Job has been submitted with JobID bff7b59367bd5de6e778b442c4cc4404
Hive Session ID = 4c16f4fc-4c10-4353-b322-e6633e3ebe3d
Hive Session ID = 57949f09-bdcb-497f-a85c-ed9766fc4ce3
2023-10-13 02:42:24,891 INFO  org.apache.hadoop.mapred.FileInputFormat                     [] - Total input files to process : 0
Job has been submitted with JobID 80e48bb76e3d580412fdcdc434a8a979
test_view_table_V: +I[1, alan, 18]
Hive Session ID = a73d5b93-2129-4159-ad5e-0814df77e987
Hive Session ID = e4ae1a79-4d5e-4835-81de-ebc2041eedf9
2023-10-13 02:42:33,648 INFO  org.apache.hadoop.mapred.FileInputFormat                     [] - Total input files to process : 1
Job has been submitted with JobID c228d9ce3bdce91dc68bff75d14db1e5
test_view_view_V comment : test_view_view_V comment
test_view_view_V : +I[1, alan, 18]
Hive Session ID = e4a38393-d760-4bd3-8d8b-864cbe0daba7

3）、API创建Hive 视图示例

通过api创建视图相对比较麻烦，且存在版本更新的过期方法情况。
通过TableSchema和CatalogViewImpl创建视图则已过期，当前推荐使用通过CatalogView和ResolvedSchema来创建视图。
另外需要注意的是下面两个参数的区别
String originalQuery,原始的sql
String expandedQuery,带有数据库名称的表，甚至包含hivecatalog

例如：如果使用default作为默认的数据库，查询语句为select * from test1，则
originalQuery = ”select name,value from test1“即可，
expandedQuery = “selecttest1.name, test1.value from default.test1”

修改、删除视图等操作比较简单，不再赘述。

1、maven依赖

此处使用的依赖与上示例一致，mainclass变成本示例的类，不再赘述。

2、代码
import static org.apache.flink.util.Preconditions.checkNotNull;

import java.util.ArrayList;
import java.util.Arrays;
import java.util.Collections;
import java.util.HashMap;
import java.util.List;
import org.apache.flink.api.common.typeinfo.Types;
import org.apache.flink.api.common.typeinfo.TypeInformation;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.table.api.DataTypes;
import org.apache.flink.table.api.Schema;
import org.apache.flink.table.api.SqlDialect;
import org.apache.flink.table.api.TableSchema;
import org.apache.flink.table.api.bridge.java.StreamTableEnvironment;
import org.apache.flink.table.catalog.CatalogBaseTable;
import org.apache.flink.table.catalog.CatalogDatabaseImpl;
import org.apache.flink.table.catalog.CatalogView;
import org.apache.flink.table.catalog.CatalogViewImpl;
import org.apache.flink.table.catalog.ObjectPath;
import org.apache.flink.table.catalog.ResolvedCatalogView;
import org.apache.flink.table.catalog.ResolvedSchema;
import org.apache.flink.table.catalog.exceptions.CatalogException;
import org.apache.flink.table.catalog.exceptions.DatabaseNotExistException;
import org.apache.flink.table.catalog.exceptions.TableAlreadyExistException;
import org.apache.flink.table.catalog.hive.HiveCatalog;
import org.apache.flink.table.module.hive.HiveModule;
import org.apache.flink.types.Row;
import org.apache.flink.util.CollectionUtil;
import org.apache.flink.table.catalog.CatalogBaseTable;
import org.apache.flink.table.catalog.Column;

/**
 * @author alanchan
 *
 */
public class TestHiveViewByAPIDemo {
	public static final String tableName = "viewtest";
	public static final String hive_create_table_sql = "CREATE  TABLE  " + tableName +  " (\n" + 
			  "  id INT,\n" + 
			  "  name STRING,\n" + 
			  "  age INT" + ") " + 
			  "TBLPROPERTIES (\n" + 
			  "  'sink.partition-commit.delay'='5 s',\n" + 
			  "  'sink.partition-commit.trigger'='partition-time',\n" + 
			  "  'sink.partition-commit.policy.kind'='metastore,success-file'" + ")";

	/**
	 * @param args
	 * @throws Exception
	 */
	public static void main(String[] args) throws Exception {
		StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
		StreamTableEnvironment tenv = StreamTableEnvironment.create(env);
		System.setProperty("HADOOP_USER_NAME", "alanchan");
		String moduleName = "myhive";
		String hiveVersion = "3.1.2";
		tenv.loadModule(moduleName, new HiveModule(hiveVersion));

		String catalogName = "alan_hive";
		String defaultDatabase = "default";
		String databaseName = "viewtest_db";
		String hiveConfDir = "/usr/local/bigdata/apache-hive-3.1.2-bin/conf";

		HiveCatalog hiveCatalog = new HiveCatalog(catalogName, defaultDatabase, hiveConfDir);
		tenv.registerCatalog(catalogName, hiveCatalog);
		tenv.useCatalog(catalogName);
		tenv.listDatabases();
		
		hiveCatalog.createDatabase(databaseName, new CatalogDatabaseImpl(new HashMap(), hiveConfDir) {
		}, true);

//		tenv.executeSql("create database "+databaseName);
		tenv.useDatabase(databaseName);

		tenv.getConfig().setSqlDialect(SqlDialect.HIVE);
		tenv.executeSql(hive_create_table_sql);
		String insertSQL = "insert into " + tableName + " values (1,'alan',18)";
		String insertSQL2 = "insert into " + tableName + " values (2,'alan2',19)";
		String insertSQL3 = "insert into " + tableName + " values (3,'alan3',20)";
		tenv.executeSql(insertSQL);
		tenv.executeSql(insertSQL2);
		tenv.executeSql(insertSQL3);
		
		tenv.getConfig().setSqlDialect(SqlDialect.DEFAULT);
		String viewName1 = "test_view_table_V";
		String viewName2 = "test_view_table_V2";
		
		ObjectPath path1= new ObjectPath(databaseName, viewName1);
		//ObjectPath.fromString("viewtest_db.test_view_table_V2")
		ObjectPath path2= new ObjectPath(databaseName, viewName2);
		
		String originalQuery = "SELECT id, name, age FROM "+tableName+" WHERE id >=1 ";
//		String originalQuery = String.format("select * from %s",tableName+" WHERE id >=1 ");
		System.out.println("originalQuery:"+originalQuery);
		String expandedQuery = "SELECT  id, name, age FROM "+databaseName+"."+tableName+"  WHERE id >=1 ";		
//		String expandedQuery = String.format("select * from %s.%s", catalogName, path1.getFullName());
		System.out.println("expandedQuery:"+expandedQuery);
		String comment = "this is a comment";
		
		// 创建视图，第一种方式(通过TableSchema和CatalogViewImpl)，已声明过期	
		createView1(originalQuery,expandedQuery,comment,hiveCatalog,path1);
		// 查询视图
		List<Row> results = CollectionUtil.iteratorToList( tenv.executeSql("select * from " + viewName1).collect());
		for (Row row : results) {
			System.out.println("test_view_table_V: " + row.toString());
		}
		
		// 创建视图，第二种方式（通过Schema和ResolvedSchema）
		createView2(originalQuery,expandedQuery,comment,hiveCatalog,path2);
		
		List<Row> results2 = CollectionUtil.iteratorToList( tenv.executeSql("select * from viewtest_db.test_view_table_V2").collect());
		for (Row row : results2) {
			System.out.println("test_view_table_V2: " + row.toString());
		}

		tenv.executeSql("drop database " + databaseName + " cascade");
	}
	
	static void createView1(String originalQuery,String expandedQuery,String comment,HiveCatalog hiveCatalog,ObjectPath path) throws Exception {
		TableSchema viewSchema = new TableSchema(new String[]{"id", "name","age"}, new TypeInformation[]{Types.INT, Types.STRING,Types.INT});
		CatalogBaseTable viewTable = new CatalogViewImpl(
				originalQuery,
				expandedQuery,
				viewSchema, 
				new HashMap(),
				comment);
		hiveCatalog.createTable(path, viewTable, false);
	}
	
	static void createView2(String originalQuery,String expandedQuery,String comment,HiveCatalog hiveCatalog,ObjectPath path) throws Exception {
		ResolvedSchema resolvedSchema = new ResolvedSchema(
                Arrays.asList(
                        Column.physical("id", DataTypes.INT()),
                        Column.physical("name", DataTypes.STRING()),
                        Column.physical("age", DataTypes.INT())),
                Collections.emptyList(),
                null);
		
		 CatalogView origin =  CatalogView.of(
	                        Schema.newBuilder().fromResolvedSchema(resolvedSchema).build(),
	                        comment,
//	                        String.format("select * from tt"),
//	                        String.format("select * from %s.%s", TEST_CATALOG_NAME, path1.getFullName()),
	                        originalQuery,
	                        expandedQuery,
	                        Collections.emptyMap());
			CatalogView view = new ResolvedCatalogView(origin, resolvedSchema);
//			ObjectPath.fromString("viewtest_db.test_view_table_V2")
		hiveCatalog.createTable(path, view, false);
		
	}

}
3、运行结果
[alanchan@server2 bin]$ flink run  /usr/local/bigdata/flink-1.13.5/examples/table/table_sql-0.0.3-SNAPSHOT.jar

Hive Session ID = ab4d159a-b2d3-489e-988f-eebdc43d9517
Hive Session ID = 391de19c-5d5a-4a83-a88c-c43cca71fc63
Job has been submitted with JobID a880510032165523f3f2a559c5ab4ec9
Hive Session ID = cb063c31-eaf2-44e3-8fc0-9e8d2a6a3a5d
Job has been submitted with JobID cb05286c404b561306f8eb3969c3456a
Hive Session ID = 8132b36e-c9e2-41a2-8f42-3fe842e0991f
Job has been submitted with JobID 264aef7da1b17598bda159d946827dea
Hive Session ID = 7657be14-8188-4362-84a9-4c84c596021b
2023-10-16 07:21:19,073 INFO  org.apache.hadoop.mapred.FileInputFormat                     [] - Total input files to process : 3
Job has been submitted with JobID 05c2bb7265b0430cb12e00237f18444b
test_view_table_V: +I[1, alan, 18]
test_view_table_V: +I[2, alan2, 19]
test_view_table_V: +I[3, alan3, 20]
Hive Session ID = 7bb01c0d-03c9-413a-9040-c89676cec3b9
2023-10-16 07:21:27,512 INFO  org.apache.hadoop.mapred.FileInputFormat                     [] - Total input files to process : 3
Job has been submitted with JobID 79130d1fe56d88a784980d16e7f1cfb4
test_view_table_V2: +I[1, alan, 18]
test_view_table_V2: +I[2, alan2, 19]
test_view_table_V2: +I[3, alan3, 20]
Hive Session ID = 6d44ea95-f733-4c56-8da4-e2687a4bf945

本文简单介绍了通过java api操作视图，提供了三个示例，即sql实现和java api的两种实现方式。

一瓢一瓢的饮 alanchanchn
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
flink-table-api-java-bridge_2.11-1.12.7-API文档-中文版.zip
07-12
赠送jar包：flink-table-api-java-bridge_2.11-1.12.7.jar； 赠送原API文档：flink-table-api-java-bridge_2.11-1.12.7-javadoc.jar； 赠送源代码：flink-table-api-java-bridge_2.11-1.12.7-sources.jar； 赠送...
24、Flink 的table api与sql之Catalogs（java api操作数据库、表）-2
alanchanchn的专栏
10-16 1万+
1、Flink 部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink 的table api与sql的基本概念、通用api介绍及入门示例 14、Flink 的table api与sql之数据类型: 内置数据类型以及它们的属性 15、Flink 的table api与sql之流式概念-详解的介绍了动态表、时间属性配置（如何处理更新结果）、时态表、流上的join、流上的确定性以及查询配置 16、Flink 的table api与sql之
42、Flink 的table api与sql之Hive Catalog
alanchanchn的专栏
08-30 2万+
如果hive的其他机器上如果hive-site.xml文件中配置的如下远程访问hiveserver2的，则需要按照如下方式配置，否则flink不能访问hive的metadata服务。对于同时拥有 Hive 和 Flink 部署的用户，HiveCatalog 使他们能够使用 Hive Metastore 来管理 Flink 的元数据。本示例是介绍flink集成hive的内容，主要体现的是flink和hive共用hive的元数据。以上，以一个详细的示例介绍了Flink与hive的集成，其中有很多的坑都解决了。
11、Flink Table API & SQL - Catalogs（使用概览和样例）
飞朋的博客
08-26 6335
Catalogs提供了元数据，例如数据库、表、分区、视图、函数和访问存储在数据库或其他外部系统中的数据所需的信息。 数据处理最重要的方面之一是管理元数据。它可以是临时表之类的临时元数据，也可以是针对表环境注册的UDF函数。或者永久的元数据，比如Hive中的元数据。Catalogs提供了一个统一的API来管理元数据，并可以通过表API和SQL查询。 Catalog Types GenericI...
解决Missing artifact com.microsoft.sqlserver:sqljdbc4:jar:4.0问题
赵健乔的技术Blog
11-27 6124
现象 当项目中用到的数据库为sql server时，根据 https://mvnrepository.com/artifact/com.microsoft.sqlserver/sqljdbc4/4.0 的要求，在maven项目的pom.xml添加依赖： <dependency> <groupId>com.microsoft.sqlserver</groupId> <artifactId>sqljdbc4</artifactId>
MAVEN添加SQL SERVER依赖
m0_67393295的博客
08-20 1900
spring-boot配置SQL SERVER连接。maven添加SQL SERVER依赖。
flink-table-api-java-1.12.7-API文档-中文版.zip
07-07
赠送jar包：flink-table-api-java-1.12.7.jar； 赠送原API文档：flink-table-api-java-1.12.7-javadoc.jar； 赠送源代码：flink-table-api-java-1.12.7-sources.jar； 赠送Maven依赖信息文件：flink-table-api-java-...
flink-table-api-java-bridge_2.11-1.13.2-API文档-中英对照版.zip
06-05
赠送jar包：flink-table-api-java-bridge_2.11-1.13.2.jar； 赠送原API文档：flink-table-api-java-bridge_2.11-1.13.2-javadoc.jar； 赠送源代码：flink-table-api-java-bridge_2.11-1.13.2-sources.jar； 赠送...
flink-table-api-java-bridge_2.11-1.10.0-API文档-中文版.zip
04-23
赠送jar包：flink-table-api-java-bridge_2.11-1.10.0.jar； 赠送原API文档：flink-table-api-java-bridge_2.11-1.10.0-javadoc.jar； 赠送源代码：flink-table-api-java-bridge_2.11-1.10.0-sources.jar； 赠送...
flink-table-api-java-1.13.2-API文档-中英对照版.zip
06-05
赠送jar包：flink-table-api-java-1.13.2.jar； 赠送原API文档：flink-table-api-java-1.13.2-javadoc.jar； 赠送源代码：flink-table-api-java-1.13.2-sources.jar； 赠送Maven依赖信息文件：flink-table-api-java-...
Maven添加SQLserver的依赖及驱动
热门推荐
Good Luck
03-18 8万+
由于项目需要兼容多数据库，导入多个驱动，maven导入SQL server依赖时报错，经网上查询，得以下解决办法。 过程总结：首先，maven里自带的没有SQL server的jdbc驱动，所以要从网上下载一个sqlserver驱动的sqljdbc.jar包。之后用cmd执行maven命令导入。最后，在maven的pom.xml文件里面写入依赖就ok了。 下面是详细过程。 第一步 这是官网上下载的jar包，我电脑的jdk1.8的，所以选择enu下jre8的那个jar包。 第二步 打开cmd,定位
超详细Maven项目连接SqlServer数据库
最新发布
m0_74172933的博客
12-30 1695
最近在做数据库的最后一个实验，在连接的时候踩了很多坑，所以记录一下以下步骤都是基于老师给出的需求，部分操作非必要。
Maven依赖Sql Sever 2008 jar包添加到本地仓库中的方法
Saga
11-02 593
1.假如maven目录为: D:\maven-2.0.4,  本地仓库的目录为:D:\maven-2.0.4\repo 2.创建一个目录放置jar包:D:\maven-2.0.4\thirdpartjar\sqljdbc4.jar 3.打开命令行:进入jar包的目录: 开始--&gt;运行 cmd D:\&gt; D:\maven-2.0.4\thirdpartjar&gt;D:\m...
Flink SQl 客户端-Catalog(hive的catalog是重点)
weixin_48370579的博客
07-31 5650
4、Flink SQl 客户端 1、启动一个flink的 集群 可以使用flink独立集群 也可以使用yarn-session.sh # 启动一个flinkyarn-sesion集群 yarn-sesion.sh -d 2、启动sql-client sql-client.sh 3、测试命令行 -- 创建source表 CREATE TABLE datagen ( id STRING, ...
JavaMaven配置数据库依赖（mysql和SQLserver）
qq_46667199的博客
09-13 9120
JavaMaven配置数据库依赖
maven项目jdbc连接sql server数据库，并调用存储过程示例
god_sword_的博客
03-01 2424
jdbc连接sql server数据并调用存储过程
flink1.14 tableapi和sql教程
06-28
### 回答1： Flink 1.14的Table API和SQL教程可以在Flink官方文档中找到，其中包括了Table API和SQL的基础概念、语法、操作符、函数等内容，还有详细的示例代码和实战案例，非常适合初学者学习和入门。另外，Flink社区也有很多优秀的博客和视频教程，可以帮助大家更深入地理解和应用Table API和SQL。 ### 回答2： Flink是一个分布式计算引擎，是Apache Hadoop生态圈中用于处理流式数据的一种解决方案。Flink支持表格API和SQL语言，使得用户可以更加简单地实现流处理任务。而在Flink 1.14中，TableAPI和SQL引擎则得到了进一步的增强。 TableAPI和SQL将无需掌握Java或Scala编程语言就可以操作表格数据。TableAPI API支持Java和Scala，SQL则支持标准的SQL语言。如果你熟悉SQL语言，那么你很容易上手使用TableAPI和SQL引擎。 Flink TableAPI和SQL支持各种类型的表格操作，包括选择、过滤、分组、排序、连接等。此外，它们还支持窗口和聚合操作。这使得用户在处理流式数据时可以更加简单易懂地进行复杂的操作。 在Flink 1.14中，TableAPI和SQL引擎还提供了一系列新功能，包括： 1. 时间特征支持——TableAPI和SQL中的数据时间戳可以通过时间特征进行定义和控制。通过时间特征，用户可以定义数据的时间属性，例如事件时间或处理时间。 2. 详细的窗口管理——当窗口中的数据到期时，Flink 1.14会自动清除过期数据，避免数据量过大导致性能下降。 3. 支持更多的流数据源——在Flink 1.14中，TableAPI和SQL引擎可以直接从Kafka、Kinesis、Hive等数据源中读取数据。这可以让用户更加方便地读取数据，而无需编写额外的代码。 TableAPI和SQL引擎对于Flink用户来说是非常重要的工具，无需掌握Java或Scala编程语言即可操作表格数据。并且在Flink 1.14中，这两个工具得到了进一步的增强，包括更好的窗口管理和更多的数据源支持。因此，学习TableAPI和SQL引擎对于想要使用Flink进行流处理的人来说是非常有益的。 ### 回答3： Flink 1.14 TableAPI和SQL是一个非常好用的数据处理工具，可帮助数据分析师快速进行数据查询、聚合和处理。下面详细介绍一下Flink 1.14的TableAPI和SQL教程。 1. 如何配置Flink 1.14的TableAPI和SQL环境？ 在进行Flink 1.14的TableAPI和SQL开发之前，需要先进行环境的配置。可以在官网下载Flink的安装包，解压后找到/bin目录下的start-cluster.sh脚本进行启动。启动之后，即可通过WebUI的页面查看Flink的运行状态。 2. TableAPI的基本操作 TableAPI是Flink的一个高层次数据处理API，可以通过编写代码来进行数据的处理。TableAPI的基本操作有以下几个： (1) 创建Table，可以使用StreamTableEnvironment的fromDataStream或fromTableSource方法，将DataStream或TableSource转换成Table。 (2) Table的转换，可以使用多种转换操作，包括filter、select、orderBy、groupBy、join等。 (3) 将Table转化为DataStream，可以使用StreamTableEnvironment的toDataStream方法。 3. SQL的基本操作 SQL是Flink提供的一种快速数据处理方式，用户只需要编写SQL语句即可完成数据处理。SQL的基本操作有以下几个： (1) 注册Table，可以使用StreamTableEnvironment的registerTable或registerTableSource方法，将Table或TableSource注册到环境中。 (2) 执行SQL，可以使用StreamTableEnvironment的executeSql方法，执行SQL语句并返回结果。 (3) 将结果转换为DataStream，可以使用StreamTableEnvironment的toDataStream方法。 4. 如何优化Flink 1.14的TableAPI和SQL的执行效率？ 在进行TableAPI和SQL开发时，为了保证其执行效率，需要注意以下几点： (1) 避免使用复杂的JOIN操作，可以使用Broadcast和TableFunction等方式来避免JOIN操作。 (2) 注意Table的Schema定义，Schema的设计合理与否直接影响SQL性能。 (3) 避免使用无限制的聚合操作，可以进行分批次聚合来避免。 总的来说，Flink 1.14的TableAPI和SQL是非常强大的数据处理工具，能够帮助开发者快速高效的进行数据处理。上述内容是入门级别的教程，如果想要更深入的了解，可以参考官方文档进行学习。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一瓢一瓢的饮 alanchanchn

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值