Atlas生成元数据实体的各个引擎相关操作

Atlas生成元数据实体的各个引擎相关操作

 

 

Hive中可以生成Atlas元数据实体的操作：

Hive操作	Atlas可以生成的元数据实体
alter database, create database, drop database	hive_db, hive_db_ddl
alter table, create table, create table as select, drop table	hive_process, hive_process_execution, hive_table, hive_table_ddl, hive_column, hive_column_lineage, hive_storagedesc, hdfs_path
alter view, alterview_as_select, create view, create view as select, drop view	hive_process, hive_process_execution, hive_table, hive_column, hive_column_lineage, hive_table_ddl
insert into (select), insert overwrite	hive_process, hive_process_execution

Hive中不可以生成Atlas元数据实体的操作：

Select *等查询

 

Impala中可以生成Atlas元数据实体的操作：

Impala操作	Atlas可以生成的元数据实体	触发HMS生成Atlas元数据实体	触发HMS生成Atlas元数据相关联实体
createtable_as_select	impala_process, impala_process_execution, impala_column_lineage, hive_db hive_table_ddl	hive_table, hive_column(s), hive_storagedesc, hive_db hive_table_ddl	hive_table_db, hive_table_columns, hive_table_partitionkeys, hive_table_storagedesc, hive_process_process_execution, hive_process_columnlineage, hive_table_ddl_queries, hive_db_ddl_queries
createview	impala_process, impala_process_execution, impala_column_lineage, hive_table_ddl	hive_table, hive_column(s), hive_db	hive_table_db, hive_table_columns, hive_table_partitionkeys, hive_process_process_execution, hive_process_columnlineage, hive_table_ddl_queries
alterview_as_select	impala_process, impala_process_execution, impala_column_lineage, hive_table_ddl	Updates to: hive_table, hive_column(s)	hive_process_process_execution, hive_process_columnlineage, hive_table_ddl_queries
insert into, insert, overwrite	impala_process, impala_process_execution	If not already in Atlas, HMS sends metadata for data assets indicated in the query: hive_table, hive_column(s), hive_storagedesc, hive_db	hive_process_process_execution

Impala中不可以生成Atlas元数据实体的操作：

LOAD DATA INPATH CREATE TABLE (table metadata produced by HMS) ALTER VIEW (table metadata produced by HMS) SELECT or other queries that don’t produce output

 

Spark中可以生成Atlas元数据实体的操作：

Spark操作（Spark-Shell中执行）	Atlas可以生成的元数据实体
create table using create table using ... as select	spark_process, hive_table, hive_column, hive_storagedesc
create view as select,	spark_process, hive_table, hive_column, hive_storagedesc
insert into (select), load data [local] inpath create table A as select  from B ( B是外部表)	spark_process

 

Spark中不可以生成Atlas元数据实体的操作：

LOAD DATA INPATH (when not coming from a local file source) CREATE TABLE (hive_table metadata produced by HMS) ALTER VIEW (hive_table metadata produced by HMS) SELECT or other queries that don’t change table metadata

 

 

Sqoop中可以生成Atlas元数据实体的操作：

Sqoop操作	Atlas可以生成的元数据实体
--hive-import	Sqoop_process, Sqoop_dbdatastore

 

 

Sqoop中不可以生成Atlas元数据实体的操作：

从hive中导出数据到关系型数据库上。

关系型数据库导出到HDFS上。

 

 

Hbase中可以生成Atlas元数据实体的操作：

Hbase操作	Atlas可以生成的元数据实体
alter_async	hbase_namespace, hbase_table, hbase_column_family
create_namespace, alter_namespace, drop_namespace	hbase_namespace
create table, alter table, drop table, drop_all tables	alter table (create column family), alter table (alter column family), alter table (delete column family)
alter table (create column family), alter table (alter column family), alter table (delete column family)	hive_process, hive_process_execution

 

Hbase中不可以生成Atlas元数据实体的操作：

Truncate table Put (cell value)] Disable/enable table