Transactional Table(事务表)创建和使用

已于 2024-01-05 10:26:48 修改
阅读量728 收藏 7
点赞数 11
分类专栏： 大数据 数仓 文章标签： 数据库 hive 大数据
于 2024-01-03 18:20:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Taerge0110/article/details/135370124
版权
本文详细介绍了如何在MaxCompute中使用TransactionalTable，包括创建表结构、建表语句、表操作（如写入、更新和删除数据，以及新增字段）等内容。
摘要由CSDN通过智能技术生成

Transactional Table(事务表)创建和使用

1. 介绍

创建可以支持增删改操作(insert,delete,update)的事务表
使用工具: maxcomputer
本次创建 Transactional Table 1.0表
初次使用,欢迎指教;

2. 建表语句
CREATE TABLE IF NOT EXISTS tmp_monitor_tbl_info (
      `id`					STRING COMMENT '表编号id'
	, `tbl_name`			STRING COMMENT '表名'
	, `pt_format`			STRING COMMENT '分区格式: yyyy-MM-dd,yyyyMMdd 等'
	, `val_type`			STRING COMMENT '值类型: 表行数,周期值等'
    , `monitor_flag` 		int COMMENT '监控标识: 0:不监控, 1:监控;'
    , `rule_code` 			int COMMENT '规则编码: 1:表行数，上周期差值, 2:表行数，固定值 等'
    , `rule_type`			STRING COMMENT '规则类型: 表行数，上周期差值; 表行数，固定值; 与固定值比较 等'
    , `expect_val` 			int COMMENT '期望值'
    , `tbl_sort_code`       int COMMENT '表类型编码: 0:其它(维表类), 1:亚马逊, 2:中小平台, 3:市场数据 等'
    , `tbl_sort_name`       STRING COMMENT '表类型名字: 0:其它(维表类), 1:亚马逊, 2:中小平台, 3:市场数据 等'
) COMMENT '数据监控表信息' 
tblproperties ("transactional"="true");

-- 注意: MaxCompute只允许在创建表时设置Transactional属性。已创建的表不允许通过alter table方式修改Transactional属性，执行如下语句会报错：
alter table tmp_monitor_tbl_info set tblproperties("transactional"="true");
-- 报错
FAILED: ODPS-0130071:[1,1] Semantic analysis exception - alter transactional property is not supported

-- -- 查看表信息
DESC tmp_monitor_tbl_info ;

+------------------------------------------------------------------------------------+
| Owner:                    RAM$****科技有限公司:johnathan                               |
| Project:                  puture_bigdata                                           |
| TableComment: 数据监控表信息                                                              |
+------------------------------------------------------------------------------------+
| CreateTime:               2024-01-03 14:48:39                                      |
| LastDDLTime:              2024-01-03 14:48:39                                      |
| LastModifiedTime:         2024-01-03 14:49:46                                      |
+------------------------------------------------------------------------------------+
| InternalTable: YES      | Size: 3383                                               |
+------------------------------------------------------------------------------------+
| Native Columns:                                                                    |
+------------------------------------------------------------------------------------+
| Field           | Type       | Label | Comment                                     |
+------------------------------------------------------------------------------------+
| id              | string     |       | 表编号id                                       |
| tbl_name        | string     |       | 表名                                          |
| pt_format       | string     |       | 分区格式: yyyy-MM-dd,yyyyMMdd 等                 |
| val_type        | string     |       | 值类型: 表行数,周期值等                               |
| monitor_flag    | int        |       | 监控标识: 0:不监控, 1:监控;                          |
| rule_code       | int        |       | 规则编码: 1:表行数，上周期差值, 2:表行数，固定值 等              |
| rule_type       | string     |       | 规则类型: 表行数，上周期差值; 表行数，固定值; 与固定值比较 等          |
| expect_val      | int        |       | 期望值                                         |
| tbl_sort_code   | int        |       | 表类型编码: 0:其它(维表类), 1:亚马逊, 2:中小平台, 3:市场数据 等   |
| tbl_sort_name   | string     |       | 表类型名字: 0:其它(维表类), 1:亚马逊, 2:中小平台, 3:市场数据 等   |
+------------------------------------------------------------------------------------+
3. 表操作
写入数据
-- 写入数据
INSERT INTO TABLE tmp_monitor_tbl_info
SELECT * FROM (
  VALUES  (1 , 'ods_amazon_amz_customer_returns_df',              'yyyyMMdd', '表行数', 1, 1, '表行数，上周期差值', 0,      1, '亚马逊' )     
        , (2 , 'ods_amazon_amz_flat_file_all_orders_df',          'yyyyMMdd', '表行数', 1, 1, '表行数，上周期差值', 0,      1, '亚马逊' )         
        , (3 , 'dim_sys_salesman_info_df',                        'yyyyMMdd', '表行数', 1, 1, '表行数，上周期差值', 0,      0, '其它' )  
        , (4 , 'ods_dawnwin_erp_ba_goods_brand_df',               'yyyyMMdd', '表行数', 1, 1, '表行数，上周期差值', 0,      0, '其它' ) 
        , (5 , 'ods_dawnwin_erp_op_bom_vc_relation_df',           'yyyyMMdd', '表行数', 1, 1, '表行数，上周期差值', 0,      2, '中小平台' )
) AS table_name(id, tbl_name, pt_format, val_type, monitor_flag, rule_code, rule_type, expect_val, tbl_sort_code, tbl_sort_name ) ;

-- 查看数据
SELECT id, tbl_name, pt_format, val_type, monitor_flag FROM tmp_monitor_tbl_info ;
idtbl_namept_formatval_typemonitor_flag
1ods_amazon_amz_customer_returns_dfyyyyMMdd表行数1
2ods_amazon_amz_flat_file_all_orders_dfyyyyMMdd表行数1
3dim_sys_salesman_info_dfyyyyMMdd表行数1
4ods_dawnwin_erp_ba_goods_brand_dfyyyyMMdd表行数1
5ods_dawnwin_erp_op_bom_vc_relation_dfyyyyMMdd表行数1
更新数据
-- 更新一条数据
UPDATE tmp_monitor_tbl_info SET id = 6 WHERE id = 5 ;

-- 查看数据
SELECT id, tbl_name, pt_format, val_type, monitor_flag FROM tmp_monitor_tbl_info ;
idtbl_namept_formatval_typemonitor_flag
1ods_amazon_amz_customer_returns_dfyyyyMMdd表行数1
2ods_amazon_amz_flat_file_all_orders_dfyyyyMMdd表行数1
3dim_sys_salesman_info_dfyyyyMMdd表行数1
4ods_dawnwin_erp_ba_goods_brand_dfyyyyMMdd表行数1
6ods_dawnwin_erp_op_bom_vc_relation_dfyyyyMMdd表行数1
删除数据
-- 删除一条数据
DELETE FROM tmp_monitor_tbl_info  WHERE id = 6 ;

-- 查看数据
SELECT id, tbl_name, pt_format, val_type, monitor_flag FROM tmp_monitor_tbl_info ;
idtbl_namept_formatval_typemonitor_flag
1ods_amazon_amz_customer_returns_dfyyyyMMdd表行数1
2ods_amazon_amz_flat_file_all_orders_dfyyyyMMdd表行数1
3dim_sys_salesman_info_dfyyyyMMdd表行数1
4ods_dawnwin_erp_ba_goods_brand_dfyyyyMMdd表行数1
插入数据
-- 插入一条数据
INSERT INTO TABLE tmp_monitor_tbl_info (id, tbl_name, pt_format, val_type, monitor_flag, rule_code, rule_type, expect_val, tbl_sort_code, tbl_sort_name) 
VALUES (8, 'dws_amazon_market_sales_return_stat_di', 'yyyyMMdd', '表行数', 1, 2, '表行数，固定值', 80, 1, '亚马逊') ;

-- 查看数据
SELECT id, tbl_name, pt_format, val_type, monitor_flag FROM tmp_monitor_tbl_info ;
idtbl_namept_formatval_typemonitor_flag
1ods_amazon_amz_customer_returns_dfyyyyMMdd表行数1
2ods_amazon_amz_flat_file_all_orders_dfyyyyMMdd表行数1
3dim_sys_salesman_info_dfyyyyMMdd表行数1
4ods_dawnwin_erp_ba_goods_brand_dfyyyyMMdd表行数1
8dws_amazon_market_sales_return_stat_diyyyyMMdd表行数1
新增字段
-- 添加列 添加字段
ALTER TABLE puture_bigdata.tmp_monitor_tbl_info ADD COLUMNS pt_num INT COMMENT '分区日期差值' ;

在这里插入图片描述

-- 更新数据, 给新增字段设置值
UPDATE puture_bigdata.tmp_monitor_tbl_info SET pt_num = -1 ;

在这里插入图片描述

-- 更新数据, 修改其中一条数据一个字段值
UPDATE puture_bigdata.tmp_monitor_tbl_info SET pt_num = -2 WHERE id = 38 ;

在这里插入图片描述

end
Taerge0110
关注
  • 11
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
SQL Server 中的事务
12-15
事务的含义： 　　事务要有非常明确的开始和结束点，SQL Server 中的每一条数据操作语句，例如SELECT、INSERT、UPDATE和DELETE都是隐式事务的一部分。即使只有一条语句，系统也会把这条语句当做一个事务，要么执行所有的语句，要么什么都不执行。 　　事务开始之后，事务所有的操作都会写到事务日志中，写到日志中的事务，一般有两种：一是针对数据的操作，例如插入、修改和删除，这些操作的对象是大量的数据；另一种是针对任务的操作，例如创建索引。当取消这些事务操作时，系统自动执行这些操作的反操作，保证系统的一致性。系统自动生成一个检查点机制，这个检查点周期的检查事务日志。如果在事
注解三表ssh框架
01-11
"注解三表SSH框架"通常指的是在Java开发中，使用Spring、Struts2和Hibernate三个主流开源框架的集成，并且结合注解进行数据库的三表关联操作。在这个框架组合中，Spring负责依赖注入和事务管理，Struts2处理前端请求...
MySQL——事务(Transaction)详解
热门推荐
浅然的专栏
03-23 23万+
该博客详解MySQL中的事务 一、事务定义 Transaction 事务：一个最小的不可再分的工作单元；通常一个事务对应一个完整的业务(例如银行账户转账业务，该业务就是一个最小的工作单元) 一个完整的业务需要批量的DML(insert、update、delete)语句共同联合完成 事务只和DML语句有关，或者说DML语句才有事务。这个和业务逻辑有关，业务逻辑不同，DML语句的个数不同...
Transaction Table
cuidai1555的博客
01-30 245
Transaction Table ==> Transaction Table==> state 0 = IDLE1 = Collecting 2 = Prepared 3 = Committed4 = Force...
Hive 事务表 (Transactional Tables)
渐渐的忘记，赶不上明天（读研ing，2024年毕业）
10-31 4587
1. 为什么要使用事务表？ 2. 创建使用事务表
Transaction table及TX锁
chncaesar的专栏
12-23 1200
每一个block header都分配了一部分空间作为transaction table。initrans参数控制了初始大小。Oracle 11gR2里，initrans的默认值是2。 transaction table的大小，即其同时允许对该block加锁的事务数，与block中剩余空间（不仅仅是block header）大小成正比。 对于并发数比较高的系统，可以将initrans调高，以避免b
Oracle词汇表（事务表(transaction table)”）
cptbtptp88124的博客
03-14 402
Transaction Table: Each undo segment header block (q.v.) has an area in it called the transaction table. When a tr...
springboot开启声明式事务的方法
08-30
开启声明式事务需要在配置文件中添加一个@Transactional注解，并配置好MyBatis和MySQL依赖项、数据库脚本、数据源配置、Mapper配置、实体类和DAO层接口等。然后，在DAO层接口中使用@Transactional注解，以便使得...
Transactional Operations in Apache Hive: Present and Future
03-01
事务表可以使用 CREATE TABLE 语句来创建，例如 CREATE TABLE T(a int, b int) STORED AS ORC TBLPROPERTIES('transactional'=true);。事务表支持所有的 CRUD 操作，包括插入、更新、删除和合并操作。同时，事务表也...
MyBatis多表连接
10-17
MyBatis支持Spring事务管理，可以在Service层使用`@Transactional`注解开启事务，确保所有操作在成功后一起提交，或者在失败时一起回滚。 8. **性能优化**：在处理多表连接时，要注意SQL性能的优化。避免全表扫描，...
springboot_relationships_manytomany_jointable
03-26
总结来说，"springboot_relationships_manytomany_jointable"项目展示了如何在Spring Boot中利用JPA和Hibernate处理多对多关系，通过创建和操作联合表实现两个实体间的复杂关联。这个主题对于理解和实践Java后端开发...
# 更新数据表以及创建事务
weixin_30652879的博客
09-16 211
更新数据表以及创建事务 更新数据表 更新数据表使用UPDATE关键字，语法如下： UPDATE 数据表名 SET 需要实现的更改 WHERE 搜索条件; 搜索条件不是必须的，当拥有WHERE关键字是，称为搜索型更新。 set后面有两种格式： UPDATE Product SET sale_price = 500, purchase_price = 400 WHERE product_n...
Hive事务表的创建
weixin_45264992的博客
10-25 1860
Hive事务表的创建及使用 开启事务配置： 创建Hive事务表： 事务表必须是桶表哦~ 事务表的局限性：
mysql事务表
yang52090501234的博客
02-08 479
SHOW TABLE STATUS LIKE 'company'; ALTER TABLE  company ENGINE=INNODB;
Hive Transactional Tables 事务表
跑调却靠谱的博客
10-12 840
Hive设计之初不支持事务。因为Hive的核心目标时将已经存在的结构化数据文件映射成为表，然后提供基于表的SQL分析处理，是一款面向分析的工具，且映射的数据通常存储于HDFS上，而HDFS是不支持随机修改文件数据的。这个定位意味着早期的HiveSQL语法中没有update、delete操作的，只有select查询分析操作，所以没有支持事务的说法。
事务表信息
喝醉酒的小白
02-24 1917
SELECT indx, ktuxesta, ktuxecfl, ktuxesqn wrap#, ktuxescnw scnW, ktuxescnb scnB, ktuxerdbf dba_file, ktuxerdbb dba_block, ktuxesiz nub FROM x$ktuxe WHERE ktuxeusn = 9 AND ktuxeslt <=5;
Transactional注解的常用属性表
weixin_41559555的博客
09-08 154
事务表和非事务表
Brave_one_Heart的博客
02-26 520
事务表
mysql 非事务表_MySQL事务表和非事务表
weixin_30739265的博客
02-18 150
MySQL事务表和非事务表查看 max_binlog_stmt_cache_size 参数解释时，有这么一句话 If nontransactional statements within a transaction require more than this many bytes of memory, the server generates an error.那么，什么是 nontransac...
创建hive表时通过什么属性值声明创建的hive表属于事务表
最新发布
06-01
在创建 Hive 表时，可以通过设置表属性 "transactional" 的值为 "true" 来声明创建的 Hive 表属于事务表。例如，可以使用以下命令创建一个名为 table_name 的事务表： ``` CREATE TABLE table_name (col1 type1, col2 type2, ...) CLUSTERED BY (col1) INTO num_buckets BUCKETS STORED AS ORC TBLPROPERTIES ("transactional"="true"); ``` 注意，创建事务表时，表的存储格式必须为 ORC 或者是 Parquet。此外，创建事务表时需要启用 Hive 事务功能，需要在 Hive 配置文件中将 "hive.txn.manager" 属性的值设置为 "org.apache.hadoop.hive.ql.lockmgr.DbTxnManager"，并启动 Hive Metastore 服务器的 ACID 模式。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值