一、事务
在我们使用的hive中一般他是不会支持事务的,因为hive的存储基于hdfs,hdfs他每个数据都是一块,我们都成为一次写入多次读取,说明hadoop不希望你修改,或者删除数据的一部分,但有些同志没,还是想体验一下删除的快感,那么我们介绍一下关系型数据库的事务:
一、事务的基本要素(ACID)
1、原子性(Atomicity):事务开始后所有操作,要么全部做完,要么全部不做,不可能停滞在中间环节。事务执行过程中出错,会回滚到事务开始前的状态,所有的操作就像没有发生一样。也就是说事务是一个不可分割的整体,就像化学中学过的原子,是物质构成的基本单位。
2、一致性(Consistency):事务开始前和结束后,数据库的完整性约束没有被破坏 。比如A向B转账,不可能A扣了钱,B却没收到。
3、隔离性(Isolation):同一时间,只允许一个事务请求同一数据,不同的事务之间彼此没有任何干扰。比如A正在从一张银行卡中取钱,在A取钱的过程结束前,B不能向这张卡转账。
4、持久性(Durability):事务完成后,事务对数据库的所有更新将被保存到数据库,不能回滚。
二、事务的并发问题
1、脏读:事务A读取了事务B更新的数据,然后B回滚操作,那么A读取到的数据是脏数据
2、不可重复读:事务 A 多次读取同一数据,事务 B 在事务A多次读取的过程中,对数据作了更新并提交,导致事务A多次读取同一数据时,结果 不一致。
3、幻读:系统管理员A将数据库中所有学生的成绩从具体分数改为ABCDE等级,但是系统管理员B就在这个时候插入了一条具体分数的记录,当系统管理员A改结束后发现还有一条记录没有改过来,就好像发生了幻觉一样,这就叫幻读。
小结:不可重复读的和幻读很容易混淆,不可重复读侧重于修改,幻读侧重于新增或删除。解决不可重复读的问题只需锁住满足条件的行,解决幻读需要锁表
三、MySQL事务隔离级别
事务隔离级别 脏读 不可重复读 幻读 读未提交(read-uncommitted) 是 是 是 不可重复读(read-committed) 否 是 是 可重复读(repeatable-read) 否 否 是 串行化(serializable) 否 否 否 mysql默认的事务隔离级别为repeatable-read
二、hive-事务支持:
hive如果你想支持事务那你建表的时候是有条件的
1,第一你建的表必须是桶表
2,把我们之前建表的类型文件如(stored as textfile)改成 stored as orc
orc: optimized row columnar,优化列模式文件
3,在建表的最后加上 tblproperties('transactional'='true');
4, 还有在建表之后要添加一些属性配置
SET hive.support.concurrency = true; SET hive.enforce.bucketing = true; SET hive.exec.dynamic.partition.mode = nonstrict; SET hive.txn.manager = org.apache.hadoop.hive.ql.lockmgr.DbTxnManager; SET hive.compactor.initiator.on = true; SET hive.compactor.worker.threads = 1; 建表事例: create table zxz_data( name string, nid int, phone string, ntime date ) clustered by(nid) into 5 buckets row format delimited fields terminated by "\t" lines terminated by "\n" stored as orc tblproperties('transactional'='true'); 添加完数据后就可以删除,修改了