B-Tree索引与Bitmap索引的锁代价的比较

本文对比了B-Tree索引与Bitmap索引在理论和实验上的表现。Bitmap索引适用于基数小、重复值多的场景,如OLAP查询,但DML操作锁代价高。B-Tree索引适用于数据重复度低的字段,提供稳定的查询性能,尤其适合主键或唯一性约束。实验结果显示,B-Tree索引在插入时不会影响其他会话的DML操作,而Bitmap索引可能会因索引段级锁导致锁等待。

环境:

SQL> select * from v$version;

BANNER
--------------------------------------------------------------------------------

Oracle Database 11g Enterprise Edition Release 11.2.0.1.0 - Production
PL/SQL Release 11.2.0.1.0 - Production
CORE    11.2.0.1.0      Production
TNS for 32-bit Windows: Version 11.2.0.1.0 - Production
NLSRTL Version 11.2.0.1.0 - Production

    --理论介绍


        1)Bitmap index
           
        场合:列的基数很少,可枚举,重复值很多,数据不会被经常更新
        
        原理:一个键值对应N行,即 (键值:rowid)=(1:n)
        
        格式:键值|start_rowid|end_rowid|位图
        
        
        优点:
             ① OLAP 
             ② 重复率高的数据,也就是低cardinality列,例如“性别”列,列值只有“M”,“F”两种 
             ③ 特定类型的查询例如count、or、and等逻辑操作因为只需要进行位运算即可得到我们需要的结果
             ④ 位图以一种压缩格式存放,因此占用的磁盘空间比B-Tree索引要小得多
        
        
        缺点:
             ① 不适合重复率低的字段
             ② 经常DML操作(insert,update,delete),因为位图索引的锁代价极高,会导致一些DML语句出现“锁等待”,例如修改一个键值,会影响同键值的多行,所以对于OLTP系统位图索引基本上是不适用的
        
        2) B-Tree index
        
        场合:非常适合数据重复度低的字段 例如 身份证号码 手机号码 QQ号等字段,常用于主键、唯一性约束,一般在在线交易的项目中用到的多些。
        
        原理:一个键值对应一行(rowid) 
        
        格式: 索引头|键值|rowid
        
        优点:
            ① 查询性能与表中数据量无关,例如 查2万行的数据用了3 consistent get,当查询1200万行的数据时才用了4 consistent gets。
            ② 当我们的字段中使用了主键or唯一约束时,不用想直接可以用B-tree索引
        
        缺点:不适合键值重复率较高的字段上使用,例如 第一章 1-500page 第二章 501-1000page
        
        

    --实验

①--建表

SQL> create table t_bitmap (id number(10),name varchar2(10),sex varchar2(1));

表已创建。

SQL> create bitmap index t_bitmap_idx on t_bitmap(sex);

索引已创建。

SQL> create table t_btree (id number(10),name varchar2(10),sex varchar2(1));

表已创建。

SQL> create index t_btree_idx on t_btree(sex);

索引已创建。


SQL> insert into t_btree values (1,'think','M');

已创建 1 行。

SQL> insert into t_btree values (2,'qinqin','F');

已创建 1 行。

SQL> insert into t_bitmap values(1,'think','M');

已创建 1 行。

SQL> insert into t_bitmap values(2,'qinqin','F');

已创建 1 行。

SQL> commit;

提交完成。

SQL> select * from t_btree;

        ID NAME       S
---------- ---------- -
         1 think      M
         2 qinqin     F

SQL> select * from t_bitmap;

        ID NAME       S
---------- ---------- -
         1 think      M
         2 qinqin     F

②--对Btree index进行DML

***********session_A***************

SQL> insert into t_btree values (3,'hangzhen','M');

已创建 1 行。

***********session_B***************

SQL> insert into t_btree values (4,'yuechuang','M');

已创建 1 行。

SQL> update t_btree set sex='M' where id=2;

已更新 1 行。

SQL> delete from t_btree;

已删除3行。

③--对Bitmap index进行DML

***********session_A****************


SQL> insert into t_bitmap values (3,'hangzhen','M');

已创建 1 行。

***********session_B******************

㈠ insert动作
SQL> insert into t_bitmap values (4,'yuechuang','M');
--出现锁等待

当插入数据未涉及位图索引列“sex”字段时,是可以完成的
SQL> insert into t_bitmap (id,name) values (4,'yuechuang');

已创建 1 行。


㈡ update动作
当更新位图索引列“sex”字段值为“M”时,是无法完成的

SQL> select * from t_bitmap;

        ID NAME       S
---------- ---------- -
         1 think      M
         2 qinqin     F
         4 yuechuang

SQL> update t_bitmap set sex='M' where id=1;

已更新 1 行。
此时成功,是因为第1行数据的sex值本身就是“M”。

SQL> update t_bitmap set sex='M' where id=4;
--锁等待。
SQL> update t_bitmap set sex='M' where id=2;
--锁等待

特别注意一下,如果更新的列不是位图索引对应的列,将不会受位图段级索引锁的限制

SQL> update t_bitmap set name='Water' where  id=1;

已更新 1 行。


㈢ delete 动作

SQL> select * from t_bitmap;

        ID NAME       S
---------- ---------- -
         3 hangzhen   M
         4 yuechuang  F
         5 ss         M

SQL> delete from t_bitmap where id=3;
--锁等待

SQL> delete from t_bitmap where id=4;

已删除 1 行。

SQL> delete from t_bitmap where id=5;
--锁等待

    --小结


           对于B-Tree索引来说,插入动作不影响其他会话的DML操作
           对于Bitmap索引来说,由于是索引段级锁,会导致与操作列值相关的内容被锁定(文中提到的“M”信息)。


本研究设计并实现了一个基于微博数据的舆情热点分析情感挖掘系统。该系统旨在深度融合爬虫技术、自然语言处理(NLP)机器学习算法,以实现对海量微博数据的自动化采集、清洗、分析,并最终通过动态可视化手段直观呈现舆情的演化规律情感倾向。本研究的核心目标在于构建一个高效、准确的系统,以解决以下关键问题:(1) 提升对微博短文本,尤其是包含反讽、缩写和网络用语(如“yyds”、“绝绝子”)文本的情感分析准确率;(2) 优化对热点话题的识别追踪能力,克服短文本特征稀疏性带来的困难;(3) 融合多维度特征(文本内容、用户行为、时间序列)实现对未来72小时舆情热度的预测;(4) 设计交互式可视化界面,动态展示话题的产生、发展、消退全过程,并建立舆情预警指数模型,为决策提供支持。为达成上述目标,本研究的主要工作内容方法如下: 1、**数据采集预处理**:系统通过Scrapy框架结合微博开放API构建分布式爬虫集群(Scrapy-Redis),并采用IP代理池技术,以突破反爬机制,实现分钟级的高效数据抓取,采集字段包括微博文本、发布时间、用户信息、转发/评论数等元数据。 2、**情感分析模块**:为精准捕捉微博文本的情感极性(正面、负面、中性),本研究对比并采用了多种模型。 3、**热点分析主题挖掘**:为从海量微博中发现和追踪热点话题,本研究采用了无监督有监督相结合的方法。 4、**舆情预测可视化**:舆情热度的预测是一个重要的时序预测问题。 【文章内容】 摘要 第1章 绪论 第2章 相关技术理论 第3章 系统需求分析 第4章 系统总体设计 第5章 系统详细设计实现 第6章 系统测试分析 第7章 总结展望 参考文献 附件-实现指南
标题SpringBoot归家租房小程序的设计实现研究AI更换标题第1章引言介绍SpringBoot归家租房小程序的研究背景、意义、现状以及论文的方法和创新点。1.1研究背景意义分析租房市场的现状需求,阐述小程序开发的必要性。1.2国内外研究现状概述国内外租房平台和小程序的发展现状。1.3研究方法以及创新点简述采用SpringBoot框架开发的优势及创新点。第2章相关理论总结和评述小程序开发相关的现有理论,确立研究的理论基础。2.1SpringBoot框架概述介绍SpringBoot框架的特点、优势及适用场景。2.2小程序开发技术概述小程序开发的关键技术,如前端框架、后端服务等。2.3数据库技术阐述数据库在小程序中的应用,包括数据存储、查询等。第3章归家租房小程序设计详细描述归家租房小程序的整体设计方案。3.1系统架构设计介绍系统的整体架构,包括前端、后端和数据库的连接方式。3.2功能模块设计详细阐述小程序的各个功能模块,如房源展示、搜索、预约等。3.3界面设计介绍小程序的界面设计,包括用户交互、视觉效果等。第4章归家租房小程序实现详细介绍归家租房小程序的实现过程。4.1开发环境搭建介绍开发所需的环境、工具及配置方法。4.2功能模块实现详细描述各个功能模块的实现过程,包括代码实现、测试等。4.3数据库实现阐述数据库的设计、实现及优化方法。第5章实验分析对归家租房小程序进行实验验证和性能分析。5.1实验环境数据介绍实验所采用的环境、数据集及评估指标。5.2实验方法步骤给出实验的具体方法和步骤,包括功能测试、性能测试等。5.3实验结果分析从功能完整性、性能稳定性等方面对实验结果进行详细分析。第6章结论展望总结本文的研究成果,并展望未来的研究方向。6.1研究结论概括归家租房小程序的主要研究成果和创新点。6.2展望指出研究的不足之处以及未来改进和优化的方向。
内容概要:本文介绍了在亚马逊云上构建智能湖仓的最佳实践,重点阐述了现代数据架构的必要性及其核心技术组件。文章分析了传统数据湖数据仓库面临的扩展性差、成本高、治理难等问题,提出以Amazon S3为核心,结合Glue、Lake Formation、Redshift、Athena、EMR、Kinesis等服务构建统一、弹性、安全的现代数据架构。通过Lake Formation实现细粒度的权限控制、数据治理和跨账户数据共享,支持数据民主化合规性管理,并结合客户案例展示了如何利用云原生服务实现流数据处理、批处理自动化、即席查询BI分析,全面提升数据处理效率决策能力。; 适合人群:具备一定云计算大数据基础知识,从事数据架构、数据工程、数据分析或云平台运维的相关技术人员及企业决策者,尤其适用于计划或正在进行云上数据平台建设的团队。; 使用场景及目标:①构建可扩展、低成本、高性能的云上智能湖仓架构;②实现跨服务、跨账户的安全数据共享精细权限管理;③整合流处理、批处理交互式分析,提升数据处理敏捷性决策效率;④推动企业数据治理数据民主化协同发展; 阅读建议:此资源结合理论架构实际案例,建议读者结合亚马逊云服务实际操作,重点关注Lake Formation在权限管理数据共享中的应用,以及各组件间的协同工作机制,深入理解现代数据架构的设计理念落地路径。
【源码免费下载链接】:https://renmaiwang.cn/s/f7ixk 作为业内知名的开源消息转发工具,Apache ActiveMQ在Linux系统中展现出卓越的表现。该软件采用Java编程语言实现,并遵循Apache软件基金会的开放许可协议。它支持多种消息传递协议,包括XMPP、AMQP和STOMP等,能够为开发者提供灵活的消息处理能力。 该软件具备丰富且高度可定制的功能模块:首先,其强大的消息队列机制允许应用程序将待传输的消息存入队列中,并由其他应用遵循先进先出的顺序进行消费操作。其次,主题式发布订阅模式通过主题实现了多消费者共享同一消息的能力,支持广播式的消息传递方式。此外,软件具备持久化功能,能够将未处理的消息存储在本地硬盘上,在服务器重启后依然能恢复已发送或接收的消息内容。 为了保证数据传输的一致性,Apache ActiveMQ还内置了事务管理机制。在消息的发送和接收过程中,系统会自动执行事务操作以确保数据的完整性一致性。同时,该软件支持多种不同的通信协议,并非仅限于Java应用环境,在需要时开发者还可以通过STOMP、AMQP或XMPP等协议实现跨平台的消息交流。 为了方便用户管理和监控软件运行状态,Apache ActiveMQ提供了一个直观的Web控制台界面。此外,其安全配置功能允许用户设置SSL/TLS加密选项以及权限管理策略,确保系统在高负载情况下依然能够维持稳定运行。该软件还具备集群支持和故障转移机制,在面对节点失效时能够自动切换至备用节点以保证服务可用性。 在实际部署过程中,用户需要首先安装Java运行环境(JRE或JDK),随后解压并配置Apache ActiveMQ的组件。启动过程通常会生成一个名为bin的子目录,其中包含用于控制软件服务的各种脚本文件。核心配置参数如端口号设置、持久化策略选择以及日志路径等都需要通过调整系统中指
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值