读书笔记:DBMS数据库管理系统预览

查询编译器 (Query compiler)
查询编译器对查询进行 分析 和 优化。他将查询翻译成“查询计划(query plan)”,查询计划主要是在 数据上执行一系列的操作。主要分为三个部分:
1、查询分析器(query parser):将SQL分析为一颗树结构。
2、查询预处理器(query preprocessor):对查询进行语义检查,并进行某些树结构的转换,将分析树转换为表示最初查询计划的代数操作树
3、查询优化器(query optimizer):将查询计划转换为对实际数据的最有效的操作序列。
查询编译器利用元数据和关于数据的统计数据来确定哪一个操作序列可能是最快的。

执行引擎(Execution engine)
执行引擎负责执行查询计划中的每一步,他向资源管理器发出一系列对小的数据单元的请求。
执行引擎也会与其他模块交互,为了对数据进行操作,他必须将数据库的数据取到缓冲区(Buffers)
还需要与调度器(Concurrency control)交互,以避免访问被加了锁的数据;
也需要与日至管理器(Logging and recovery)交互,以确保对数据库的所有修改都正确的记录了日志。

存储管理器(Storage manager)
数据库的操作自然是要操作把硬盘上的数据读取到内存中才能操作。存储管理器的任务是控制数据(数据页)的硬盘存储和读取到内存。
存储管理器和操作系统的底层文件系统差不多,为了提高效率,存储管理器通常直接发命令给磁盘,跟踪文件所在磁盘上的位置,获的缓冲区管理器(Buffer manager)所要求的文件的磁盘块号。

缓冲区管理器(Buffer manager)
负责把可以利用的内存空间分割成 缓冲区 (Buffers),缓冲区是把数据页(磁盘块)读取到内存。这样在处理数据是与缓冲区进行交互。数据类型一般包括:
1、数据:数据自身内容
2、元数据:描述数据库的结构及约束等
3、日志记录:数据库的更改记录,这些信息支持数据库的持久性。
4、统计信息:DBMS收集和存储的关于数据库中的各个关系或其他成分的大小、取值等
5、索引:数据库搞高效存取的结构。

日至管理器(Log manager)
为了保证数据库的持久性,对于每一个变化都在磁盘上记录日志。恢复管理器(Recovery manager)能够从根据日志把数据库恢复到某个状态。
日志管理器将日志写入到缓冲区,然后与缓冲区管理器协调,保证在合适的时候将缓冲区写到硬盘上。

并发控制器/调度器(Concurrency control manager)
调度器必须保证多个事务按一定的顺序(不影响结果)执行,所以需要对操作进行加锁来防止并发冲突。锁通常存储在内存的封锁表(Lock table)中,一般锁都有很多种状态。
如果发现死锁(所有的事务都无法执行),就得回滚一个或多个事务。

事务的ACID特性:
原子性(Atomicity) 孤立性(Isolation) 一致性(Consistency) 持久性(Durability)

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
SQLAlchemy 是一个 SQL 工具包和对象关系映射(ORM)库,用于 Python 编程语言。它提供了一个高级的 SQL 工具和对象关系映射工具,允许开发者以 Python 类和对象的形式操作数据库,而无需编写大量的 SQL 语句。SQLAlchemy 建立在 DBAPI 之上,支持多种数据库后端,如 SQLite, MySQL, PostgreSQL 等。 SQLAlchemy 的核心功能: 对象关系映射(ORM): SQLAlchemy 允许开发者使用 Python 类来表示数据库表,使用类的实例表示表中的行。 开发者可以定义类之间的关系(如一对多、多对多),SQLAlchemy 会自动处理这些关系在数据库中的映射。 通过 ORM,开发者可以像操作 Python 对象一样操作数据库,这大大简化了数据库操作的复杂性。 表达式语言: SQLAlchemy 提供了一个丰富的 SQL 表达式语言,允许开发者以 Python 表达式的方式编写复杂的 SQL 查询。 表达式语言提供了对 SQL 语句的灵活控制,同时保持了代码的可读性和可维护性。 数据库引擎和连接池: SQLAlchemy 支持多种数据库后端,并且为每种后端提供了对应的数据库引擎。 它还提供了连接池管理功能,以优化数据库连接的创建、使用和释放。 会话管理: SQLAlchemy 使用会话(Session)来管理对象的持久化状态。 会话提供了一个工作单元(unit of work)和身份映射(identity map)的概念,使得对象的状态管理和查询更加高效。 事件系统: SQLAlchemy 提供了一个事件系统,允许开发者在 ORM 的各个生命周期阶段插入自定义的钩子函数。 这使得开发者可以在对象加载、修改、删除等操作时执行额外的逻辑。
SQLAlchemy 是一个 SQL 工具包和对象关系映射(ORM)库,用于 Python 编程语言。它提供了一个高级的 SQL 工具和对象关系映射工具,允许开发者以 Python 类和对象的形式操作数据库,而无需编写大量的 SQL 语句。SQLAlchemy 建立在 DBAPI 之上,支持多种数据库后端,如 SQLite, MySQL, PostgreSQL 等。 SQLAlchemy 的核心功能: 对象关系映射(ORM): SQLAlchemy 允许开发者使用 Python 类来表示数据库表,使用类的实例表示表中的行。 开发者可以定义类之间的关系(如一对多、多对多),SQLAlchemy 会自动处理这些关系在数据库中的映射。 通过 ORM,开发者可以像操作 Python 对象一样操作数据库,这大大简化了数据库操作的复杂性。 表达式语言: SQLAlchemy 提供了一个丰富的 SQL 表达式语言,允许开发者以 Python 表达式的方式编写复杂的 SQL 查询。 表达式语言提供了对 SQL 语句的灵活控制,同时保持了代码的可读性和可维护性。 数据库引擎和连接池: SQLAlchemy 支持多种数据库后端,并且为每种后端提供了对应的数据库引擎。 它还提供了连接池管理功能,以优化数据库连接的创建、使用和释放。 会话管理: SQLAlchemy 使用会话(Session)来管理对象的持久化状态。 会话提供了一个工作单元(unit of work)和身份映射(identity map)的概念,使得对象的状态管理和查询更加高效。 事件系统: SQLAlchemy 提供了一个事件系统,允许开发者在 ORM 的各个生命周期阶段插入自定义的钩子函数。 这使得开发者可以在对象加载、修改、删除等操作时执行额外的逻辑。
GeoPandas是一个开源的Python库,旨在简化地理空间数据的处理和分析。它结合了Pandas和Shapely的能力,为Python用户提供了一个强大而灵活的工具来处理地理空间数据。以下是关于GeoPandas的详细介绍: 一、GeoPandas的基本概念 1. 定义 GeoPandas是建立在Pandas和Shapely之上的一个Python库,用于处理和分析地理空间数据。 它扩展了Pandas的DataFrame和Series数据结构,允许在其中存储和操作地理空间几何图形。 2. 核心数据结构 GeoDataFrame:GeoPandas的核心数据结构,是Pandas DataFrame的扩展。它包含一个或多个列,其中至少一列是几何列(geometry column),用于存储地理空间几何图形(如点、线、多边形等)。 GeoSeries:GeoPandas中的另一个重要数据结构,类似于Pandas的Series,但用于存储几何图形序列。 二、GeoPandas的功能特性 1. 读取和写入多种地理空间数据格式 GeoPandas支持读取和写入多种常见的地理空间数据格式,包括Shapefile、GeoJSON、PostGIS、KML等。这使得用户可以轻松地从各种数据源中加载地理空间数据,并将处理后的数据保存为所需的格式。 2. 地理空间几何图形的创建、编辑和分析 GeoPandas允许用户创建、编辑和分析地理空间几何图形,包括点、线、多边形等。它提供了丰富的空间操作函数,如缓冲区分析、交集、并集、差集等,使得用户可以方便地进行地理空间数据分析。 3. 数据可视化 GeoPandas内置了数据可视化功能,可以绘制地理空间数据的地图。用户可以使用matplotlib等库来进一步定制地图的样式和布局。 4. 空间连接和空间索引 GeoPandas支持空间连接操作,可以将两个GeoDataFrame按照空间关系(如相交、包含等)进行连接。此外,它还支持空间索引,可以提高地理空间数据查询的效率。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值