延迟式垃圾回收机制的缺陷

因为疫情关系,需要远程办公,原先封闭的内网开放了外传端口,写文章又有素材了。当然不是直接的工作内容,而是相关的体验、笔记可以趁空整理发表

概述

大内存下不释放,堆积了大量小内存(比如对象),一旦访问就卡程序。


按时间分类的自动垃圾回收机制

与显式调用 malloc()、free()不同,自动垃圾回收机制就是编程语言自动管理了内存的分配和释放,可以归结为两大类

  1. 实时释放: COM 对象通过引用计数实现,引用计数归零立即释放。COM 的代表语言就是 VB6。优缺点是
    1. 用完就释放,不存在占坑的垃圾。
    2. 没有整理,容易产生内存小碎块。在G级内存下普通前台程序基本不会有内存不足的问题。
    3. 循环引用导致的内存泄漏。典型就是树节点的父子互相引用,只要从根节点开始深度遍历进行节点拆分,就能解决。
  2. 延时释放:不管采用何种策略,总是先扔在那里不管,到必要时(内存用量超过某个警戒线),开始批量释放。代表语言 java、VB.NET、C#等。优缺点是
    1. 节省操作、提高性能。靠省CPU操作提高的性能,抵不过芯片的升级换代。
    2. 容易卡顿。无论是操作一小部分还是全体,总需要先暂停程序,然后内核去查找、标记:有用/无用,至于接下来是把有用的整理出来保留还是把无用的释放就是策略问题了。表现就是 java 程序内存耗用上去后就常卡。
    3. 大内存下表现不佳。因为无需释放,垃圾回收器中的对象数量是恐怖的,这就是接下来要讨论的。

案例

Windows 下用 Eclipse 编写的 java 中间业务层,前台 jsp 页面,后台数据库。

整个项目 .java 文件 1800+,代码行 1100万,Eclipse 刚启动、准备调试时耗内存 400M+。数据库的几个明细表记录也在千万级。

缺陷

在 4G 内存的时候,经常卡,归结为内存不足。

换成 16G 内存,发现 1G< 耗用内存 < 2G 的时候,程序运行还没问题,如果要加个断点,就会卡。

分析加猜测

这时新增内存耗用大概 1G,而数据库很少有大文本,java 对象大概就是几十字节大小。也就是说垃圾回收器中的对象数量已经达到千万级了。而加断点不知为何需要遍历这么多对象(观察任务管理器内存没降,也就是没有 System.gc 强制回收)。

 2G/16G 当然没有达到必须回收的标准,对象数量千万甚至上亿对调试太不友好了,加减断点、更改断点状态都会卡分钟级了

由于Web服务运行的时间是月、年等级的,,总会有累计到“需要”释放的时候,而且真实环境内存更多,那时对象数量就是上亿级了,不知道会卡多久。

也许

也许延时释放又要加个判断机制,对象数超过某个警戒线就触发释放。如果本次释放没有释放掉多少对象,就把警戒线提上去,以适应当前程序的常驻对象数。

题外话

微软抛弃的 COM 转投延时释放,不知道 VB.NET、C# 有没有碰到类似情况。

CSDN 的 MarkDown 格式编辑怎么没有标签、分类的输入项?

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
SQLAlchemy 是一个 SQL 工具包和对象关系映射(ORM)库,用于 Python 编程语言。它提供了一个高级的 SQL 工具和对象关系映射工具,允许开发者以 Python 类和对象的形操作数据库,而无需编写大量的 SQL 语句。SQLAlchemy 建立在 DBAPI 之上,支持多种数据库后端,如 SQLite, MySQL, PostgreSQL 等。 SQLAlchemy 的核心功能: 对象关系映射(ORM): SQLAlchemy 允许开发者使用 Python 类来表示数据库表,使用类的实例表示表中的行。 开发者可以定义类之间的关系(如一对多、多对多),SQLAlchemy 会自动处理这些关系在数据库中的映射。 通过 ORM,开发者可以像操作 Python 对象一样操作数据库,这大大简化了数据库操作的复杂性。 表达语言: SQLAlchemy 提供了一个丰富的 SQL 表达语言,允许开发者以 Python 表达的方编写复杂的 SQL 查询。 表达语言提供了对 SQL 语句的灵活控制,同时保持了代码的可读性和可维护性。 数据库引擎和连接池: SQLAlchemy 支持多种数据库后端,并且为每种后端提供了对应的数据库引擎。 它还提供了连接池管理功能,以优化数据库连接的创建、使用和释放。 会话管理: SQLAlchemy 使用会话(Session)来管理对象的持久化状态。 会话提供了一个工作单元(unit of work)和身份映射(identity map)的概念,使得对象的状态管理和查询更加高效。 事件系统: SQLAlchemy 提供了一个事件系统,允许开发者在 ORM 的各个生命周期阶段插入自定义的钩子函数。 这使得开发者可以在对象加载、修改、删除等操作时执行额外的逻辑。
SQLAlchemy 是一个 SQL 工具包和对象关系映射(ORM)库,用于 Python 编程语言。它提供了一个高级的 SQL 工具和对象关系映射工具,允许开发者以 Python 类和对象的形操作数据库,而无需编写大量的 SQL 语句。SQLAlchemy 建立在 DBAPI 之上,支持多种数据库后端,如 SQLite, MySQL, PostgreSQL 等。 SQLAlchemy 的核心功能: 对象关系映射(ORM): SQLAlchemy 允许开发者使用 Python 类来表示数据库表,使用类的实例表示表中的行。 开发者可以定义类之间的关系(如一对多、多对多),SQLAlchemy 会自动处理这些关系在数据库中的映射。 通过 ORM,开发者可以像操作 Python 对象一样操作数据库,这大大简化了数据库操作的复杂性。 表达语言: SQLAlchemy 提供了一个丰富的 SQL 表达语言,允许开发者以 Python 表达的方编写复杂的 SQL 查询。 表达语言提供了对 SQL 语句的灵活控制,同时保持了代码的可读性和可维护性。 数据库引擎和连接池: SQLAlchemy 支持多种数据库后端,并且为每种后端提供了对应的数据库引擎。 它还提供了连接池管理功能,以优化数据库连接的创建、使用和释放。 会话管理: SQLAlchemy 使用会话(Session)来管理对象的持久化状态。 会话提供了一个工作单元(unit of work)和身份映射(identity map)的概念,使得对象的状态管理和查询更加高效。 事件系统: SQLAlchemy 提供了一个事件系统,允许开发者在 ORM 的各个生命周期阶段插入自定义的钩子函数。 这使得开发者可以在对象加载、修改、删除等操作时执行额外的逻辑。
GeoPandas是一个开源的Python库,旨在简化地理空间数据的处理和分析。它结合了Pandas和Shapely的能力,为Python用户提供了一个强大而灵活的工具来处理地理空间数据。以下是关于GeoPandas的详细介绍: 一、GeoPandas的基本概念 1. 定义 GeoPandas是建立在Pandas和Shapely之上的一个Python库,用于处理和分析地理空间数据。 它扩展了Pandas的DataFrame和Series数据结构,允许在其中存储和操作地理空间几何图形。 2. 核心数据结构 GeoDataFrame:GeoPandas的核心数据结构,是Pandas DataFrame的扩展。它包含一个或多个列,其中至少一列是几何列(geometry column),用于存储地理空间几何图形(如点、线、多边形等)。 GeoSeries:GeoPandas中的另一个重要数据结构,类似于Pandas的Series,但用于存储几何图形序列。 二、GeoPandas的功能特性 1. 读取和写入多种地理空间数据格 GeoPandas支持读取和写入多种常见的地理空间数据格,包括Shapefile、GeoJSON、PostGIS、KML等。这使得用户可以轻松地从各种数据源中加载地理空间数据,并将处理后的数据保存为所需的格。 2. 地理空间几何图形的创建、编辑和分析 GeoPandas允许用户创建、编辑和分析地理空间几何图形,包括点、线、多边形等。它提供了丰富的空间操作函数,如缓冲区分析、交集、并集、差集等,使得用户可以方便地进行地理空间数据分析。 3. 数据可视化 GeoPandas内置了数据可视化功能,可以绘制地理空间数据的地图。用户可以使用matplotlib等库来进一步定制地图的样和布局。 4. 空间连接和空间索引 GeoPandas支持空间连接操作,可以将两个GeoDataFrame按照空间关系(如相交、包含等)进行连接。此外,它还支持空间索引,可以提高地理空间数据查询的效率。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值