fd leak问题查找(Android)

最新推荐文章于 2024-07-31 19:03:58 发布
最新推荐文章于 2024-07-31 19:03:58 发布
阅读量5k 收藏 7
点赞数
分类专栏： fdleak 文章标签： fdleak 句柄泄漏 android 句柄
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qiukangwen18/article/details/79746749
版权

参考：http://huzhengyu.com/2017/01/21/Fd-leak-in-Android/

https://www.ibm.com/developerworks/cn/linux/l-cn-handle/


1.句柄的介绍及应用

句柄是在 Windows 中引入的一个概念，它是和对象一一对应的 32 位无符号整数值。句柄可以映射到唯一的对象，它是处理对象的一个接口，对于所涉及的对象，可以通过相应的句柄来操作它。句柄的引入主要是操作系统为了避免应用程序直接对某个对象的数据结构进行操作为目的，用操作句柄来代替操作对象。

在 Linux 环境中，任何事物都是用文件来表示，设备是文件，目录是文件，socket 也是文件。用来表示所处理对象的接口和唯一接口就是文件。应用程序在读 / 写一个文件时，首先需要打开这个文件，打开的过程其实质就是在进程与文件之间建立起连接，句柄的作用就是唯一标识此连接。此后对文件的读 / 写时，目标文件就由这个句柄作为代表。最后关闭文件其实就是释放这个句柄的过程，使得进程与文件之间的连接断开。

2.系统对句柄的管理


用户通过 open() 来申请资源，在系统内核中实际会调用 sys_open() 方法来实现真正的资源申请工作。sys_open() 的代码在 fs/open.c 中：long sys_open(const char * filename, int flags, int mode) 。调用参数 filename 实际上是文件的路径名（绝对路径或者相对路径名）；mode 表示打开的模式，如只读等等；flag 则包含了许多标志位，可以表示打开模式以外的一些属性和要求。

a)调用 getname() 从用户空间把文件的路径名拷贝到系统空间

b)调用 get_unused_fd() 从进程的可使用的文件描述符中找出一个没有被使用的文件描述符（确切的说是文件描述符数组的下标）。

c)调用 flip_open() 打开一个创建的文件，并返回一个文件描述符。

用户向系统申请文件资源是否能够成功，主要取决于 get_unused_fd 函数。如果函数的返回值为大于 0 的正整数，则 sys_open 能够获得系统文件资源；如果函数的返回值为－1，说明申请失败，该进程所申请的文件数已经超过系统设置的最大值

3.句柄泄露

造成句柄泄露的主要原因，是进程在调用系统文件之后，没有释放已经打开的文件句柄。在 Linux 系统中，进程与文件之间是通过“打开文件”操作建立连接，文件系统会返回文件句柄来唯一标识进程与文件的连接。每当一个进程执行完毕之后，Linux 系统会将与进程相关的文件句柄自动释放。但是，如果进程一直处于执行状态，文件的句柄只能通过“关闭文件”操作来自我释放。与 Windows 系统的设置不同，Linux 系统对进程可以调用的文件句柄数做了限制，在默认情况下，每个进程可以调用的最大句柄数为 1024 个。超过了这个数值，进程则无法获得新的句柄。因此，句柄的泄露将会对进程的功能失效造成极大的隐患。

a)Linux 中，单个进程能够打开的最大文件句柄数量是可以配置的，系统默认是 1024。当单个进程打开的文件句柄数量超过了系统定义的值，就会出现“Too many files open”的错误提示。用户可以通过以下命令查看系统定义的最大值：

ulimit -n

cat /proc/sys/fs/file-max 查看系统所有进程能打开的句柄

b)Linux 有硬性和软性设置两种，都可以通过 ulimit 来设置.设置 H（硬性），S（软性）的值,系统重启恢复默认值。

ulimit -HSn 2048

c)修改

/etc/sysctl.conf --> fs.file-max = 6553560 所有进程打开句柄数

/etc/security/limits.conf --> 加入一下配置

* soft nofile 65535 

* hard nofile 65535

检测句柄的方法

lsof -p pid 查看pid进程的句柄

lsof 输出各列信息的意义如下：

COMMAND：进程的名称 
PID：进程标识符 
USER：进程所有者 
FD：文件描述符，应用程序通过文件描述符识别该文件。如 cwd、txt 等 
TYPE：文件类型，如 DIR、REG 等 
DEVICE：指定磁盘的名称 
SIZE：文件的大小 
NODE：索引节点（文件在磁盘上的标识）

NAME：打开文件的确切名称

 或者使用

ls -la /proc/pid/fd/

检测文件占用内存大小

pmap pid

  • -x extended显示扩展格式
  • -d device显示设备格式
  • -q quiet不显示header/footer行
  • -V 显示版本信息

显示内容意义：

  • Address: 内存开始地址
  • Kbytes: 占用内存的字节数（KB）
  • RSS: 保留内存的字节数（KB）
  • Dirty: 脏页的字节数（包括共享和私有的）（KB）
  • Mode: 内存的权限：read、write、execute、shared、private (写时复制)
  • Mapping: 占用内存的文件、或[anon]（分配的内存）、或[stack]（堆栈）
  • Offset: 文件偏移
  • Device: 设备名 (major:minor)
mapped 表示该进程映射的虚拟地址空间大小，也就是该进程预先分配的虚拟内存大小，即ps出的vsz
writeable/private  表示进程所占用的私有地址空间大小，也就是该进程实际使用的内存大小      

shared 表示进程和其他进程共享的内存大小

Android中FD泄漏的几种类型

1. Resource related

Android应用可能会需要很多资源，像输入输出流，数据库资源Cursor， Binder设备。如果没能够很好的处理这些资源，不仅可能造成内存的泄漏，也可能会出现FD泄漏。

输入输出流

FileInputStream，FileOutputStream，FileReader，FileWriter 等输入输出如果不断创建但是不及时关闭，不仅可能造成内存的泄露了也可能会造成FD的溢出。在/proc/${进程id}/fd/ 目录下执行ls –l查看到增加的FD指向创建的文件，这里创建了不同的file，即使是对同一个文件，也会创建多个FD来指向这个打开的文件流。正确的做法是能够在final中将流进行关闭,这样无论中途是否出现异常导致程序中断，都会将流顺利关闭。

最终导致应用进程出现FC，并打出如下的Log， 表示这个进程FD数量已经到达了上限，无法再创建新的FD，只有终止进程。

E/Parcel ( 3601): dup failed in Parcel::read, fd 1 of 2
E/Parcel ( 3601): dup(1020) = -1 [errno: 24 (Too many open files)]
E/Parcel ( 3601): fcntl(1020, F_GETFD) = 1 [errno: 24 (Too many open files)]

E/Parcel ( 3601): flat 0x0 type 0

Cursor leak

与输入输出相似，数据库查询的Cursor如果没有及时进行Close，也会出现FD泄漏的情况。看到unable to open database file，大胆地猜测是否是出现了FD的泄漏。

AndroidRuntime: FATAL EXCEPTION: IntentService[ContactSaveService] 
AndroidRuntime: Process: com.android.contacts,
AndroidRuntime: android.database.sqlite.SQLiteException: unable to open database file (code 14) 
AndroidRuntime:     at android.database.DatabaseUtils.readExceptionFromParcel(DatabaseUtils.java:179) 
AndroidRuntime:     at android.database.DatabaseUtils.readExceptionFromParcel(DatabaseUtils.java:135) 
AndroidRuntime:     at android.content.ContentProviderProxy.delete(ContentProviderNative.java:544) 
AndroidRuntime:     at android.content.ContentResolver.delete(ContentResolver.java:1330) 
AndroidRuntime:     at com.android.contacts.ContactSaveService.saveContact(ContactSaveService.java:478) 

AndroidRuntime:     at com.android.contacts.ContactSaveService.onHandleIntent(ContactSaveService.java:222) 

2.Thread related

HandlerThread在onCreate中创建，需要在onDestory中mHandlerThread.quitSafely();
对于传统的Java Thread，需要声明Loop以后才会出现FD的增加。因为声明Loop相当于增加了一块缓冲区，需要有一个FD来标识。 如果确定不需要Looper，可以使用Looper.quit()或者Looper.quitSafely()来退出looper，避免出现FD泄漏。

3.Input channel file realted

 onConfigurationChanged代码中出现了WindowManager.addView反复调用，却缺少对应的removeView匹配的情况。
而ActivityManagerProxy.getTaskThumbnail需要创建一个Parcel与ActivityManagerService通信，这时候就会创建一个FD指向Socket的端口，如果此时发现FD已经满了就会报出异常。
设置为Intent.FLAG_ACTIVITY_MULTIPLE_TASK类似flag的时候，如果没有处理好Activity的生命周期，可能会出现system_server进程先于应用进程到达FD上限，造成 Android系统重启。

问题的关键字：

too many files open，ashmem_create_region failed for ‘indirect ref table’: Too many open files，leak , release

快速定位问题：

ls -la /proc/pid/fd查看

a)anon_inode:[eventpoll]” 和 "pipe" ：开启了太多的HandlerThread/Looper/MessageQueue, 线程忘记关闭, 或者looper 没有释放

b)大批量的socket 打开, 可能是因为Input Channel 没有关闭

c)大批量的打开“/dev/ashmem”, 如果是Context provider, 或者其他app, 很可能是打开数据库/数据库链接没有关闭


qiukangwen18
关注
专栏目录
查找泄漏位置的一个通用方法
我的博客
05-31 404
查找泄漏位置的一个通用方法
[Android稳定性] Android Fd Leak问题分析方法
TaylorPotter的博客
11-06 4250
Android-Fk[Stability]: Fdleak问题分析
Native内存泄漏一步查
Eqiqi的博客
07-24 539
到这里，我们就能通过libmemunreachable找到泄漏的内存地址以及大小了，当然，这里的信息可能还不够，比如想获取泄漏的堆栈信息等等，这个时候就需要我们去hook 一些分配函数了，比如malloc mmap等，这里我就不给出了，emmm，有机会我会填完这个坑！如果想要成为架构师或想突破20~30K薪资范畴，那就不要局限在编码，业务，要会选型、扩展，提升编程思维。此外，良好的职业规划也很重要，学习的习惯很重要，但是最重要的还是要能持之以恒，任何不能坚持落实的计划都是空谈。
Android BinderProxy leak 原理分析
最新发布
xuyongqz的博客
07-31 1518
在结合压测的log，我们发现在压测的时候，有app会非常频繁的show toast。从目前的分析来看，还是因为压力测试，由于频繁使用binder调用，导致BinderProxy数据急剧增加，而GC又有滞后性，当Free RAM足够大的时候，GC的频率会降低，最终导致BinderProxy数量操过了系统的限制。说明问题点不在这里，通过上面的set方法，我们能够看到，当BinderProxy 的size操过20000之后，会有dump信息打印，接下来我们看看能不能通过dump信息看出什么端倪。
【转载】Fd leak in Android
xlnaan的博客
09-14 1974
写得很好。 链接：http://huzhengyu.com/2017/01/21/Fd-leak-in-Android/ FD（File Descriptor）文件描述符在形式上是非负整数，它是一个索引值，指向内核为每个进程所维护的该进程打开文件的记录表。当程序打开一个现有文件或者创建一个新文件时，内核向进程返回一个文件描述符。在Linux系统中，一切设备都视作文件，文件描述符为Linux平台...
fd leak
weixin_44854303的博客
03-12 250
穿件大量fd导致的进程Crash”这句话的意思是在说，由于程序在运行过程中创建了大量的文件描述符（fd），最终导致了进程崩溃（Crash）。当程序在运行过程中频繁且未妥善管理打开的文件描述符，例如忘记关闭已经不再使用的文件或套接字，就会造成文件描述符资源耗尽。因此，当出现“穿件大量fd导致的进程Crash”这样的描述时，通常意味着程序存在资源管理不当的问题，应该查找代码中是否有未正确关闭的文件或套接字等资源，并对其进行修正，以避免类似问题的发生。
Android FDLEAK -- too many open files
wd229047557的博客
08-28 1254
1.too many open files Log Pattern 当一个Android进程打开1024个fd的时候，就会提示too many open files,进程就会crash system_server crash #第一种Log pattern CursorWindow: could not create cursorwindow from parcel due to error...
android fd泄露分析,文件描述符(fd)泄漏排查一篇就够了
weixin_28831399的博客
05-25 2896
生产多次遇到文件描述符(fd)泄露相关的问题， 文件描述符泄漏一般引起的现象是文件句柄数(封面图)/tcp alloc(上图)增长。文章分为两部分介绍文件描述符相关内容，第一部分介绍文件描述基础知识，第二部分通过实际案例进行剖析。一. 文件描述符相关基础知识什么是文件描述符？内核利用文件描述符来访问文件, 打开现存文件或新建文件(建立)时，内核会返回一个文件描述符，读写文件也需要使用文件描述符来指...
androidFD泄露问题总结
ws6013480777777的博客
11-28 1万+
最近项目上偶尔会碰到fd泄露的问题，这类问题由于没有必现方法，log又无法定位到具体原因，解决起来有点无从下手的感觉，因此结合了网上的一些资料进行下总结。 本文参考转载自： https://www.imooc.com/article/48546 https://www.jianshu.com/p/befd4b86cc42 https://blog.csdn.net/xlnaan/article...
CRASH fd leak
zwq1457的专栏
11-15 879
log如下： java.lang.RuntimeException: Adding window failed at android.view.ViewRootImpl.setView(ViewRootImpl.java:765) at android.view.WindowManagerGlobal.addView(WindowManagerGlobal.java:351) at
Android中ANR问题分析
虎哥LoveDroid
06-08 2807
Android中ANR问题分析1. 什么是ANR2. ANR的类型3.KeyDispatchTimeout4. 为什么会超时呢？5. 如何避免KeyDispatchTimeout6. UI线程7. 如何去分析ANR8.Thread状态9. 如何调查并解决ANR10.案例11. log的抓取及分析11.1 基本信息11.2 时间信息11.3 虚拟机信息 1. 什么是ANR ANR:Applicati...
❤️烦恼？头疼？不知所措？Android的ANR问题，一剂药到病除❤️【建议收藏】
云雾蜜蜜，咩咩
07-28 1677
前言 本文对Android中常发生的ANR现象的成因原理及主要发生场景进行了详细介绍，举例了几种典型的ANR场景实例。总结提供了优化改善的若干解决思路。 值得Android开发人员收藏 简介 ANR全称：Application Not Responding，也就是应用程序无响应 针对Android中常发生的ANR现象，要解决此问题，当真要从其原理开始分析，如下图所示 原因 Android系统中，ActivityManagerService(简称AMS)和WindowManagerServi
Android内存优化（五）详解内存分析工具MAT
热门推荐
Android进阶三部曲 - 刘望舒
08-11 2万+
在这个系列的前四篇文章中，我分别介绍了DVM、ART、内存泄漏和内存检测工具的相关知识点，这一篇我们通过一个小例子，来学习如何使用内存分析工具MAT。
koom koom-java-leak 源码分析
stone_cold_cool的博客
11-07 584
1.AnalysisExtraData.kt 包含原因，分析时间，当前页面信息 class AnalysisExtraData { var reason: String? = null //reason原因 var usageSeconds: String? = null //时间 var currentPage: String? = null //当前页面 } 2.HeapReport上报的信息 public class HeapReport { p
android FD leak 定位文件泄漏
lei7143的专栏
09-27 2301
R 上google 加入了一个fd leak 检测功能，基本实现如下： SystemServer.java 中在system_server 进程创建一个Native 检测进程 spawnFdLeakCheckThread(); frameworks/base/services/core/jni/com_android_server_SystemServer.cpp
解决句柄泄露（fd leak）[error: Too many open files]
苏格兰狗饼的博客
03-06 1224
接手老项目（历史遗留下来的bug） 这个项目跑的是rk3288板子， adb检验appid是否为句柄泄露 adb devices List of devices attached P1QRMFV6HD device 192.168.100.188:5555 device adb -s P1QRMFV6HD shell shell@YoungFeel:/ $ su root@Youn...
一类fd leak的通用解法
Android driver学习笔记
05-05 5608
本文档适用的一类问题特征如下:1.出现Too many open files的crash2.Too many files 里一直新增的文件指的是anon_inode:dmabuf.现象: 有很多种操作手法,总体上是操作相机的时间够久都会出现,例如一直拍照等等.致命的log:有很多种:E mm-still: DoMmap:81] Ion map failed Too many open filesE...
【转载】【Android】如何快速分析fd leaks, 文件句柄泄露.
xlnaan的博客
12-17 2564
https://blog.csdn.net/xiaolli/article/details/56012228 一篇老文章了，总结的不错。 如何快速分析fd leaks, 文件句柄泄露. [Keyword] FD leaks, File Description Leaks, Too many open files, error 24 [Solution]android 默认每一个进程最多能够打开的...
android ashmem 使用,【读书笔记】Android的Ashmem机制学习
weixin_39756192的博客
05-27 231
Ashmem是安卓在linux基础上添加的驱动模块，就是说安卓有linux没有的功能。Ashmem模块在内核层面上实现，在运行时库和应用程序框架层提供了访问接口。在运行时库层提供的是C++接口，在应用框架层提供的是java接口。首先从驱动模块开始分析起，驱动模块加载之后首先进行misc_register来注册一个ashmem_misc设备。这个设备文件就是"/dev/ashmem"。这个设备对用户...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值