inode与filebeat采集

1.什么是inode

参考1：完整可以看：https://wizardforcel.gitbooks.io/vbird-linux-basic-4e/content/59.html
参考2：简单可以看：https://www.ruanyifeng.com/blog/2011/12/inode.html

1.1 文件系统一般由 superblock，inode，block 三部分组成。

1）superblock存储磁盘的文件系统中有多少inode、block
2）inode存储一个文件的元信息，比如文件拥有者和群组、访问时间、修改时间、文件大小等，以及最重要的，文件内容所在的block号。如果一个文件的内容大小超过了一个block，那么inode里面会有多个block的号码；如果一个inode的大小不够存储该文件所有block的号码，那么inode本身其实还有一种多级block索引，确保一定能通过文件inode找到这个文件的所有block。（详情看 参考1）
每个文件有且仅有一个inode。目录也是文件的一种，也有inode。一个inode一般是128byte，但较新文件系统ext4也可设置为256byte。
3）block存储文件内容，一个文件至少占用一个block。每个block的大小固定，在 Ext2 文件系统中所支持的 block 大小有 1K, 2K 及 4K 三种，在文件系统格式化磁盘时确定。

文件系统格式化磁盘时，一般按照固定配比来为inode和block分配空间，这个配比似乎典型值是1:8（参考2，“每个inode节点的大小，一般是128字节或256字节。inode节点的总数，在格式化时就给定，一般是每1KB或每2KB就设置一个inode。”）。所以一块磁盘的inode数量是有上限的，所能保存的文件数量不能超过inode数量，所以会出现磁盘还有剩余空间但无法创建新文件的现象。

这种数据存取的方法我们称为索引式文件系统（indexed allocation）。
但FAT文件系统（常见于U盘）不属于这一类，并没有 inode 存在，所以 FAT 没有办法将这个文件的所有 block 在一开始就读取出来。每个 block 号码都记录在前一个 block 当中。

2.inode号码回收和再分配对filebeat日志采集的影响

inode不是单调递增分配的。
我有几个明确知道创建时间先后顺序的文件，他们的inode号码不是按照创建时间有序递增，后创建的文件可能比先创建的文件inode号码更小，比如下图中的 filebeat.2 比 filebeat.3 更晚创建，但inode号码却更小。
应该是分配出去的inode对应的文件被删除后，inode就可以被回收然后分配出去。

这就引出了filebeat日志采集的一个问题：filebeat是按文件的inode来作为标识符保存文件信息的，如果一个日志文件被采集到了偏移为1KB的位置，然后被删除，接着系统可能将旧文件的inode号码分配给新的日志文件，那么新日志文件的前1KB内容将被filebeat误以为已经采集过了而漏采。该问题的官方描述：https://www.elastic.co/guide/en/beats/filebeat/current/inode-reuse-issue.html
因此filebeat推荐使用 clean_inactive 选项来移除一段时间未活跃过的文件的状态，当然即使这样也需要好运气，期待linux系统不会恰好在这段时间内就分配这个inode给新的日志文件。

3.从inode出发理解硬链接、软链接

硬链接：多个文件名，指向同一个inode，修改硬链接的任一文件都会直接作用于其他硬链接。删除一个硬链接的文件，操作系统只是将inode的文件计数减一，其他硬链接依然可以访问。直到inode的文件计数为0才会真的删除文件。
软链接：一个文件的内容保存了另一个文件的路径，两个文件有不同的inode。删除实际指向的文件会导致软链接文件访问出错。