python 编写文件系统_使用 Python 编写一个 FUSE 文件系统

如果你是一个固定的读者,您可能已经注意到,我一直在追求一个完美的备份程序,来结束写我自己的bup(Back UP，是储存器在DVD Video上的某些文件的一种格式)上的加密层。

在写encbup(加密bup)时,我对恢复一个文件必须下载整个巨大的存档不是很满意,为了有真正的可远程挂载、加密的,反复制的,有版本的备份，我仍然希望能使用EncFS(一个免费的,开源的,基于GPL的,FUSE级别的加密文件系统)和rdiff-backup(远程增量备份工具)。

尝试再次obnam(爆料:它仍然是相当缓慢的),我注意到,它包括amountcommand。浏览它,我发现了fuse-python和fusepy,意识到使用Python编写一个FUSE文件系统中是很简单的。

机敏的的观察家将已经意识到我要做的:我决定用Python写一个加密文件系统层!这

加密文件系统层将非常类似于EncFS,仅有几个重要的差异:

它在默认情况下将工作在逆模式,接受常规文件和显示一个加密目录。这样,任何备份程序会看到(和备份)加密目录,没有任何额外的存储需求可言。

它还将接受一个带目录列表的配置文件,并将它们显示在挂载点。这样,备份脚本需要做的所有工作就是备份这个挂载点,各种不同的目录将会立即被备份。

它将适合用于备份,而不是加密存储,而且写起来非常有趣。

一个简单的FUSE文件系统

写这个脚本的第一步是编写一个纯透明文件系统。它仅接受一个目录,并显示在挂载点,确保挂载点所有的更改将被镜像到源。

fusepy要求你写一个具有各种操作系统级文件系统中定义方法的类。你定义你的文件系统支持的,留下未定义的,但我需要定义它们全部,因为我的文件系统是一个透明的文件系统,应该尽可能忠实于原系统，像原系统一样地工作。

写这个是非常容易和有趣的,因为大多数方法只是瘦封装操作系统模块(事实上,如果你喜欢你可以直接将它们赋值,例如open= os.open,但我的模块需要一些路径扩展)。不幸的是,fuse-python有一个bug(在我看来),即

打开和读文件时fuse-python不允许通过文件句柄返回文件系统,所以我的脚本不能告诉文件处理一个想要读或写的应用,它将导致失败。fusepy工作非常好,所需的改变最小。它也是一个单独的文件,因此你能把它和你的项目绑定。

代码

如果你想实现你自己的文件系统，我在这给出代码。它提供了一个很好的起点,因为你可以粘贴这个类到您的项目并重载你所需要的方法,忽略掉其他部分。

#!/usr/bin/env python

from __future__ import with_statement

import os

import sys

import errno

from fuse import FUSE, FuseOSError, Operations

class Passthrough(Operations):

def __init__(self, root):

self.root = root

# Helpers

# =======

def _full_path(self, partial):

if partial.startswith("/"):

partial = partial[1:]

path = os.path.join(self.root, partial)

return path

# Filesystem methods

# ==================

def access(self, path, mode):

full_path = self._full_path(path)

if not os.access(full_path, mode):

raise FuseOSError(errno.EACCES)

def chmod(self, path, mode):

full_path = self._full_path(path)

return os.chmod(full_path, mode)

def chown(self, path, uid, gid):

full_path = self._full_path(path)

return os.chown(full_path, uid, gid)

def getattr(self, path, fh=None):

full_path = self._full_path(path)

st = os.lstat(full_path)

return dict((key, getattr(st, key)) for key in ('st_atime', 'st_ctime',

'st_gid', 'st_mode', 'st_mtime', 'st_nlink', 'st_size', 'st_uid'))

def readdir(self, path, fh):

full_path = self._full_path(path)

dirents = ['.', '..']

if os.path.isdir(full_path):

dirents.extend(os.listdir(full_path))

for r in dirents:

yield r

def readlink(self, path):

pathname = os.readlink(self._full_path(path))

if pathname.startswith("/"):

# Path name is absolute, sanitize it.

return os.path.relpath(pathname, self.root)

else:

return pathname

def mknod(self, path, mode, dev):

return os.mknod(self._full_path(path), mode, dev)

def rmdir(self, path):

full_path = self._full_path(path)

return os.rmdir(full_path)

def mkdir(self, path, mode):

return os.mkdir(self._full_path(path), mode)

def statfs(self, path):

full_path = self._full_path(path)

stv = os.statvfs(full_path)

return dict((key, getattr(stv, key)) for key in ('f_bavail', 'f_bfree',

'f_blocks', 'f_bsize', 'f_favail', 'f_ffree', 'f_files', 'f_flag',

'f_frsize', 'f_namemax'))

def unlink(self, path):

return os.unlink(self._full_path(path))

def symlink(self, target, name):

return os.symlink(self._full_path(target), self._full_path(name))

def rename(self, old, new):

return os.rename(self._full_path(old), self._full_path(new))

def link(self, target, name):

return os.link(self._full_path(target), self._full_path(name))

def utimens(self, path, times=None):

return os.utime(self._full_path(path), times)

# File methods

# ============

def open(self, path, flags):

full_path = self._full_path(path)

return os.open(full_path, flags)

def create(self, path, mode, fi=None):

full_path = self._full_path(path)

return os.open(full_path, os.O_WRONLY | os.O_CREAT, mode)

def read(self, path, length, offset, fh):

os.lseek(fh, offset, os.SEEK_SET)

return os.read(fh, length)

def write(self, path, buf, offset, fh):

os.lseek(fh, offset, os.SEEK_SET)

return os.write(fh, buf)

def truncate(self, path, length, fh=None):

full_path = self._full_path(path)

with open(full_path, 'r+') as f:

f.truncate(length)

def flush(self, path, fh):

return os.fsync(fh)

def release(self, path, fh):

return os.close(fh)

def fsync(self, path, fdatasync, fh):

return self.flush(path, fh)

def main(mountpoint, root):

FUSE(Passthrough(root), mountpoint, foreground=True)

if __name__ == '__main__':

main(sys.argv[2], sys.argv[1]) 如果你想作为一个脚本运行它，那么安装fusepy，放这个脚本到一个文件里(例如myfuse.py),然后运行python myfuse.py /your/dir  /mnt/point。你将看到在/mnt/point下/your/dir中的所有文件能被操作，就像它们是在原始的文件系统。

结语

总的来说,我没想到写一个文件系统是如此简单。现在剩下的就是在脚本中编写加密/解密功能和一些辅助方法。我的目标是这个脚本可以完整替代EncFS,特别是它具有更好的扩展性(它是用Python写)和旨在备份文件这样额外的特性。

如果你想继续关注这个脚本的开发,请订阅下面我的邮件列表,或在Twitter上跟帖。一如既往,非常欢迎反馈(理想的的方法是跟帖评论)。