最近用 Python 写了一个爬虫在网上搜集资料。因为每次都要遍历几万了网页,完整运行一次灰常耗时。
今天偶然瞥见角落里的群晖,突发奇想,反正文件服务器24小时开着,能不能把简单的爬虫任务交给它呢?我习惯使用 Jupyter Notebook 运行 Python 脚本,首先要解决的自然就是给群辉安装 Jupyter Notebook。
网上搜索一通之后发现前辈们的思路主要有两种:一种是直接安装到群辉系统中,一个是通过 docker 加载专门的镜像。我个人偏向于后一种思路,即把单独的功能做成虚拟机的形式,各自独立的运行在服务器上。万一一个手滑玩脱了,虚拟机最多删了重新下载一次,服务器系统挂了可就凉凉了。
群辉上 docker 可以直接从应用中心下载安装,灰常之方便。
开启 docker,进入 Registery,搜索 jupyter,然后勇敢的面对选择恐惧症,居然有111页的结果。。。当然我关心的主要是排名第一的datascience-notebook。这个镜像大概2GB,最后解压完大概6GB。 趁着下载的时候,我们继续为镜像容器的设置做准备工作。
尽管 Jupyter 会运行在一个与外部相对隔绝的环境,我还是需要文件的输入输出,或者保存程序脚本以防容器崩溃把所有的文件都连着带仙游了。在控制面板中创建一个新的共享文件夹,取一个毫无想象力的名字,比如 jupyter,并且将读写权限交给本地普通用户组,确保镜像容器可以正常访问。按照网上的帖子,有前辈仅向特定用户授予读写权限,