背景
前段时间有个老同学请我帮他写个爬虫爬一些关于天气空气之类的数据。
看在老同学的份上我也没收他钱 =w= 反正很简单
于是我用NodeJS按照他的要求顺手写了一个爬虫。
我爬下来的数据是放在MongoDB中的,可是我的这位老同学呢,是个小白,我也不放心把SSH权限给他,哪怕低权限用户;他也不大可能用得顺手。
他需要一个CSV格式的文件就够了,于是我需要用mongoexport
将数据导出成CSV文件,但是怎么让他直接获取呢?
现在我有若干个选择:
1. 使用SCP、FTP等支持文件传输的方式(需要账号密码,比较麻烦而且有可能损害我的服务器)
2. 使用Web服务器通过HTTP协议发布(数据版本难控制)
3. 将数据推送到GitHub上
……啊我果断选择了推送到GitHub上,又能打包下载又能版本控制,多好啊。
现在问题就在怎么自动定时推送数据了,毕竟我可不想隔一段时间就专门去运行脚本推送一下数据。
参考 Ubuntu cron 定时执行任务 配置定时任务执行脚本。
结果是这样的,包括了导出脚本。
现在只需要告诉我的老同学上面这个自动发布地址就好了=