用Git控制数据版本

背景

前段时间有个老同学请我帮他写个爬虫爬一些关于天气空气之类的数据。

看在老同学的份上我也没收他钱 =w= 反正很简单

于是我用NodeJS按照他的要求顺手写了一个爬虫。

> 项目地址

我爬下来的数据是放在MongoDB中的,可是我的这位老同学呢,是个小白,我也不放心把SSH权限给他,哪怕低权限用户;他也不大可能用得顺手。

他需要一个CSV格式的文件就够了,于是我需要用mongoexport 将数据导出成CSV文件,但是怎么让他直接获取呢?

现在我有若干个选择:
1. 使用SCP、FTP等支持文件传输的方式(需要账号密码,比较麻烦而且有可能损害我的服务器)
2. 使用Web服务器通过HTTP协议发布(数据版本难控制)
3. 将数据推送到GitHub上

……啊我果断选择了推送到GitHub上,又能打包下载又能版本控制,多好啊。

现在问题就在怎么自动定时推送数据了,毕竟我可不想隔一段时间就专门去运行脚本推送一下数据。

参考 Ubuntu cron 定时执行任务 配置定时任务执行脚本。

结果是这样的,包括了导出脚本。

> 自动发布地址

现在只需要告诉我的老同学上面这个自动发布地址就好了=

  • 2
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值