Mac免密登录服务器下载文件+Mac设置定时任务

目录

一、需求

二、问题拆解

1、免密登录服务器

2、在 Mac 上设置定时

3、写定时脚本

---

一、需求

三妹我想在本机（Mac）上设置个定时任务，为什么不在服务器上设置呢，因为有好多用于分析的 Python 包服务器上没有，而我还没有服务器的装包权限，总之我觉得配置两块定时：一部分在服务器上读取 hive 表生成 CSV 文件，一部分在本机，每天去服务器拉取数据。

二、问题拆解

1、免密登录服务器

既然是想要设置定时任务来完成每天去服务器读取数据，肯定不是我人工每天到时间了去输入密码才能下载数据吧。

所以第一步要解决的问题就是免密登录服务器。

所谓的免密登录，就是要让服务器信任你的机器，不信任时才需要输入密码验证身份对吧。所以我们的入手点就是使用密钥文件，使两台机器建立信任。

步骤1. 配置 Mac

打开 Item2，数据命令：

ssh-keygen -t rsa

目的是生成配对密钥。

注：遇到提示建议一路点回车键即可。

效果如图：

可以看到公钥被存放到的位置（红框标注）。

步骤2. 配置服务器

现在已经获取到Mac 的公钥，下一步就是把 id_rsa.pub 文件复制到服务器上 .ssh 目录下 authorized_keys 文件中。

每台服务器 authorized_keys 文件所在的位置都不一样，有的文章说在  ~/.ssh/ 目录中，我也是尝试了好几种方法才找到，方法可能有点笨，不过好用呀。

那么这个方法就是，同样在服务器执行命令（ssh-keygen -t rsa）生成公钥，这样如果已经存在的话就会提示路径，如果原来不存在，你就执行两遍生成密钥，也会提示你第一次生成密钥的位置。

 

步骤3. 这样轻轻松松找到了 authorized_keys 的位置之后，执行命令 vim authorized_kyes 把 Mac 的 ssh-rsa 内容复制进去即可。

以上~ 完成了 Mac 免密登录服务器。

2、在 Mac 上设置定时

基本有两种方法，第一种是 crontab，第二种是 Mac 的 schedule jobs using launched 设置定时任务，该方法需要写一个 plist 文件，配置任务的动作、间隔的时间等参数。

我自以为对 crontab 很熟所以使用了方法一，没想到还是遇到了一些坑。

坑一：

执行  crontab -e 时报错：

crontab -e
crontab: installing new crontab
/var/spool/cron/tmp.XXXXFSq8E3: 权限不够
crontab: edits left in /tmp/crontab.HaZsu1
 

坑二：

我查了资料说要使用 lsattr /var/spool/cron/ 命令查看文件使用有特殊属性，再使用 chattr 去掉特殊属性。

可是我的 Mac 里说没有 lsattr :

坑三：

安装 lsattr 命令，brew install lsattr ，然而并没有什么作用。

此时我突然想要去看看 /var/spool 路径下面的文件，居然被我发现了关键 bug：根本没有  cron 文件好嘛。。。

所以我就 mkdir cron，又说我没权限，再执行 sudo mkdir cron，搞定。

神奇的是，此时再执行 crontab -e 命令加入定时任务就畅通无阻了。

虽然觉得不可思议，但是真实太 AMAZING 了。

然而现实告诉我，还是太年轻，接下来还是会遇到 bug。

3、写定时脚本

终于到了写定时脚本这一步，其实就是一个 scp 命令，将服务器的 CSV 文件复制到 Mac。

由于我在服务器上每天生成一个 CSV 文件，并且文件已日期作为后缀，类似于 sanmei_20210226.csv 这样的格式。

所以就涉及到我把读取日期需要加入到 scp 命令中。

之前在服务器上执行过脚本里面带读取日期 $(date +"%Y%m%d")，这样就能获取当前日期了，可我是想要前一天的文件，就是今天获取昨天的文件，这下可难倒我了，怎么执行 date -d yesterday 命令以及其他各种方式都不会，可我在服务器上测试都没问题呀。

然后我发现了雷人的原因：Mac 和 Linux 的 date 不是同一个 date 。

先说结论，在 Mac 上使用 $(date -v-1d +"%Y%m%d") 获取前一天。

最终展示一下定时脚本 myCrontab.sh 中的命令：

scp umecron@xx.x.xxx.xxx:/Data/sanmei_$(date -v-1d +"%Y%m%d").csv /Users/sanmei/data

最后再来点彩蛋：为啥 Mac 和 Linux 的 date 不一样呢？

Mac下的date命令是BSD（Berkeley Software Distribution）系的，Linux下date命令是GNU（GNU's Not Unix）系，二者用法有一些区别。

BSD并不特指任何一个BSD衍生版本，而是类UNIX操作系统中的一个分支的总称。

Mac OS X和iOS实际上基于Darwin，Darwin是BSD其中一个分支。

Mac date 和 Linux date 中获取前一天和获取后一天的写法不同：

• Mac 通过 -v 参数，-v-1d 代表前一天，-v-1y 代表上一年
• Linux 通过--date参数实现，--date='-1 day' 代表前一天，--date='-1 year' 代表上一年

 

完结撒花~~~