工作小记 | crontab、数据迁移以及节约时间的安排

前言的前言

前几天看到一个公司给我们公司的数据迁入报价是8万，用这篇手册你也可以为你的公司省下八万块钱（也要结合之前的那篇博客，那个讲数据迁移上的硬件连接《工作小计|零火之间》，现在的这篇主讲软件）
我感觉还是我的工作复杂一点，应该不止八万😀

前言

之前在工作的时候有一个棘手的事情就是有关数据摆渡，由于我们公司的服务器都为了保证稳定性，所以都是以CentOs为主（至少我到手的是这样），对于我这种菜鸡来说，以后这种类似Linux的相关部署还是要有一个确定的方案，有助于下次节省时间、减少出错的情况

还有，这几天由于数据安全的原因，很多操作都不能SSH，要到机房里去操作，机房是真的有点臭，还不是普通便便💩的那种臭，这个味道感觉对生物都不是很友好。。。唯一可以与之媲美的就是公司保洁阿姨的消毒水，我猜测阿姨的消毒水的浓度绝对过高了。我原称这二者为本公司生物灭活界的卧龙凤雏。

有一说一，这个味道还是很必要的，这是化学灭火剂，能够避免着火、老化等情况的出现，很专业。👍

算了，就当为公司牺牲了，下次我要买一个气溶级别的防毒面具，面向面具的编程方法。MOC

本文主要分为这几个部分：

（在离线环境下的）

1、mysql搭建（看这篇文章）

要注意的是我们的MySQL不能装到8以上，级别太高的情况很多都不一样了，5.6-5.8即可
把文章里面的所有命令行可以做一个sh，但是无论如何下次就算是不用bash，也要一行一行去复制，虽然拷到内网的时间会消耗一些，但是在剩下的排错时间相比，是相当划算的。

若要修改mysql端口，修改/etc/my.cnf即可，用service mysql restart重启

2、python安装（其实是Anaconda3）

文章很多的，找一篇看一下即可。
在公司的离线机器中不要装正代python，装anaconda！！！(在这里感谢阿龙）
这样不仅超快而且rmp啥的都不需要了！
Windows的site-packages和linux的是通用的
安装语句：

pip install/uninstall XXX.whl

3、crontab启动中容易遇到的问题

1）crontab确实狗，这个东西的运行位置其实是在/root中，具体可以看这篇文章：crontab运行路径
这样你就可以找到你的一些生成的文件其实是在root下

2）crontab 里面的一些命令要以绝对路径写
代码中涉及到相对路径的也要以绝对路径写！（重要）
代码中涉及到相对路径的也要以绝对路径写！（重要）
代码中涉及到相对路径的也要以绝对路径写！（重要）
可以用这几句 ：
1）环境变量也要绝对，显示出那一串文件地址后，你直接复制出来输入到命令行里面，看看哪个和直接输入python有相同效果就是对了

whereis python 

2）服务，有可能会叫crontab

service crond restart/status/start/stop

3)检查crontab运行日志

tail -f /var/log/cron

4）crontab -l可能会出现 no crontab for user ，用这种方法把定时命令输入crontab -e然后保存：wq
需要运行的定时命令保存在这里即可！别的地方不用去写了！

5）单位里的电脑要设置一下时区，默认的时间应该是阿根廷时间相差12个小时左右（我真的不懂为什么会这样）
用这个命令看时间

date #看现在的时间，应该会和互联网电脑的时间比慢两分钟左右

改时区

列出时区：  timedatectl list-timezones
 
设置时区：timedatectl set-timezone Asia/Shanghai

4、数据摆渡的问题

自制摆渡程序（python）不过需要在摆渡开始之前把两个服务器上的数据结构先建起来

目前好像没有找到那种很好的CentOs下的定时数据摆渡软件，我干脆自己做了一个，是上一个版本的更新，直接上代码：可以在我的GitHub主页FILAgiao/SpaceJump!里面查看

P.S.可以通过ini的第一个设置（write1*）调整是读取一些还是读取全部，有一个指标是名字sure不sure的是在看哪些表单是模糊搜索的哪些不是**
千万别把目标库和源头数据库搞错了！上线之前一定要测试一下！
千万别把目标库和源头数据库搞错了！上线之前一定要测试一下！
千万别把目标库和源头数据库搞错了！上线之前一定要测试一下！
你懂的！这次差点搞错了（因为程序运行之前会清空数据库的）

还有一个要注意的事情就是单位摆渡的人不会帮你把表结构也一起搞过去的，这个要你自己处理一下

快速建表

1）在同网段的数据库迁移数据库

一定要下载一个navicat premium，使用里面的数据迁移功能，一键导入，自动完成
navicat15至尊版破解教程

用数据传输比较快，因为数据同步是要比对的，那样比较慢。可以在数据传输之前把目标库里的表都清空起

2）不同网段的迁移
1.首先在一个与目标数据库类型相同的数据库中建立一个和数据源名字编码啥的都相同的db

2.先点击上面图中的结构同步

3.一直下一步：比对+部署

把这个复制出来，用光驱拷贝到真正的目标数据库上运行一下就可以了！
这样确实快很多，同样的一个一个拷可能会累的不行

P.S. 在我们公司的数据交换表单提交之前，可以选择把目标数据库的数据全部都删除，只留下表结构，这样在填表的时候就省得把一个一个数据项都填进去了

数据所有性控制

通过接口给开发公司调取而不是通过直接给数据，我们可以实现数据所有权的控制，这个东西目前还在做，到时候我会写

好好工作，奥里给！