关于另一家工厂的数据采集系统遇到的坑（nodejs+sqlite3）

(重新回归码农生活，去年去码头吃了一整年薯条，鸽了一年。这篇笔记是吃薯条前的，质量还可以，发出来)

一共去了两次，第一次导入失败了，修改方案之后，进行第二次导入

第一次失败的主要原因是，从根本上方案不适合。对方机器没有固定Ip,原本方案从服务器挂载机器的磁盘目录进行数据扫描，改成了在机器上边安装程序进行扫描，之后将数据发送到固定Ip的服务器上边，但是忽略了一个重要的问题，数据量是很大的，当所有的机器同时发送的时候，将导致网络阻塞，有些机器的数据发送不过来。一开始使用scp的方式发送不行，之后采用tftp的方式发送，还是不行。

第一次除了导入失败之外，过程中还遇到了其他的一些问题：

1、nodejs是解释型语言，在linux和window下的依赖包没有区别，但还是发现了一个包有区别，那就是sqlite3依赖包

2、程序没有详细的设计，原本的功能点很少，写着写着变得比较大，而这时候还糅杂在一本程序里边，就显得特别臃肿，再加上原本nodejs异步调用I/O接口，各种回调嵌套，显得程序更加杂乱无章

3、为了解决nodejs异步的流程问题和限制每次执行任务的大小引入了async包，在每处理完一个流程做一次callback通知下一个任务可以过来了，但是当程序过于庞大分支太多的时候，某些分支没有考虑到，导致程序走入一个死锁的状态（没有回调通知下一个任务开始），，因此我觉得在使用async之前要设计好程序的流程，否则不易维护

第二次导入虽然成功了，也遇到了不少问题