工程项目开发经验谈——血泪教训

写在前面

本文记录了自己在做项目时实际遇到的各种采坑问题，小到ubuntu系统操作，大到数据分析、确定算法优化方向等，花过不少时间，在此记录下这些走过的弯路。坑只有自己踩过并思考过才会有印象，别人再怎么强调某些经验的重要性，不真正经历过还是不能产生共鸣。希望上天眷顾爱思考的人吧。

---

Table of Contents

写在前面

影响晚上不能正常训练网络的坑

ssh自动断开

scp在sudo下不能执行

正确的数据分析才能得出下一步优化方向

数据分析步骤：

数据分析经验：

---

影响晚上不能正常训练网络的坑

ssh自动断开

问题：ssh在客户端和服务器端长时间不通信时默认会自动断开，就算是服务器上在跑一个脚本，脚本里sleep 1h这种也会断。报错“broken pipe”

解决：修改客户端的ssh_config文件，具体：

scp在sudo下不能执行

以前一直以为bash命令是可以盲加sudo的，最近发现scp加了sudo后就不可以

 

正确的数据分析才能得出下一步优化方向

优化数据：这批数据里面包含很多目前待解决的问题

训练数据：收集而来或者自造数据

数据分析步骤

• 获取训练数据：

几点解释：

• 选取概率非极端的数据是保证加进去训练的样本，对于目前网络来说不是很难也不是很简单。概率在0.05到0.95之间比较合适
• 每次仅针对少数问题进行优化，加入训练数据测效果，效果好了以后再加入新问题的数据
• 每次加数据的量由两方面来确定：数据特征的难易程度和数据获取的实际数量