dl_notes

1. pooling 不管是max 还是avg 都是将矩阵做了方差或均值的平移。pooling的思想来源是图像特征提取过程中的边缘提取，如果我们找一个房子的边缘，那么房子外和房子本身某一个区域内的平均值是有较大差别的。我讲图像所有像素往红色平移10和往绿色平移20，对于边缘提取是没有影响的，但pooling后使得计算变得简便。
2. pooling 常用的是2x2，如果是长距拍摄，或夜景拍摄，则可以将pooling size 设置大一点
3. 全连接层是内存瓶颈的来源，卷积层反而不是
4. rmsprop一般用于小图片，或nlp的小句子
5. dropout 适用于 训练集和测试集不是iid的情况，如果是iid则不用dropout
6. ai能做的事情：
   锕预测的目标可以被量化吗？ e.g. 图灵测试至今未过，因为自然对话没有固定答案， 表情识别和自然语言处理无固定答案
   目标的特征可以被有效表达吗？ e.g.表情识别
   指标和目标相关吗 metric vs object e.g. 与用户是否点击链接 vs 用户使用该产品时是否满意
   有足够的数据来训练够准的模型吗？
7. google research site 有 code
8. nlp领域 a stanford nlp b. clove and word2vec
9. paper 管理 mendenley
10. pix2code 干掉前段程序员，github有代码
11. 定位 YOLO / CTPN
12. 手写识别 tesseralt
13. 读paper a 看摘要 b 看结论，与其他方法结果比较 c 看refrence 然后再关心细节