100篇导航检索式网站、学习笔记与教材推荐(资源持续更新中~)
前言
理工科生从大三往后,往往已经具备了学习机器学习和深度学习的基础了,此时已经具备了高等数学、概率统计和线性代数的初步知识,本篇文章主要想描绘从此刻开始,到一个合格的熟练掌握机器学习和深度学习知识的专业领域内的拔尖人才,这中间的路上需要踩过哪些地砖。都是一些个人的意见,仅供参考。
写之前先端正一个至关重要的观念,只有基础扎实的人,未来才可能成为一个具备创造力的人。许多人受迷惑于当今的神经网络热潮,在基础尚未训练牢靠时,致力于用奇思妙想改进网络,致力于阅读paper寻找idea来碰巧变个新模型有个好效果来发paper,这些都是舍本求末。其实许多的新东西万变不离其宗,极少极少能有好想法可以完全凭空出现而不依托于前人的思想,而有了想法也需要扎实的基础才能实现和证明。例如,只需要熟练掌握概率统计的知识,就知道已经有了方差描述数据为什么还需要有标准差,这其间的思想就足以产生batch normalization的idea;熟练掌握隐马尔可夫链的相关知识,也具备了发现RNN神经网络的能力;详细了解统计学习和数值分析的知识,就能通过基函数的知识得到神经网络的雏形以及如何优化。
明确了基本观念之后,就是如何做了。总结一下大牛们的观点就是以教材为主线,吃透教材中的基础知识。
为什么如此强调经典教材的学习呢?因为经典教材的内容往往代表了大牛们对知识点最本质的理解和梳理。最本质的理解和梳理有什么好处?那就是可以举一反三,用起来可以得心应手,只有这样这个知识点才真正属于自己。许多人热衷于主要通过博客的方式来学习东西,工程实操类的知识点还好,可是理论上的知识点如果不通过经典教材来学习就会埋下许多隐患。许多人会说:“可是我读完博客就确实理解了这个知识点了啊!”没错,大部分的用心的博客看起来都能让人有一种恍然大悟的感觉,可是许多时候产生这样的感觉往往是假象,当你面临另一个场景的时候就会发现,为什么还是束手无策还是一头雾水呢?其实就是盲人摸象的道理,博客的质量确实很好,但是如果把知识点比作象,有的博客摸到了象腿,于是就在博客中告诉你这是象腿,当然很令人恍然大悟,噢!这多简单!可是下次遇到象头呢?自然束手无策了。而大牛们在经典教材中会教你,如何识别一个大象,学会这个的过程可能很困难,可是这才是把握本质应当付出的努力。
个人整理了自己学习过程中收藏的一些资源,觉得质量很高,在此分享给大家。
基础知识篇
书本教材
大家耳熟能详的几篇大作,其重要性就无需多说了:
- 李航《统计学习方法》
- 周志华《机器学习》
- Ian Goodfellow《深度学习》以及花书GitHub代码与笔记
除了上面的书籍之外,还有下面基本书籍有助本质理解,是不可多得的经典好教材
- 《The Element of Statistical Learning》终极加强版《统计学习方法》
- 还有相关学者所写ESL中文翻译与笔记
- 《Pattern Recognition and Machine Learning》PRML经典好书
- 还有随书PRML GitHub代码和笔记
- 以及PRML中文翻译
个人阅读过的巩固基础,产生更深理解的书籍
- 《程序员的数学:概率统计》
- 《程序员的数学:线性代数》
理论和实践相结合的书籍
- 《动手学深度学习》以及pytorch版的书和代码
- 《python数据科学手册》
视频课