关于学习方法的问题,我个人觉得很重要,机器学习这一块点很多,有数学,有计算机,有应用,有方法论,如何在本科生阶段玩转机器学习呢,我觉得很重要一点就是学习方法了,这个靠大家平时学习时候去总结,当然在我blog里面我会不时穿插一些我自己的学习方法,以下仅仅是本人在大学两年学习中相对来说比较短的时间接触机器学习的一些心得体会及学习经验的分享,希望能给大家带来一些启发,不足之处望大家指正。
进入正题,一名本科生如何入门学习机器学习?
此处我们暂且不论文科生,理科生工科生课程大多在大一会有高等数学和线性代数两门课,机器学习大约需要多少数学知识呢?个人觉得如果你是想从事机器学习算法基层工作,偏做数学学术的同学,你可以本科两年左右把高代、数分这些主干课过一遍,至于大三的一些实分析、复分析、泛函实变这些,个人觉得机器学习极少用到这些,当然也可能是我程度还不够深入,我的建议是大家不要浮躁地一开始就拿着代码开始撸项目,但是也不要读成书呆子,大家一定要明白一个观点,如果你不想成为陈景润那样的数学家,大可不必花上大把时间在各种各样的数学专业书上。那么回到我们的问题机器学习到底需要多少数学知识呢?从我个人学习经验,鄙人在学校大约学过高等数学、线性代数、离散数学、概率论与数理统计这四门主干课,平均分大约在88分左右,至于为什么平均分没上95,是因为实在是懒得复习每本书那一章背的让人头疼的公式,机器学习需要的数学大约是高数微分积分思想那块(泰勒展开可以好好复习复习)、线性代数基础书加上部分求导(矩阵的迹这些)、概率论与数理统计(贝叶斯看看,然后是分布那块),这几块内容实在在这几本书算是基本内容了,很简单。之前见过一些,有的可能会说这些操作在现在流行的平台都有许多包能用巴拉巴拉的,但是不要忘了我们虽然不是“造房子”的人,但是最基本的一些东西还是希望同学们在学习的过程中去证明证明。在已有比较好的数学基础上去看机器学习的算法会轻松很多,也解决了部分同学一心趴倒在数学坑里的问题(执着于数学的科研小伙伴请忽略我这一大段话,统计学大佬惹不起)。
好啦,以上就是机器学习在数学方面的要求。接下来我们可以愉快地学习机器学习啦。
这里我说说我的入门,一开始很荣幸一个大佬给我讲了机器学习一些思想,顺便安利了我辈楷模Andrew ng,一开始在网易云看了一遍带massac的视频,憋的不要不要,很多地方一知半解,练习也较少,看完之后懵懵懂懂吧,当时是边刷周志华老师的西瓜书(这个不必说了吧,另一个大佬,据说最近评上了ieee fellow的亚洲主席来着),当时大约是大二上学期结束后的寒假,痛并快乐着。过了一段时间,朋友圈另外一个大佬alexa哈哈,疯狂在刷coursera,抱着萌新心态一搜,不得了哇(coursera为ng所创立),然后不知不觉刷完了stanford的ml课程,并做完了所有练习。做的同时二刷周志华老师的西瓜书,痛并快乐着。
不得不说ml博大精深,看了很久很久,我发现自己还是停留在学习阶段,也就是怎么说,在有的人看来屌屌的,但是实际上让我立马接一个项目,感觉压力山大啊。这时候我打开的B乎,手动滑稽脸,发现李航老师的《统计学习方法》,这个评价不是一般的好,继续买书刷书,刷完感觉数学功底理解上升了一个层次。以上书籍都很安利的。后来alexa大佬在刷华盛顿大学的ml课程,据说也很nice,但是课程量太大加上后来国家某局狂搞vpn,没得看,算是小遗憾了。
刷完统计学习方法对不对,不得不再吹一句,机器学习也是大学科,类别是真的多。转眼到大二下学期的暑假,看大佬无聊的时候演示一波R的文本分词,着实欢喜,自学了一波R语言(ps那时的我执着于用octave处理一切问题),美滋滋。当然我继续搜淘宝,淘到一本机器学习实践,看来是harrinton大佬写的,很nice带源码,小伙伴们刷起吧,不解释,不过这本书没刷完因为其他一些项目耽误了。(python也是真滴好用,当然包这一块强推anaconda,conda指令有些坑处我自己慢慢爬出来的,有问题的同学可以留言)。
搞了一波事情,发觉无聊了,这时候来了本深度学习,还是yoshia bengio大佬,别说了,再贵都买,目前刷了五章, 一直炒现饭,我给自己本科要求是不玩深度学习,但是进来了还是看看吧,就是玩玩,没指望自己能玩转卷积这些,只是看看。近期什么状态呢,(⊙o⊙)…
其实从暑假后期开始,我重心转向托福了,打算年底刷一波分,然后再投入到令人向往的事业来hhhh,不过现在看起来又要重新进坑了。两个教授给我发出申请,给研究生讲讲我的学习方法交流交流,maybe已经走在大部分人前面,现在是想划水划不动了,每周跟着一帮研究生开组会,过起了研究生+本科生双重生活。文中如有冒犯请别跟小人一般见识,现在是大三狗了,只能划两年,出国跟着某苦逼导师消耗自己两三年的生命投身科研吧,当然就是说说,有大佬带就好,现在处于不想自己带队的状态,手上有一手资源,但是不想用23333,感谢让我再休息一阵子哈哈哈哈,劳模下线了。如果想了解细节可以留言,我有时间有想法了可以不定期更新一两波干货。鄙人爱好较多,欢迎找我打桥牌啊之类的,棋现在不想约了,小提琴处于想拉就拉的状态,为bigbang着迷的程序猿,balabala当日记写着玩哈哈。
感谢大学两年以来帮助过我的学长学姐们,感谢我最亲爱的honey,没错就是你呀!
忘了怎么打分割线了,姑且这样凑合吧。出去交换了一波准大四来补全一下。(不知道算不算画蛇添足2333)
之前说的大约是需要不是很多的数学就能开干,但是要知道很多东西看起来不难,但是越深入是越难的。对于想做机器学习(AI大类)相关的同学要明白自己有什么资源,自己想达到什么程度,自己想做什么。上学期出去交换一学期,期间零零碎碎做了网络+嵌入式的app项目,也做了一些GAN相关的东西,听了几位业界蛮有名的大牛讲座。思路太多下面慢慢整理(最近刷GRE也顺带继续刷toefl真是累)。
如果你是大一/大二同学,请好好学习数学的同时刷完李航的《统计学习方法》,(最近大家都在看,似乎是国内院校神书)这本书蛮薄的,前前后后因为实习各种事详细看了好几遍,至今也不敢说自己完全都会,甚至前两天和一个研究生学长讨论一下把我问住了,只能说这本书中许多问题需要深入思考:为什么要用这个方法、这个方法为什么好、这个方法还能用在哪里。其实在平时学习与看书这件事不冲突。
还有几本实践书,《python实践》大约是这么写,harrington写的,主要是基础算法的实例。然后是《tensorflow深度学习框架》这本是科大学长安利,出到了第二版,也挺不错。实践书,算法书都挺不错,同类型多看看也差不多了,主要提高coding和对这些问题的思考,比如这些算法背后的一些哲学思想(开玩笑2333)。
至于周老师的西瓜书,可以当作reference之类的看,里面工程内容也很多,如果有能力(看完李航老师书的前提下)跳过算法部分,专注工程的一些trick。还有一点是不管用什么方法,coding是要有的,我的blog基本上囊括了machine learning的一些基本算法。当然了,等你看完这几本,其实你还没入门。。。
哈哈,当然是骗你的,如果你弄透了,基本在ml这块就没问题,可以继续进阶啦。这里你可以有很多基础的东西要看,比如CNN对不对,CNN基础的论文大概二十篇左右,我在我的blog有详细列出了其中比较重要的条目以及阅读意见。然后是RNN呀LSTM呀RF呀FPGA呀GAN呀这些,当然我没罗列完,大约就是各种网络模型,再加上各种优化方法,当然还有纯convex流派,这个大大大佬应该是都会的,顶会上再厉害的东东也是有数学那么些东西的,笼统来说就是你这里哪里加了个function,然后这样optimize就很好,然后证明两页略这种。这些论文加起来大约200篇左右,最好是能实现一些,然后实操一些。
同时比赛也可以玩玩呀,ACM,阿里的,kaggle上的都不错,可以拿得出手,锻炼锻炼。(当然还有JData,TX社交网络,携程滴滴这些)还有数学建模之类,以及各种互联网+之类的比赛水水。PS数学建模玩的好真能保送北大,因为国赛是会排名的,隔壁寝就保了。(当然ACMworld final也能保,同实验室的学长15final打了世界30多吧,毅然决然放弃博,感觉他考个toefl就能上MIT,后来去了pony投奔楼教主,税后嘿嘿嘿)学校211弱渣,碰巧大牛还是有的。
还有些别类例如R, scala, swift 这些语言也是相关。whatever, 语言只是工具据,当然也有各自擅长吧,如果非要选一个当然是r了,对初学者或者是外系同学比较友好(学好英文自然懂R语言qaq),据我所知数学和经济大类一般都是用r语言做分析(在台湾交换的舍友一天到晚用r做高维数据的证明,coding估计比我还多)。除了计算机外,时间序列也很不错,之前做过很久的经济方面的东西,但是苦于没有学计量经济学,所以后面arma, arima, garch这些都学的很艰难,当然也发现LSTM也不是总是好用,用time series的方法也不见得就比新的方法差多少,差的是修仙调参罢了。
总之就是这么多,本科发paper还是比较难。(我指的是CVPR,emmm以及稍微比CVPR低一些的IEEE子会的一些)因为随便水水真的不好哇,虽然感觉CVPR也挺多灌水嫌疑文章,虽然我们写不出来,但是你仔细看多了,水不水难道看不出嘛,评价水不水大约就是别人用起来爽不爽(引用量)、对社会效益大不大(会不会有公司看中你请你带实验室去赚钱)。当然了做AI感觉最好还是硕士往上走,但是读硕士肯定得拿出来论文,虽然很多学校要求不高,但是你得想清楚竞争力在哪儿。paper可能你在学校更有环境发(如果能去滴滴实验室or)
plus:推荐两本在看的《python深度学习》《GAN实战生成对抗网络》()
嗯12月5号来更,上面两本看完了,第一本是keras教父最新的那本红书,入门级,比较适合入门者熟悉keras,算是编程书;第二本主要是GAN,但是确实钱真好赚,书很薄,而且基本上讲的一年前发表的二十篇论文左右的量。完结撒花。