欢迎进入机器学习的世界
本教程是根据台湾大学李弘毅老师的课程机器学习课程,斯坦福大学CS229、CS231N、CS224N、CS20i、伦敦大学学院 ([UCL-Course])(http://www0.cs.ucl.ac.uk/staff/d.silver/web/Teaching.html)课程,翻译、总结、提炼,将零星的知识点、算法进行串接,并加入个人的理解,形成机器学习基础理论、图像处理、自然语言处理、强化学习、对抗学习的整体知识框架的入门、提高教程。
在本教程最开始的地方,首先忠心感谢这些高水平课程,本人是经过反复观看(至少十次)、思考、编码,才获得较浅层次领悟(本教程中也会引用这些课程的经典内容、图片、代码,引用的时候我也会具体注明)。
1.编写目的:
- 突破语言障碍:机器学习、深度学习核心课程、算法、论文都是英文。机器学习爱好者可能在语言上望而却步,而内容全面、高水平的中文教程相对较少。
- 内容全面:各类机器学习中文学习笔记比较多,但是只是针对某个算法或者某门课程(方向),整体上将机器学习理论、图像、自然语言处理、强化学习、对抗网络算法和最新成果进行串联的中文教程较少。
- 通俗易懂:用“最通俗的语言、最少的数学公式”,带领徘徊在机器学习门口的同学们,入门、提升、掌握机器学习基础理论、掌握深度学习的核心理念、算法`。
##2.读者要求:
建议学习本教程的同学具备一定的高等数学、概率论、线性代数的知识和掌握Python语言。
2.学习路径:
本教程一共分为五大部分,估计在50篇博文左右(每周一更或者两更):
-
第一部分:机器学习(已经完成)
01.机器学习与深度学习系列连载(NTU-Machine Learning, cs229, cs231n, cs224n, UCL-RL,cs20i:欢迎进入机器学习的世界
02.机器学习与深度学习系列连载:第一部分机器学习(一)导论
03.机器学习与深度学习系列连载:第一部分机器学习(二)监督学习:线性回归
04.机器学习与深度学习系列连载:第一部分机器学习(三)监督学习:分类和逻辑回归 Classification and logistic regression
05.机器学习与深度学习系列连载:第一部分机器学习(四)误差分析(BiasandVariance)和模型调优
06.机器学习与深度学习系列连载:第一部分机器学习(五)生成概率模型(GenerativeModel)
07.机器学习与深度学习系列连载:第一部分机器学习(六)训练数据和测试数据(TraindataandTestdata)
08.机器学习与深度学习系列连载:第一部分机器学习(七)朴素贝叶斯(NaiveBayes)
09.机器学习与深度学习系列连载:第一部分机器学习(八)支持向量机1(SupportVectorMachine)
10.机器学习与深度学习系列连载:第一部分机器学习(九)支持向量机2(SupportVectorMachine)
11.机器学习与深度学习系列连载:第一部分机器学习(十)决策树1(DecisionTree)
12.机器学习与深度学习系列连载:第一部分机器学习(十一)决策树2(DecisionTree)
13.机器学习与深度学习系列连载:第一部分机器学习(十二)集成学习(Ensemble)
14.机器学习与深度学习系列连载:第一部分机器学习(十三)半监督学习(semi-supervisedlearning)
15.机器学习与深度学习系列连载:第一部分机器学习(十四)非监督度学习-1 UnsupervisedLearning-1
16.机器学习与深度学习系列连载:第一部分机器学习(十五)非监督度学习-2 UnsupervisedLearning-2 NeighborEmbedding
17.机器学习与深度学习系列连载:第一部分机器学习(十六)非监督度学习-3 UnsupervisedLearning-3 Auto-Encoder
18.机器学习与深度学习系列连载:第一部分机器学习(十七)非监督度学习-4 UnsupervisedLearning-4 GenerativeModels
19.机器学习与深度学习系列连载:第一部分机器学习(十八)模型评估 -
第二部分:深度学习(已经完成)
01.机器学习与深度学习系列连载: 第二部分 深度学习(一)神经网络
02.机器学习与深度学习系列连载: 第二部分 深度学习(二)梯度下降
03.机器学习与深度学习系列连载: 第二部分 深度学习(三)反向传播 Backpropagaton
04.机器学习与深度学习系列连载: 第二部分 深度学习(四)深度学习技巧1(Deep learning tips- RMSProp + Momentum=Adam)
05.机器学习与深度学习系列连载: 第二部分 深度学习(五)深度学习技巧2(Deep learning tips- Relu)
06.机器学习与深度学习系列连载: 第二部分 深度学习(六)深度学习技巧3(Deep learning tips- Early stopping and Regularization)
07.机器学习与深度学习系列连载: 第二部分 深度学习(七)深度学习技巧4(Deep learning tips- Dropout)
08.机器学习与深度学习系列连载: 第二部分 深度学习(八)可以自己学习的激活函数(Maxout)
09.机器学习与深度学习系列连载: 第二部分 深度学习(九)Keras- “hello world” of deep learning
10.机器学习与深度学习系列连载: 第二部分 深度学习(十)卷积神经网络 1 Convolutional Neural Networks
11.机器学习与深度学习系列连载: 第二部分 深度学习(十一)卷积神经网络 2 Why CNN for Image?
12.机器学习与深度学习系列连载: 第二部分 深度学习(十二)卷积神经网络 3 经典的模型(LeNet-5,AlexNet ,VGGNet,GoogLeNet,ResNet)
13.机器学习与深度学习系列连载: 第二部分 深度学习(十三)循环神经网络 1(Recurre Neural Network 基本概念 )
14.机器学习与深度学习系列连载: 第二部分 深度学习(十四)循环神经网络 2(Gated RNN - LSTM )
15.机器学习与深度学习系列连载: 第二部分 深度学习(十五)循环神经网络 3(Gated RNN - GRU)
16.机器学习与深度学习系列连载: 第二部分 深度学习(十六)循环神经网络 4(BiDirectional RNN, Highway network, Grid-LSTM)
17.机器学习与深度学习系列连载: 第二部分 深度学习(十七)深度神经网络调参之道(learn to learn)
18.机器学习与深度学习系列连载: 第二部分 深度学习(十八) Seq2Seq 模型
19.机器学习与深度学习系列连载: 第二部分 深度学习(十九) 注意力机制 Attention
20.机器学习与深度学习系列连载: 第二部分 深度学习(二十) 轮询采样 Scheduled Sampling
21.机器学习与深度学习系列连载: 第二部分 深度学习(二十一) Beam Search
22.机器学习与深度学习系列连载: 第二部分 深度学习(二十二) 机器记忆 Machine Memory
23.机器学习与深度学习系列连载: 第二部分 深度学习(二十三) 空间转换层 Spatial Transfer Layer
24.机器学习与深度学习系列连载: 第二部分 深度学习(二十四) Pointer Network
25.机器学习与深度学习系列连载: 第二部分 深度学习(二十五) 递归神经网络Resursive Network -
第三部分:强化学习(已经完成)
- 强化学习简介
- 马尔科夫决策过程 MDP
- 动态规划寻找最优策略
- 不基于模型的预测(蒙特卡洛方法MC、时序差分TD)
- 不基于模型的控制(SARSA、Q-Learning)
- 价值函数的近似表示
- 策略梯度
- 整合学习与规划 (Alpha Go 基本原理)
- 探索与利用
- 深度强化学习
- 深度强化学习- Q learning的算法剖析
- 深度强化学习- Q learning进阶: Double DQN和 Dulling DQN
- 深度强化学习-策略梯度与OpenAI的当家算法:PPO(1)
- 深度强化学习-策略梯度与OpenAI的当家算法:PPO(2)
- 深度强化学习- Actor-Critic的集大成者:A3C
- 深度强化学习- Pathwise Derivative策略梯度
- 深度强化学习- 稀疏奖励该怎么办? Sparse Reward
- 深度强化学习-模仿学习 Imitation Learning
- 第四部分:对抗网络(已经完成)
- 对抗网络GAN(一) 对抗网络介绍 GAN Introduction
- 对抗网络GAN(二) 对抗网络 GAN背后的理论
- 对抗网络GAN (三) 对抗网络 Conditional GAN (CGAN)
- 对抗网络GAN (四) 对抗网络 Cycle GAN
- 对抗网络GAN (五) 对抗网络 Wasserstein GAN
- 对抗网络GAN (六) 对抗网络 (EBGAN,Info GAN,Bi GAN,VAE-GAN, Seq2Seq GAN)
- 对抗网络GAN (七) 对抗网络应用:NLP对话生成
- 对抗网络GAN (八) 对抗网络 (Unsupervised Conditional Sequence Generation)
- 对抗网络GAN (九) 对抗网络 (RankGAN + GAN家族总结)
- 第五部分:深度学习框架(待完成)
- TensorFlow
- Pytorch