机器学习所需要的数学知识

• 第1课 微积分与概率论
  • Taylor展式/牛顿法/梯度/指数族分布/共轭分布
• 第2课 数理统计与参数估计
  • 统计量/切比雪夫不等式/大数定理/中心极限定理/参数估计方法
• 第3课 线性代数
  • 向量/矩阵/方程/特征向量
• 第4课 凸优化
  • 凸集、凸函数、凸优化、KKT条件
• 第5课 回归
  • 最小二乘法、梯度下降、稀疏、过拟合、Logistic回归
  • 代码示例：使用批处理梯度下降和随机梯度下降(SDG)求回归参数
    
• 第6课 梯度下降算法剖析
  • 自适应学习率、拟牛顿
  • 代码示例：使用Armijo准则的BDG/SDG求自适应学习率
    
• 第7课 最大熵模型
  • 熵、最大熵模型、IIS
• 第8课 PCA、SVD、LDA（Linear Discriminant Analysis）
• 第9课 聚类
  • 距离度量、K-means/K-Medoid/密度聚类/谱聚类
• 第10课 决策树和随机森林
  • ID3、C4.5、CART、Bagging、GBDT
• 第11课 Adaboost
  • Adaboost、前向分步算法
• 第12课 SVM
  • 线性可分支持向量机/线性支持向量机/非线性支持向量机、SMO
• 第13课 贝叶斯网络
  • 朴素贝叶斯、有向分离、马尔科夫模型/ HMM /pLSA /LDA
• 第14课 EM算法
  • GMM/pLSA/HMM
  • 代码示例：使用EM算法求GMM参数——以男女身高为例
  • 代码示例：使用EM算法求GMM参数——图像分割
    
• 第15课 主题模型
  • pLSA/共轭先验分布/LDA
• 第16课 采样与变分
  • MCMC/KL(p||q)与KL(q||p)
• 第17课 隐马尔科夫模型HMM
  • 概率计算问题/参数学习问题/状态预测问题
• 第18课 条件随机场CRF
  • 概率无向图模型/MRF/线性链CRF
• 第19课 CNN、RNN、深度学习
• 第20次课 待定。所以第20次课你想听什么呢，欢迎到这里反馈给我们：http://ask.julyedu.com/question/453。

主讲老师