欢迎使用CSDN-markdown编辑器

机器学习平台

 第一部分 序言
 0.  引言
 1.  大规模机器学习平台的构成

 第二部分 算法部分
 2. 大规模机器学习常用开发范式
 2.1. BSP
 2.2. SSP (Bounded-Delay Algo)
 2.3. Asynchronous Update 
 2.4. Data Parallelism     
 2.5. Model Parallelism

 3. 最优化原理
 3.1 泰勒定理，泰勒展开式，泰勒中值定理 
 3.2 梯度下降法
 3.2.1 基本原理
 3.2.2 批量梯度下降 随机梯度下降 小批量梯度下降
 3.2.3 Momentum AdaGrad AdaDelta Adam
 3.3 并行SGD， FTRL
 3.4 二阶优化方法
 3.4.1 概览
 3.4.2 牛顿法(Newton Method) 拟牛顿法(Quasi-Newton Method) L-BFGS算法

 4.  有监督学习— 线性模型
 4.1. Logistic Regression
 4.1.1. 建模
 4.1.2. 并行化方案
 4.1.3. 代码实现

 4.2. Support Vector Machine 
 4.2.1. 建模 Linear Kernel Non-Linear Kernel 
 4.2.2. 并行化方案
 4.2.3. 代码实现

 5.  有监督学习— 非线性模型
 5.1. Decision Tree
 5.1.1. 建模
 5.1.2. 并行化方案
 5.1.3. 代码实现

 5.2. Gradient Boosted Decision Tree
 5.2.1. 建模
 5.2.2. 并行化方案
 5.2.3. 代码实现 xgboost, LightGBM

 5.3. Random Forest
 5.3.1. 建模
 5.3.2. 并行化方案
 5.3.3. 代码实现

 6. 无监督学习— 聚类
 6.1. K-Means
 6.1.1. 建模
 6.1.2. 并行化方案
 6.1.3. 代码实现

 6.2. 主题模型 PLSA
 6.2.1. 建模 EM算法介绍
 6.2.2. 并行化方案
 6.2.3. 代码实现

 6.3. 主题模型 LDA
 6.3.1. 建模
 6.3.2. 并行化方案
 6.3.3. 代码实现
 5.3.4. 大规模主题模型(Peacock, LightLDA)

 6. 无监督学习 — Neural Network Based Model 
 6.1. word2vec
 6.1.1. 建模     
 6.1.2. 并行化实施
 6.2. 神经网络语言模型    
 6.2.1. 建模     
 6.2.2. 并行化实施

 第三部分 深度学习
 7.1 CNN
 7.2 RNN, LSTM

 第四部分 特征工程模块，效果评估
 8.1 Business-Independent指标 Precision/Recall/F1 Score/AUC/ROC
 8.2 Business-Dependent指标 CTR/CVR/RPM/BLEU
 8.1  特征归一化
 8.2  特征离散化
 8.3  特征组合

 第五部 开源机器学习平台技术探讨
 9.1 AllReduce 参数服务器(Parameter Server)
 9.2 Open-source 分布式机器学习平台观察DMLC ps-lite Dragon