机器学习算法归纳

机器学习算法归纳

专业课中包含高等数学（或数值分析）、线性代数、概率基础、数据结构、计算机体系结构和操作系统；熟练掌握一门开发语言，如JAVA、C/C++、Python等。

机器学习入门

• 线性回归简介
• 回归中的损失函数
• 损失函数的概率解释
• 过拟合
• Scikit-Learn中带正则的线性回归模型
• 正则的概率解释
• 线性回归模型解析求解
• 线性回归模型梯度下降法求解
• 线性回归模型坐标轴下降求解
• 回归模型性能评价指标
• 交叉验证与模型评估
• 线性回归案例分析： Boston房价预测
• 特征工程：共享单车骑行量预测
• Logistic回归简介
• Logistic损失函数
• 正则项
• 牛顿法
• Logistic回归的优化求解
• 多类分类任务
• 类别样本不均衡数据
• 分类模型评价指标
• Scikit-Learn中的Logistic回归
• Logistic回归案例分析：Otto商品分类
• 特征工程：糖尿病发病预测

机器学习基础算法

• SVM简介
• 带松弛变量的SVM模型: CSVM
• 对偶问题； 核方法
• 支持向量回归：SVR
• Scikit-Learn中的SVM
• SVM案例分析：Otto商品分类
• 决策树； Scikit-Learn中的决策树模型
• 决策树案例分析：Otto商品分类
• Bagging和随机森林
• Scikit-Learn中的随机森林模型
• 随机森林案例分析：Otto商品分类
• Adaboost
• GBM
• Scikit-Learn中的GBM
• XGBoost原理
• XGBoost工具包使用指南
• XGBoost的Scikit-Learn接口
• XGBoost案例分析：Otto商品分类
• LightGBM原理
• LightGBM使用指南
• LightGBM案例分析：Otto商品分析
• PCA降维原理
• Scikit-Learn中的PCA
• t-SNE
• Scikit-Learn中的 t-SNE
• 降维案例分析：Otto商品数据降维分析
• 聚类简介
• KMean聚类算法
• Scikit-Learn中的 KMean聚类
• 聚类案例分析：Event聚类
• 推荐系统简介
• 基于内容的推荐
• 基于用户的协同过滤
• 基于物品的协同过滤
• 基于矩阵分解的协同过滤
• 协同过滤推荐案例分析：MovieLens电影推荐
• CTR预估简介
• FTRL模型
• FM与FFM
• GBDT
• Wide and Deep Learning模型
• CTR案例分析：Criteo CTR预估

深度学习入门

• 深度学习历史与介绍
• 深度学习解决的问题
• 感知器介绍
• 神经网络的拟合能力
• 全连接神经网络介绍
• 前向传播
• 反向传播

深度学习基础算法

• 整体介绍
• 数据预处理
• 神经网络简介
• 激活函数
• Batchnorm
• Dropout
• 网络连接方式
• Ground truth
• 损失函数
• 学习率
• 优化算法
• 过拟合与欠拟合
• 正则化
• 参数的初始化

机器学习的数学基础

• 线性代数（Linear Algebra）
• 概率与统计
• 统计推理
• 随机变量
• 概率分布
• 中心极限定理
• 梯度下降
• 凸函数

线性模型（Linear Models）

• 线性模型
• 最小二乘法（LMS）
• 感知机（Perceptron）
• 对数几率回归
• 线性模型的概率解释
• 线性判别分析
• 约束线性模型
• 稀疏表示与字典学习

核方法（Linear Models）

• 对偶拉格朗日乘子
• KKT条件（KKT Conditions）
• Support Vector Regression(SVR)
• 核方法（Kernel Mothods）
• 支持向量机SVM

统计学习（Statistics Learning）

• 判别模型与生成模型
• 混合模型
• EM算法（Expectation Maximization）
• 隐马科夫模型（hidden Markov Models）
• 条件随机场（Condition Random Field）
• 层次图模型
• 概率图模型
• 从隐含语义模型到p-LSA (From LSA to P-LSA)
• Dirichlet 分布与特点 （Dirichlet Distribution）
• 对偶分布（Conjugate Distribution）
• 主题模型（Topic Model - LDA ）
• 中文主题模型

流式学习（Manifold Learning）

• 主成分分析
• 低维窃入

强化学习（Reinforcement Learning）

• 奖赏与惩罚
• 路径规划

神经网络（Reinforcement Learning）

• 多层神经网络
• 自动编码器