Machine Learning List

机器学习：
每多加一个符号，就多加一个变量。
每次确定给定量，其余均可变，方便分析问题。

ML(1)-激活函数sigmoid、损失函数MSE、CrossEntropyLoss
ML(2)-图像分类常用数据集
ML(3)-流型
ML(4)-核函数与再生核希尔伯特空间
ML(5)-去量纲：归一化、标准化
ML(6)-Daviad Silver强化学习课程脉络整理
ML(7)-决策树基础+sklearn.DecisionTreeClassifier简单实践
ML(8)-PCA,LDA基础+sklearn 简单实践
ML(9)-最大似然、最小KL散度、交叉熵损失函数三者的关系
ML(10)-图神经网络、PyG极简版入门笔记
ML(11)-图神经网络GNN简史、不动点建模-笔记
ML(12)-图卷积神经网络GCN-笔记
ML(13)-聚类
ML(14)-关联规则分析

MachineLearning(12)- RNN-LSTM-tf.nn.rnn_cell

---

1. 线性回归

pytorch实现线性回归

模型假设：假设输入属性x和输出属性Y的关系是线性的，则有假设函数
$$h(x;\theta )=h(x;w,b)=wx+b$$

模型评估：什么样的模型参数(w, b)组合是最好的？${\mathrm{argmin}}_{\theta }\mathcal{J}(\theta )$

loss function: $\mathcal{L}[h(x_i;w,b),y]$ 评估y_pred 和真值y的接近程度(单个样本)
cost function: $\mathcal{J}(\theta )$ 一个模型与一批数据的接近程度(批次样本)
（以下两个个概念的诠释不准确TODO）

python实现：modle, loss_fn, grad_fn, update param
Torch实现： 自动求导、内置损失函数、optimizer、nn.Linear、nn.Sequential(三种构建方式、named_paramters()不包含无训练参数的层)、nn.Module 灵活实现自定义网络

logistic回归

pytorch实现logistic回归