ML or DL

一、机器学习（Machine Learning）

easyai

监督学习（Supervised Learning）

* 两个任务：回归、分类

非监督学习

经典ML算法

1. 线性回归
2. 逻辑回归
3. 线性判别分析
4. 决策树
5. 朴素贝叶斯
6. K 邻近
7. 学习向量量化
8. 支持向量机
9. 随机森林
10. AdaBoost
11. 高斯混合模型（非监督）
12. 限制玻尔兹曼机（非监督）
13. K-means 聚类（非监督）
14. 最大期望算法（非监督）

二、深度学习（ Deep Learning）

典型DL 算法

1. 神经网络 Neural Network
2. 前馈神经网络 FNN / 多层感知机 MLP
3. 卷积神经网络 CNN
4. 循环神经网络 RNN
5. 生成对抗网络 GANs
6. 强化学习 RL

2. 模型中问题
   1. 梯度下降，动量梯度下降
   2. 反向传播bp
   3. 激活函数（https://zhuanlan.zhihu.com/p/337902763）
   4. one-hot编码
   5. Embedding
   6. 损失函数（https://zhuanlan.zhihu.com/p/35709485）
   7. 残差连接
   8. softmax
   9. 数据预处理
   10. Batch normalization
   11. drop out
   12. GAP+全连接+softmax输出分类概率
   13. logits：未归一化的概率，即各个特征的加权之和。logits经过sigmoid或softmax函数变为归一化的概率值。即全连接层的输出

三、卷积神经网络 CNN

链接

卷积层

提取图像特征 padding+stride+kernelSize+channel）
1. local receptive fields（局部感受野）
2. shared weights（共享权值）
3. torch.nn.Conv2d()：（https://blog.csdn.net/qq_34243930/article/details/107231539）
* 参数dilation：扩张卷积（也叫空洞卷积）
* 参数groups：分组卷积

Relu 层

非线性的激活响应

池化层 Pooling

降维，防止过度拟合 mean-pooling / max-pooling / Stochastic-pooling / global average pooling

全连接层：输出结果

5. 相关文章
   • [x]卷积神经网络CNN完全指南终极版（一）（https://zhuanlan.zhihu.com/p/27908027）
   • [x]卷积神经网络CNN完全指南终极版（二）（https://zhuanlan.zhihu.com/p/28173972）
6. AlexNet、VGGNet、GoogleNet、ResNet

三、循环神经网络 RNN

三层结构

输入层、隐藏层（前面输入对后面的影响）、输出层

参数共享：每一步 Wx，Wh，b相同
RNN长梯度消失问题。
2. 相关文章：
1. [x]一文搞懂RNN（循环神经网络）基础篇（https://zhuanlan.zhihu.com/p/30844905）
2. []零基础入门深度学习（5）-循环神经网络（https://zybuluo.com/hanbingtao/note/541458）
3.

四、长短期记忆网络 LSTM

1. 相关文章
   1. []详解LSTM（https://zhuanlan.zhihu.com/p/42717426）

五、Gated Recurrent Unit (GRU)

1. 相关文章
   1.
2. sd

六、强化学习 RL

七、生成对抗网络 GAN

5. 数据清洗、数据标签、归一化、去噪、降维
6. 机器学习/深度学习的指标：Precision、recall、accuracy（https://blog.51cto.com/u_15295181/3008355）
7. attention mask

三、实例

---

MRPC

fine-tuning：shell脚本如下

-task_name=MRPC
\
--do_train=true
\
--do_eval=true
\
--data_dir=../GLUE/glue_data/MRPC
--vocab_file=../GLUE/BERT_BASE_DIR/uncased_L-12_H-768_A-12/vocab.txt
--bert_config_file=../GLUE/BERT_BASE_DIR/uncased_L-12_H-768_A-12/bert_config.json
--init_checkpoint=../GLUE/BERT_BASE_DIR/uncased_L-12_H-768_A-12/bert_model.ckpt
--max_seq_length=128
\
--train_batch_size=2
\
--learning_rate=2e-5
\
--num_train_epochs=1.0
\
--output_dir=./GLUE/output/

output

***** Eval results *****
  eval_accuracy = 0.6985294
  eval_loss = 1.0101925
  global_step = 1834
  loss = 1.0101925

【注意】出现 tensorflow.python.framework.errors_impl.NotFoundError: NewRandomAccessFile failed to Create/Open: ..\GLUE\BERT_BASE_DIR\uncased_L-12_H-768_A-12\bert_config.json ϵͳ\udcd5Ҳ\udcbb\udcb5\udcbdָ\udcb6\udca8\udcb5\udcc4\udcceļ\udcfe\udca1\udca3 ; No such process原因是fine-tuning中路径 configurations 出错。

四、Google Colab