目录
人工智能学习 1
- 环境、命令Anaconda 7
1.1. pip 7
1.1.1. pip install tensorflow 7
1.1.2. 更新 pip install --upgrade tensorflow 7
1.1.3. pip show tensorflow 7
1.1.4. pip install --upgrade --ignore-installed tensorflow. 7
1.2. conda 命令 7
1.2.1. Conda常用命令 7
1.2.2. activate tensorflow 8
1.2.3. conda deactivate 8
1.3. 镜像channels 8
1.3.1. 显示镜像:conda config --show 8
1.3.2. 添加镜像 8
1.3.3. 恢复默认channels 9 - tensorflow 9
2.1. session 9 - PyTorch 9
3.1. Torch 10
3.2. 安装PyTorch 10 - 其他机器学习框架 11
4.1. Darknet 11 - spyder 12
5.1. 快捷键 12
5.1.1. 注释 12 - protobuf 12
6.1.1. 安装 12
6.1.2. 使用 13 - 数学 14
7.1. ROC曲线、F1-Measure、IoU 14
7.1.1. ROC曲线 14
7.1.2. F1-Measure 15
7.1.3. IOU 15
7.2. 鲁棒性 15
7.3. 感知机 16
7.4. 贝叶斯 17
7.5. EM算法 17
7.6. 梯度 17
7.6.1. 线性回归 17
7.6.2. 最小均方法(Least Mean squares) 18
7.6.3. 梯度下降GD(Gradient Descent) 18
7.6.4. 批梯度下降算法(BGD) 19
7.6.5. 随机梯度下降(Stochastic Gradient Descent, SGD) 20
7.6.6. AdaGrad 21
7.6.7. Adadelta 22
7.6.8. Momentum算法-冲量算法 22
7.6.9. RMSprop算法 25
7.6.10. Adam算法 26
7.7. 激活函数 27
7.7.1. Sigmoid激活函数 27
7.7.2. ReLu激活函数 28
7.8. Softmax函数 28
7.8.1. 分类问题 28
7.8.2. softmax回归模型 29
7.8.3. softmax运算 29
7.8.4. 单样本分类的矢量计算表达式 30
7.8.5. 小批量样本分类的矢量计算表达式 32
7.8.6. 交叉熵损失函数 32
7.8.7. 模型预测及评价 33
7.8.8. 小结 34
7.9. Dropout 34
7.10. BN(BatchNorm) 35
7.11. 独热编码(One-Hot) 40
7.12. embedding 词嵌入 40
7.13. 降维算法UMAP、t-SNE 40
7.14. BP反向传播算法(BackPropagation) 44
7.14.1. 简介 44
7.14.2. 步骤一:前向传播 46
7.14.3. 步骤二:反向传播 47
7.14.4. 总结 52
7.14.5. 梯度消失、梯度爆炸 53 - 传统模型 54
8.1. 向量感知机SVM 54
8.2. 高斯混合模型 54 - 强化学习 54
9.1. Q-Learning 54
9.2. Sarsa 55
9.3. DQN(Deep Q Network) 56
9.4. Policy Gradient 56
9.5. Actor Critic 57
9.5.1. Deep Deterministic Policy Gradient (DDPG) 58
9.5.2. A3C(Asynchronous Advantage Actor-critic) 58
9.5.3. Proximal Policy Optimization (PPO) 58 - 图像基本技术 59
10.1. mAP 59
10.2. 目标检测之 IoU 59
10.3. 理论感受野和有效感受野 60
10.4. anchor 61
10.5. 上采样与下采样 62
10.5.1. 常用的插值方法 63
10.6. FCN-图像语义分割 74
10.6.1. FCN结构 74
10.6.2. 上采样 76
10.7. U-Net图像语义分割 77 - 图像模型 78
11.1. SIFT尺度不变特征变换 78
11.2. 目标检测 79
11.2.1. Ctpn 79
11.2.2. YOLO3-目标检测 79
11.3. OCR 79
11.3.1. Tesseract OCR 79 - 神经网络模型 80
12.1. AlexNet(卷积神经网络) 80
12.1.1. AlexNet特点 80
12.1.2. 局部相应归一化 82
12.2. VGGNet(卷积神经网络) 82
12.2.1. VGGNet结构 82
12.3. ResNet(残差网络) 84
12.4. RNN(循环神经网络) 86
12.4.1. RNN模型结构 86
12.4.2. RNN的反向传播 90
12.4.3. LSTM 和 GRU (RNN的一些改进算法) 93
12.5. SSD( Single Shot MultiBox Detector)-目标检测 97
12.6. FPN(Feature Pyramid Network)- 特征金字塔 98
12.6.1. 高斯金字塔 99
12.6.2. 特征金字塔 100
12.6.3. FPN 101
12.7. Faster RCNN\ RPN –图像分类 104
12.8. Inception-卷积架构 105
12.8.1. Inception v1 106
12.8.2. Inception v2 106
12.8.3. Inception v3 107
12.8.4. Inception v4 108
12.8.5. Inception-ResNet 108
12.9. MobileNet 109
12.9.1. 深度可分离卷积 109
12.9.2. MobileNet V1 110
12.9.3. MobileNet V2 113
12.9.4. MoblieNet V3 116
12.10. MTCNN-多任务卷积神经网络 119
12.10.1. MTCNN是什么 119
12.10.2. 构建图像金字塔 120
12.10.3. P-Net 120
12.10.4. R-Net 121
12.10.5. O-Net 122
12.10.6. 集成架构及系统思想 123
12.11. CRNN-端到端识别 125
12.12. CTC-输入与输出匹配 125 - 自动化学习 125
13.1. NAS\ENAS 125 - 人脸识别 126
14.1. facenet 126 - 生成式对抗网络GAN 126
- 数据集dataset 126
16.1.1. ICDAR 126
16.1.2. the SWT dataset 126 - NLP 127
17.1. SLING-语义解析 127 - Attention注意力机制 129
18.1. Self-attention 131
18.2. Soft-attention、Hard attention 131
18.3. Global-attention、Local attention 131
18.4. Transformer 132 - 语音识别 133