课程知识点应用实例吴恩达深度学习 1.1 神经网络和深度学习-神经网络概论介绍神经网络的概念和深度学习近些年的发展。吴恩达深度学习 1.2 神经网络和深度学习-神经网络基础 逻辑回归。 识别图片是不是猫。 吴恩达深度学习 1.3 神经网络和深度学习-浅层神经网络神经网络的表示、激活函数。用逻辑回归和浅层神经网络预测平面上点的分类。吴恩达深度学习 1.4 神经网络和深度学习-深层神经网络深层神经网络的前向传播、反向传播。搭建深层神经网络预测图片是不是猫。吴恩达深度学习 2.1 改善深层神经网络-深度学习的实践偏差、方差、正则化、dropout。用加正则化(L2范式、dropout)的神经网络预测平面上点的分类,绘制决策边界。吴恩达深度学习 2.2 改善深度神经网络-优化算法Mini-batch梯度下降法、RMSprop优化算法、Adam优化算法。用Mini-batch/动量梯度算法(加权平均指数)、Adam算法(修正偏差)优化梯度下降法,预测平面上点的分类,比较优化效果。吴恩达深度学习 2.3 改善深层神经网络-超参数调试和Batch Norm神经网络超参数、BatchNorm、在神经网络中使用BatchNorm、softmax()。用tensorflow搭建浅层神经网络预测手势(0〜5)的分类。吴恩达深度学习 3.1 结构化机器学习项目-机器学习策略1算法评价指标、正交化、单一的数字评估指标、满足指标和优化指标、与人类的认识偏差相比较、改善模型。吴恩达深度学习 3.2 结构化机器学习项目-机器学习策略2错误样例分析、错误类型归类、错误标记的样本分析、优化算法、训练集和测试集的数据差异、迁移学习、多任务学习、端到端深度学习。吴恩达深度学习 4.1 卷积神经网络-卷积神经网络基础垂直边缘检测、水平边缘检测、卷积运算、Padding、输出图片维底的计算、简单卷积网络示例、池化层。用卷积运算预测手势图片(0〜5)的分类。吴恩达深度学习 4.2 卷积神经网络-深度卷积模型常用的卷积网络LeNet-5/AlexNet/VGG-16/ResNet、1x1卷积、迁移学习、数据扩充。用keras构建参差网络解决卷积网络过深无法训练的问题(没理解参差是怎么起作用的。。。??)。吴恩达深度学习 4.3 卷积神经网络-目标检测目标分类、目标定位、目标检测、目标分类和定位的卷积输出、特征点检测、训练集X/Y、YOLO、交并比、非最大值抑制算法。识别图片中的物体。吴恩达深度学习 4.4 卷积神经网络-人脸识别和神经风格迁移人脸验证、人脸识别、one shot learning、Siamese网络、Similarity函数、Triplet损失、训练图片的选择(d(A,P)=d(A,N))、卷积神经网络从浅层到深层所获取的图片信息、神经风格迁移、1D卷积、3D卷积。人脸识别和神经风格迁移(需要用的包没有安装好,代码没跑出来。。。)。吴恩达深度学习 5.1 序列模型-循环神经网络序列模型的应用(语音识别/音乐生成/情感分类/机器翻译/视频行为识别/实体命名)、序列模型的输入和输出、RNN、不同类型的RNN、语言模型、RNN语言模型、RNN的记忆单元、LSTM、深层RNN。用RNN和LSTM,根据恐龙名字的数据集生成新的恐龙名字。吴恩达深度学习 5.2 序列模型-NLP和词嵌入单词one-hot向量、单词词嵌入向量、词嵌入向量的应用、情感分类、通过RNN实现情感分类、词嵌入向量消除偏见。消除与性别无关的词汇的性别偏见&&对短语进行情感分类生成表情。吴恩达深度学习 5.3 序列模型和注意力机制sequence to sequence模型、机器翻译、集束搜索、注意力模型。将人类可读日期翻译为机器可读日期&&触发词检测。