《深度学习》学习笔记
文章平均质量分 62
《深度学习》学习笔记
Michael阿明
两个孩子的父亲,8年机械工程师,已转行互联网做算法,一起继续加油!高举智慧,她就使你高升;怀抱智慧,她就使你尊荣。-- 箴言(4:8)
展开
-
吴恩达-《深度学习DeepLearning》汇总目录
从2019年2月底开始学习《数据结构与算法之美》,王争老师的课程非常好,到2019年8月底已经学完一遍,后面还要多次复习巩固以及OJ刷题。生命不息,学习不止,又要开始新的篇章了–《机器学习》,有点小兴奋,哈哈,之前Python已经大致过了2遍(小甲鱼的视频&从入门到实践),现在要补NumPy、复习高等数学、然后开始吴恩达老师的课程。此篇文章作为学习的汇总目录,供大家参考,一起学习,共同进步...原创 2019-08-28 00:43:33 · 7695 阅读 · 66 评论 -
pip/conda导出 requirements.txt 注意事项
pip使用 pip freeze > ./requirements.txt导出 requirements.txt 发现很多包没有版本号,而是 @ file:///使用pip list --format=freeze > ./requirements.txt导入安装 pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txtconda导出 conda list -e > requirem原创 2022-01-18 11:43:02 · 989 阅读 · 1 评论 -
2021年算法工作总结
2021年5月10日,我转行到互联网做算法工作,离开了工作接近8年的机械设计工作,还是要在这里感谢军哥对我的帮助和指点!换工作后,陆续学了《流畅的python》,FastAPI框架学了点皮毛,python web 编程学了点,LeetCode的算法题还在写,新年还是要抽时间多学习新的知识。下面对自己的算法工作做一些总结:如果没有标注数据,一开始需要自己先标注少量的数据,对数据的特点进行大致的归类能用简单规则去解决相当一部分的问题(就是一个简单的手写决策树:if - else)需要抽样估原创 2022-01-17 11:13:10 · 1543 阅读 · 3 评论 -
TensorFlow 2.0 - tf.data.Dataset 数据预处理 & 猫狗分类
文章目录1. tf.data1.1 数据集建立1.2 数据集预处理1.3 并行处理1.4学习于:简单粗暴 TensorFlow 21. tf.data1.1 数据集建立tf.data.Dataset.from_tensor_slices()import matplotlib.pyplot as plt(train_data, train_label), (_, _) = tf.keras.datasets.mnist.load_data()train_data = np.expand_dims原创 2021-01-31 20:35:20 · 3004 阅读 · 3 评论 -
[Kaggle] Digit Recognizer 手写数字识别(卷积神经网络)
文章目录1. 建立 LeNetDigit Recognizer 练习地址相关博文:[Hands On ML] 3. 分类(MNIST手写数字预测)[Kaggle] Digit Recognizer 手写数字识别[Kaggle] Digit Recognizer 手写数字识别(简单神经网络)04.卷积神经网络 W1.卷积神经网络上一篇的简单神经网络,将28*28的图片展平了,每个像素在空间上的位置关系是没有考虑的,空间的信息丢失。1. 建立 LeNetLeNet神经网络 参考博文...原创 2020-10-13 17:32:21 · 2412 阅读 · 14 评论 -
[Kaggle] Digit Recognizer 手写数字识别(神经网络)
文章目录1. baseline2. 改进2.1 增加训练时间Digit Recognizer 练习地址相关博文:[Hands On ML] 3. 分类(MNIST手写数字预测)[Kaggle] Digit Recognizer 手写数字识别1. baseline导入包import kerasimport numpy as np%matplotlib inlineimport matplotlib.pyplot as pltimport pandas as pdtrain = p原创 2020-10-10 08:01:22 · 996 阅读 · 2 评论 -
05.序列模型 W3.序列模型和注意力机制(作业:机器翻译+触发词检测)
文章目录作业1:机器翻译1. 日期转换1.1 数据集2. 用注意力模型进行机器翻译2.1 注意力机制测试题:参考博文笔记:W3.序列模型和注意力机制作业1:机器翻译建立一个神经元机器翻译(NMT)模型来将人类可读日期(25th of June, 2009)翻译成机器可读日期(“2009—06—25”)将使用注意力模型来实现这一点,这是最复杂的 序列到序列 模型之一注意安装包pip install Faker==2.0.0pip install babel导入包from keras.原创 2020-10-06 18:36:35 · 924 阅读 · 3 评论 -
05.序列模型 W3.序列模型和注意力机制
文章目录1. 基础模型2. 选择最可能的句子参考:吴恩达视频课深度学习笔记序列模型和注意力机制(Sequence models & Attention mechanism)1. 基础模型seq2seq : 语言翻译image to sequence:图片描述2. 选择最可能的句子...翻译 2020-10-05 22:06:24 · 524 阅读 · 2 评论 -
05.序列模型 W2.自然语言处理与词嵌入(作业:词向量+Emoji表情生成)
文章目录作业1:1. 余弦相似度2. 单词类比3. 词向量纠偏3.1 消除对非性别词语的偏见3.2 性别词的均衡算法作业2:Emojify表情生成1. Baseline model: Emojifier-V11.1 数据集1.2 模型预览1.3 实现 Emojifier-V11.4 在训练集上测试2. Emojifier-V2: Using LSTMs in Keras2.1 模型预览2.2 Keras and mini-batching2.3 Embedding 层2.3 建立 Emojifier-V2原创 2020-10-02 23:07:42 · 2511 阅读 · 4 评论 -
05.序列模型 W2.自然语言处理与词嵌入
文章目录1. 词汇表征2. 使用词嵌入3. 词嵌入的特性4. 嵌入矩阵5. 学习词嵌入6. Word2Vec参考:吴恩达视频课深度学习笔记自然语言处理与词嵌入Natural Language Processing and Word Embeddings1. 词汇表征词嵌入(word embeddings),这是语言表示的一种方式,可以让算法自动的理解一些类似的词,比如 男人对女人,比如 国王对王后one-hot 向量来表示词,缺点:它把每个词孤立起来,算法对相关词的泛化能力不强(每两个词之间翻译 2020-09-30 23:51:25 · 2292 阅读 · 0 评论 -
05.序列模型 W1.循环序列模型(作业:手写RNN+恐龙名字生成)
文章目录作业1:建立你的循环神经网络1. RNN 前向传播1.1 RNN 单元1.2 RNN 前向传播2. LSTM 网络2.1 LSTM 单元2.2 LSTM 前向传播3. RNN 反向传播3.1 基础 RNN 反向传播测试题:参考博文笔记:05.序列模型 W1.循环序列模型作业1:建立你的循环神经网络RNN 模型对序列问题(如NLP)非常有效,因为它有记忆,能记住一些信息,并传递至后面的时间步当中导入一些包import numpy as npfrom rnn_utils import原创 2020-09-29 23:47:28 · 3252 阅读 · 0 评论 -
05.序列模型 W1.循环序列模型
文章目录1. 为什么选择序列模型2. 数学符号3. 循环Recurrent 神经网络模型4. 通过时间的反向传播5. 不同类型的循环神经网络6. 语言模型和序列生成7. 对新序列采样8. 循环神经网络的梯度消失参考:吴恩达视频课深度学习笔记1. 为什么选择序列模型有些问题,输入数据 X 和 输出数据 Y 都是序列,X 和 Y 有时也会不一样长。在另一些问题里,只有 X 或 只有 Y 是序列2. 数学符号3. 循环Recurrent 神经网络模型为什么不使用标准的神经网络学习上面的 X翻译 2020-09-28 19:03:10 · 538 阅读 · 2 评论 -
04.卷积神经网络 W4.特殊应用:人脸识别和神经风格转换(作业:快乐屋人脸识别+图片风格转换)
文章目录测试题:参考博文笔记:W4.特殊应用:人脸识别和神经风格转换原创 2020-09-26 17:58:05 · 825 阅读 · 0 评论 -
04.卷积神经网络 W4.特殊应用:人脸识别和神经风格转换
文章目录1. 什么是人脸识别参考:吴恩达视频课深度学习笔记1. 什么是人脸识别门禁闸机:人脸识别+活体检测人脸验证(face verification)输入图片,ID / 人名输出图片是否是这个人(1对1问题)人脸识别(face recognition)(1对多问题)...翻译 2020-09-25 15:59:58 · 525 阅读 · 0 评论 -
04.卷积神经网络 W3.目标检测(作业:自动驾驶 - 汽车检测)
文章目录1. 问题背景2. YOLO 模型2.1 模型细节2.2 分类阈值过滤测试题:参考博文笔记:04.卷积神经网络 W3.目标检测参考论文:Redmon et al., 2016 (https://arxiv.org/abs/1506.02640)Redmon and Farhadi, 2016 (https://arxiv.org/abs/1612.08242)导入一些包:import argparseimport osimport matplotlib.pyplot as plt原创 2020-09-24 14:58:25 · 1316 阅读 · 2 评论 -
04.卷积神经网络 W3.目标检测
文章目录1. 目标定位2. 特征点检测3. 目标检测4. 滑动窗口的卷积实现5. Bounding Box预测参考:吴恩达视频课深度学习笔记1. 目标定位定位分类问题:不仅要判断图片中是不是一辆汽车,还要标记出它的位置,用框圈起来2. 特征点检测Landmark 检测3. 目标检测基于滑动窗口的目标检测将目标剪切出来,训练卷积网络以一定大小的窗口扫描图片,将窗口内的图片输入卷积网络预测更改窗口大小,重复上面步骤滑动窗口目标检测算法缺点:计算成本,剪切出太多块,卷翻译 2020-09-22 19:35:05 · 575 阅读 · 0 评论 -
04.卷积神经网络 W2.深度卷积网络:实例探究(作业:Keras教程+ResNets残差网络)
文章目录作业1:Keras教程1. 快乐的房子2. 用Keras建模测试题:参考博文笔记:04.卷积神经网络 W2.深度卷积网络:实例探究作业1:Keras教程Keras 是一个用 Python 编写的高级神经网络 API,它能够以 TensorFlow, CNTK, 或者 Theano 作为后端运行。Keras 的开发重点是支持快速的实验。能够以最小的时延把你的想法转换为实验结果,是做好研究的关键。Keras 是更高级的框架,对普通模型来说很友好,但是要实现更复杂的模型需要 TensorF原创 2020-09-21 20:37:24 · 6606 阅读 · 5 评论 -
04.卷积神经网络 W2.深度卷积网络:实例探究
文章目录1. 为什么要进行实例探究2. 经典网络3. 残差网络 ResNets4. 残差网络为什么有用5. 网络中的网络 以及 1×1 卷积6. 谷歌 Inception 网络简介7. Inception 网络8. 使用开源的实现方案9. 迁移学习10. 数据增强 Data augmentation11. 计算机视觉现状作业参考:吴恩达视频课深度学习笔记1. 为什么要进行实例探究学习大佬们的组建网络的方法,借鉴过来解决自己的问题经典的网络模型:LeNet-5AlexNetVGGRes翻译 2020-09-17 23:20:07 · 2998 阅读 · 4 评论 -
04.卷积神经网络 W1.卷积神经网络(作业:手动/TensorFlow 实现卷积神经网络)
文章目录作业1:实现卷积神经网络1. 导入一些包2. 模型框架3. 卷积神经网络3.1 Zero-Padding测试题:参考博文笔记:04.卷积神经网络 W1.卷积神经网络作业1:实现卷积神经网络1. 导入一些包import numpy as npimport h5pyimport matplotlib.pyplot as plt%matplotlib inlineplt.rcParams['figure.figsize'] = (5.0, 4.0) # set default size原创 2020-09-16 23:46:24 · 3323 阅读 · 2 评论 -
04.卷积神经网络 W1.卷积神经网络
文章目录1. 计算机视觉2. 边缘检测示例参考:吴恩达视频课深度学习笔记1. 计算机视觉举例:图片猫????识别,目标检测(无人驾驶),图像风格转换(比如转成素描)等等面临的挑战:数据的输入可能会非常大一张1000×1000的图片,特征向量的维度达到了1000×1000×3(RGB,3通道) = 300万在第一隐藏层中,你也许会有1000个隐藏单元,使用标准的全连接网络,这个矩阵的大小将会是1000×300万,矩阵会有30亿个参数在参数如此大量的情况下,难以获得足够的数据来防止神经网络翻译 2020-09-15 23:56:17 · 1205 阅读 · 0 评论 -
03.结构化机器学习项目 W2.机器学习策略(2)
文章目录1. 进行误差分析2. 清除标注错误的数据3. 快速搭建你的第一个系统,并进行迭代4. 使用来自不同分布的数据,进行训练和测试5. 数据分布不匹配时,偏差与方差的分析参考:吴恩达视频课深度学习笔记1. 进行误差分析举例:图片猫分类器,算法将一些狗????分类为猫????收集 n 个预测错误的开发集样本,手动检查(错误分类的图片里面有多少比例是狗????,假如错误率10%,其中狗占5%,那么你完全解决了狗的问题,能降低错误率到 9.5%,结合你花费的时间,评估下值不值当;如果错误分类翻译 2020-09-14 22:23:10 · 626 阅读 · 0 评论 -
03.结构化机器学习项目 W1.机器学习策略(1)
文章目录1. 机器学习策略2. 正交化 Orthogonalization3. 单一数字评估指标4. 满足和优化指标5. 训练/开发/测试集划分参考:吴恩达视频课深度学习笔记1. 机器学习策略如何改善模型的性能收集更多数据训练集多样性(如,识别猫,收集各种姿势的猫,以及反例)训练的时间更长一些尝试不同的优化算法(如 Adam优化)规模 更大 / 更小 的神经网络尝试 DropOut 正则化尝试添加 L2 正则化新的网络结构(修改激活函数,隐藏单元数目)你可以去尝试,但是万一花翻译 2020-09-13 19:56:17 · 970 阅读 · 4 评论 -
02.改善深层神经网络:超参数调试、正则化以及优化 W3. 超参数调试、Batch Norm和程序框架(作业:TensorFlow教程+数字手势预测)
文章目录1. 探索TensorFlow库1.1 线性函数1.2 计算 sigmoid1.3 计算损失函数1.4 One_Hot 编码1.5 用0,1初始化2. 用TensorFlow建立你的第一个神经网络测试题:参考博文笔记:02.改善深层神经网络:超参数调试、正则化以及优化 W3. 超参数调试、Batch Norm和程序框架像TensorFlow、Paddle、Torch、Caffe、Keras等机器学习框架可以显著加快机器学习的发展神经网络编程框架 不仅可以缩短编码时间,有时还可以执行优化来加原创 2020-09-11 20:20:47 · 810 阅读 · 0 评论 -
02.改善深层神经网络:超参数调试、正则化以及优化 W3. 超参数调试、Batch Norm和程序框架
文章目录1. 调试处理2. 为超参数选择合适的范围参考:吴恩达视频课深度学习笔记1. 调试处理需要处理的参数:参数重要程度学习率 α\alphaα★★★★Momentum(动量梯度下降法)参数 β=0.9\beta = 0.9β=0.9★★★隐藏单元数量★★★mini-batch size★★★网络层数★★学习衰减率★★Adam 优化算法的 β1=0.9,β2=0.999,ε=1e−8\beta_1=0.9,\beta_2=0.翻译 2020-09-10 20:15:16 · 562 阅读 · 0 评论 -
02.改善深层神经网络:超参数调试、正则化以及优化 W2.优化算法(作业:优化方法)
文章目录1. 梯度下降2. mini-Batch 梯度下降3. 动量4. Adam5. 不同优化算法下的模型5.1 Mini-batch梯度下降5.2 带动量的Mini-batch梯度下降5.3 带Adam的Mini-batch梯度下降5.4 对比总结测试题:参考博文笔记:02.改善深层神经网络:超参数调试、正则化以及优化 W2.优化算法导入一些包import numpy as npimport matplotlib.pyplot as pltimport scipy.ioimport m原创 2020-09-08 22:57:11 · 756 阅读 · 0 评论 -
02.改善深层神经网络:超参数调试、正则化以及优化 W2.优化算法
文章目录1. Mini-batch 梯度下降参考:吴恩达视频课深度学习笔记1. Mini-batch 梯度下降在巨大的数据集上进行训练,速度非常慢,如何提高效率?翻译 2020-09-08 00:26:52 · 2931 阅读 · 4 评论 -
02.改善深层神经网络:超参数调试、正则化以及优化 W1.深度学习的实践层面(作业:初始化+正则化+梯度检验)
文章目录作业1:初始化1. 神经网络模型2. 使用 0 初始化3. 随机初始化4. He 初始化测试题:参考博文笔记:02.改善深层神经网络:超参数调试、正则化以及优化 W1.深度学习的实践层面作业1:初始化好的初始化:加快梯度下降的收敛速度增加梯度下降收敛到较低的训练(和泛化)误差的几率导入数据import numpy as npimport matplotlib.pyplot as pltimport sklearnimport sklearn.datasetsfrom in原创 2020-09-05 19:37:38 · 2275 阅读 · 2 评论 -
02.改善深层神经网络:超参数调试、正则化以及优化 W1.深度学习的实践层面
文章目录1. 训练,验证,测试集2. 偏差,方差3. 机器学习基础4. 正则化5. 为什么正则化预防过拟合6. dropout(随机失活)正则化7. 理解 dropout8. 其他正则化9. 归一化输入10. 梯度消失 / 梯度爆炸11. 神经网络权重初始化12. 梯度的数值逼近13. 梯度检验14. 梯度检验的注意事项参考:吴恩达视频课深度学习笔记1. 训练,验证,测试集深度学习是一个典型的迭代过程,迭代的效率很关键创建高质量的训练数据集,验证集和测试集有助于提高循环效率切分标准:小数据翻译 2020-09-04 21:48:13 · 858 阅读 · 0 评论 -
01.神经网络和深度学习 W4.深层神经网络(作业:建立你的深度神经网络+图片猫预测)
文章目录作业1. 建立你的深度神经网络1. 导入包2. 算法主要流程3. 初始化3.1 两层神经网络3.2 多层神经网络4. 前向传播4.1 线性模块4.2 线性激活模块4.3 多层模型5. 损失函数6. 反向传播6.1 线性模块6.2 线性激活模块6.3 多层模型6.4 梯度下降、更新参数作业2. 深度神经网络应用:图像分类1. 导入包2. 数据集3. 建立模型3.1 两层神经网络3.2 多层神经网络3.3 一般步骤4. 两层神经网络5. 多层神经网络6. 结果分析7. 用自己的图片测试测试题:参考博文原创 2020-09-02 22:51:37 · 1803 阅读 · 3 评论 -
01.神经网络和深度学习 W4.深层神经网络
文章目录1. 深层神经网络2. 前向传播和反向传播3. 核对矩阵维数4. 参数、超参数参考:吴恩达视频课深度学习笔记1. 深层神经网络有的时候只有非常深的神经网络才能发挥作用。但是无法提前预知多少层的神经网络合适,可以先尝试逻辑回归,尝试一层,然后两层隐含层,然后把隐含层的数量当作超参数,然后交叉验证2. 前向传播和反向传播前向传播:输入: a[l−1]a^{[l-1]}a[l−1]输出:a[l]a^{[l]}a[l]缓存:z[l],w[l],b[l]z^{[l]},w^{[l]}翻译 2020-08-31 22:07:47 · 522 阅读 · 1 评论 -
01.神经网络和深度学习 W3.浅层神经网络(作业:带一个隐藏层的神经网络)
文章目录1. 导入包2. 预览数据3. 逻辑回归4. 神经网络4.1 定义神经网络结构4.2 初始化模型参数4.3 循环4.3.1 前向传播4.3.2 计算损失4.3.3 后向传播4.3.4 梯度下降4.4 组建Model4.5 预测4.6 调节隐藏层单元个数4.7 更改激活函数4.8 更改学习率4.9 其他数据集下的表现选择题测试:参考博文1参考博文2建立你的第一个神经网络!其有1个隐藏层。1. 导入包# Package importsimport numpy as npimport ma原创 2020-08-29 16:20:10 · 1671 阅读 · 0 评论 -
01.神经网络和深度学习 W2.神经网络基础(作业:逻辑回归 图片识别)
文章目录编程题 11. numpy 基本函数1.1 编写 sigmoid 函数1.2 编写 sigmoid 函数的导数1.3 reshape操作1.4 标准化1.5 广播机制2. 向量化2.1 L1\L2损失函数编程题 2. 图片????识别1. 导入包2. 数据预览3. 算法的一般结构4. 建立算法4.1 辅助函数4.2 初始化参数4.3 前向后向传播4.4 更新参数,梯度下降4.5 合并所有函数到Model4.6 分析4.7 用自己的照片测试模型5. 总结选择题测试,请参考 链接博文编程题 11.原创 2020-08-27 23:18:09 · 2945 阅读 · 7 评论 -
01.神经网络和深度学习 W3.浅层神经网络
文章目录1. 神经网络概览2. 神经网络的表示3. 神经网络的输出4. 多样本向量化5. 激活函数6. 为什么需要 非线性激活函数7. 激活函数的导数8. 随机初始化参考:吴恩达视频课深度学习笔记1. 神经网络概览xW[1]b[1]}⟹z[1]=W[1]x+b[1]⟹a[1]=σ(z[1])\left.\begin{array}{c}x \\ W^{[1]} \\ b^{[1]}\end{array}\right\} \Longrightarrow z^{[1]}=W^{[1]} x+b^{[1翻译 2020-08-26 23:20:06 · 3111 阅读 · 4 评论 -
01.神经网络和深度学习 W2.神经网络基础
文章目录1. 二分类2. 逻辑回归3. 逻辑回归损失函数4. 梯度下降5. 导数6. 计算图导数计算7. 逻辑回归中的梯度下降8. m个样本的梯度下降9. 向量化10. 向量化的更多例子11. 向量化 logistic 回归12. 向量化 logistic 回归梯度输出13. numpy 广播机制14. 关于 python / numpy 向量的说明参考:吴恩达视频课深度学习笔记1. 二分类判断图片中动物是猫?不是猫? 特征向量 是 3通道的RGB矩阵 展平2. 逻辑回归3. 逻辑回归翻译 2020-08-25 21:05:21 · 1736 阅读 · 5 评论 -
01.神经网络和深度学习 W1.深度学习概论
文章目录1. 什么是神经网络2. 使用神经网络进行监督学习3. 神经网络的兴起1. 什么是神经网络它是一个强大的学习算法,类似于人脑的工作方式。例子1. 单个神经网络给定房地产市场上房屋大小的数据,预测其价格。这是一个线性回归问题。例子2. 多个神经网络房屋的价格可能会受到其他的影响,如大小,卧室数量,邮政编码和财富。神经网络的作用是预测价格,它将自动生成隐藏单位。我们只需要给定输入x和输出y。2. 使用神经网络进行监督学习3. 神经网络的兴起我的CSDN博客地址翻译 2019-08-28 00:23:30 · 932 阅读 · 4 评论