- 博客(30)
- 收藏
- 关注
RSS订阅原创 【跟马少平老师学AI】-【神经网络是怎么实现的】（九）长短期记忆网络
2）同一句话，对于不同的任务，句中不同的词起的作用也不一样。1）RNN也会存在梯度消失的问题。
2024-05-02 21:27:39
399
原创 【跟马少平老师学AI】-【神经网络是怎么实现的】（八）循环神经网络
4）不止最后一个子网络可以添加全连接层，每个子网络都可以添加全连接层。3）对句向量增加全连接层和激活函数。8）序列到序列的循环神经网络。5）用RNN做汉语词句子分词。2）循环神经网络的局部。7）双向循环神经网络。
2024-05-02 21:00:53
450
原创 【跟马少平老师学AI】-【神经网络是怎么实现的】（七-3）词向量应用举例
一句话归纳：用TextCNN实现文本情感分类。1）TextCNN：文本的卷积核是一维的。2）文本卷积运算：
2024-05-02 19:34:25
114
原创 【跟马少平老师学AI】-【神经网络是怎么实现的】（七-2）word2vec模型
3）CBOW模型输出为到达哈夫曼树每一个非叶子结点时向右走的概率。
2024-05-02 19:23:22
375
原创 【跟马少平老师学AI】-【神经网络是怎么实现的】（七-1）词向量
2）神经网络处理文本，先要解决文本的表示（图像的表示用像素RGB）。9）用BP算法训练的不仅是神经网络语言模型的参数，也包含词向量。6）最大似然估计，通过让联合概率最大化估计概率的方法。10）稠密词向量可以计算两个向量的距离，有语义意义。8）对似然函数进行对数转换，取相反数，求最小值。1）神经网络不仅可以处理图像，还可以处理文本。清华大学=[0,0,1,0,0,0,0,0]清华园=[0,0,0,0,0,0,1,0]美丽的=[0,0,0,0,0,1,0,0]猪向量=[1.0,0.1,1.0]
2024-05-02 18:50:38
528
原创 【跟马少平老师学AI】-【神经网络是怎么实现的】（五）梯度消失问题
用sigmoid函数，O取值为0~1，O(1-O)最大值为0.25，若神经网络层数多，则会造成更新项趋近于0，称为梯度消失。3）神经网络并不完全随着深度的增加提高正确率。
2024-05-02 17:31:38
577
原创 【跟马少平老师学AI】-【神经网络是怎么实现的】（四）卷积神经网络
1）用1个小粒度的模式，逐个与图像的局部区域进行运算，运算结果反映模式与区域的匹配程序。横的上边缘概率为1，虚横的下边缘概率为1。
2024-05-01 23:05:33
317
原创 【跟马少平老师学AI】-【神经网络是怎么实现的】（三）神经网络是如何训练的
1）训练过程，即是调整神经网络权重参数，使输入图片为猫时，猫对应输出接近1，狗对应输出接近0。3）训练，即是求得合适的w值，使损失函数最小。可参考仅有一个变量的函数求最小值问题。，即损失函数，w是所有权重组成的向量。小批量梯度下降法，每次用一小部分样本。（表示神经网络的第k个实际输出值。5）求解损失函数E(w)的最小值。对于一个输入样本d，有M个输出，随机梯度下降法，每次用一个样本。4）一个变量的函数求最小值。标准梯度下降法，用所有样本。
2024-04-21 22:15:11
211
原创 【跟马少平老师学AI】-【神经网络是怎么实现的】（二）神经元与神经网络
输入与权重参数的运算结果，加上偏置，经过激活函数运算，将运算结果映射到确定的区间，比如[-1,1]，即为神经元。常用的激活函数有四种。每相邻两层的神经元都有连接的神经网络为全连接神经网络。相邻层的神经元都有连接。
2024-04-21 21:03:24
166
原创 【跟马少平老师学AI】-【神经网络是怎么实现的】（一）从数字识别谈起
输入层的计算结果并不直接到达输入出层，输入层的计算结果到达隐含层，隐含层的计算结果到达输出层，可以 有多个隐含层，隐含层表示某种局部模式，比如3的右半部分。4）对计算结果加上偏置，进行sigmodi运算，将计算结果映射到[0,1]区间内。2）每个数字的图像矩阵，有笔画的地方用1表示，没有笔画的地方用0表示。3）图像矩阵与模式矩阵进行运算，如果匹配，则值较大，不匹配，则值较小。1）每个数字有对应的模式矩阵，没有笔画的部分，用-1表示。b = -129，即偏置。
2024-04-21 17:33:49
275
原创 【论文阅读】【华为深度移位】DeepShift:Towards Multiplication-Less Neural Networks
摘要：卷积神经网络推算过程在计算和存储的消耗上都存在瓶颈。尤其将模型部署在边缘设备上，比如手机。甚至，卷积神经网络在高性能服务器上的训练也是高消耗的，尤其是卷积层和全链接层的乘法运算。为了减轻这个总是，本文提出通过卷积移位和全链接移位代替乘法运算。提出两个移位模型DeepShift-Q和DeepShift-PS。转换ResNet18、ResNet50、VGG16、GoogleNet为移位模型并时行训练，结果是准确率均高于原模型。并且，移位的ResNet18模型在GPU上的训练时间，相比较原模型减少了25%。
2022-07-03 21:46:44
416
1
原创 【学习笔记】吴恩达深度学习课程
课程 学习笔记 吴恩达深度学习 1.1 神经网络和深度学习-神经网络概论 介绍神经网络的概念和深度学习近些年的发展。 吴恩达深度学习 1.2 神经网络和深度学习-神经网络基础 1) 知识点：逻辑回归。 1) 知识点：逻辑回归。 ...
2022-03-30 00:52:50
1364
原创 吴恩达深度学习 5.3 序列模型和注意力机制
1. 知识点sequence to sequence模型：编码网络和解码网络image to sequence模型：卷积，全连接，输出序列，对序列解码机器翻译：条件语言模型，相对于语言模型总是以零向量开始，机器翻译以每个单词的一系列向量作为输入。机器翻译，寻找最大的概率输出：...
2022-01-24 23:16:38
894
原创 吴恩达深度学习 5.2 序列模型-NLP和词嵌入
1. 知识点单词的向量表示： one-hot：向量长度为词典全部单词数，对应单词的位置用1表示，其他位置用0表示。缺点是每两个单词向量的乘积都为0，无法获取词与词之彰的相似性和相关性。 词嵌入：用不同特征对各个词汇进行表征，相对与不同的特征，不同的单词均有不同的值。词嵌入的应用 名字实体识别：比如，数据集不包含durain（榴莲）词汇，无法对包含durain的句子做实体识别。但我们从durain的词嵌...
2022-01-04 00:10:16
328
原创 吴恩达深度学习 5.1 序列模型-循环神经网络
1. 知识点：序列模型的应用： 语音识别：输入的语音和输出的文本，都是序列数据 。 音乐生成：生成的音乐乐谱是序列数据。 情感分类：将输入的评论转换为相应的评价等级。输入是序列。 机器翻译：两种不同语言之间的转换。输入和输出都是序列。 视频行为识别：识别输入的视频帧序列中的人物行为。 命名实体识别：从输入的句子中识别实体的名字。符号定义： 输入x：输入序列，如，“A ...
2021-12-22 23:37:08
1282
原创 吴恩达深度学习 4.4 卷积神经网络-人脸识别和神经风格迁移
1. 知识点人脸难证： 输入：图片和ID 输出：图片和ID是否相符人脸识别： 输入：图片 输出：对应的ID或不能识别one shot learning：通过对一个样本的学习，实现识别SimilarIty函数： 输入：两幅图片 计算：两幅图片的差异度d(imag1,imag2) 输出：如果d(imag1,image2)<=阈值，则输出"same"，否则...
2021-12-06 20:24:46
2255
原创 吴恩达深度学习 4.3 卷积神经网络-目标检测
1. 知识点目标与特征点分类：判断图片是否为汽车定位：确定汽车的位置检测：图片中有多个不同物体，及其位置目标分类与定位的卷积输出：是否存在对象及位置坐标y=[]，其中表示图片中是否有物体，表示物体位置，表示是否存在该分类物体。损失函数对c（表示物体是否存在），用交叉熵。对边界框，用平方误差。对p（表示图片中是否有物体），交叉熵。特征点检测：通过特征点的定位，来实现对目标特征的识别目标检测-训练集：训练集X，整张几乎被汽车占据的图片或没有汽车...
2021-11-22 22:46:12
1282
原创 吴恩达深度学习 4.2 卷积神经网络-深度卷积模型
1. 知识点常用的卷积网络 LeNet-5:输入数据比较小，输入数据颜色通道数为1, 没有用pad扩展，图片大小在逐渐缩小。AlexNet:输入数据比较大，输入数据通道数为3，过滤器参数更多。VGG-16:过滤器3*3，stride=1，same扩展模式。池化器2*2，stride=2。ResNet 普通神经网络： 增加short cut的神经网络：增加一个从a[l]到a[l+2]的直接连接。增加short cu...
2021-11-01 22:36:09
1159
原创 吴恩达深度学习 4.1 卷积神经网络-卷积神经网络基础
1. 知识点计算机视觉：图片分类、目标检测、图片风格迁移等 对于小尺寸图片，可以用深度神经网络模型学习预测。但对于大尺寸图片，输入数据规模大，用深度神经网络会有非常多的参数需要学习，不再合适。 卷积神经网络，在计算机视觉上是个很好的网络结构。边缘检测：垂直边缘检测、水平边缘检测和更复杂的边缘检测filter 垂直边缘检测：用filter依次对输入图片和filter相同大小的块内各元素进行运算，对应元素相乘后求和。所得结果为输出图片元素。由...
2021-10-11 23:55:05
747
1
原创 吴恩达深度学习 3.2 结构化机器学习项目-机器学习策略2
1. 知识点误差分析 收集错误样例。以猫的二分类为例。收集100个错误数据集1，如果其中有5个确是猫，那么可以用来训练猫的特征的数据只有5个，不值得用些数据集分析改进。收集100个错误数据集2，如果其中有50个确是猫，那么可以用来训练猫的特征的数据只有50个，值得用些数据集分析改进。 错误类型归类。以猫的二分类为例。将错误归为1）将狗分类为猫、2)将狮子、豹子分类为猫等，统计每一类错误所占的百分比，以确定各类错误是否值得分析、改进。修正错误标记的样本 ...
2021-10-07 01:07:33
113
原创 吴恩达深度学习 3.1 结构化机器学习项目-机器学习策略1
1. 知识点正交化 算法的部分调整和修改，不会对其他部分产生影响。单一数字评估指标：为模型设置一个单一的数字评估指标以猫的二分类为例。precision表示预测为猫的图片中，确实为猫的概率。Recall表示真实为猫的图片中，预测为猫的概率。F1是对前两者进行一个运算，F1_Score=2/(1/p+1/r)。满足指标和优化指标 比如，要求模型耗时在1000ms内，预测准确率尽可能高，那么Running_time为满足指标，Accur...
2021-10-06 13:29:04
111
原创 吴恩达深度学习 2.2 改善深度神经网络-优化算法
1. 知识点Mini-batch梯度下降法 普通梯度下降法，每一步梯度下降都要对训练集的所有样本进行运算。 Mini-batch梯度下降法，每一步梯度下降选择训练集样本的子集进行运算。 Mini-batch梯度下降的算法实现：打乱训练集、对训练集进行切分（比如，切分为64个子集）、更新参数时每次选择一个子集进行运算。 普通梯度下降、随机梯度下降、Mini-batch梯度下降成本函数的比较：普通梯度下降每一次训练时间较长，...
2021-10-03 21:53:05
337
原创 吴恩达深度学习 1.4 神经网络和深度学习-深层神经网络
1. 知识点DNN结构：的维度为（,）的维度为（,1）d的维度和一致d的维度和的维度一致深层神经网络的应用意义：对于人脸识别，第一层提取人脸的轮廓信息，第二层将第一层的轮廓信息组合起来，提取细节特征，后面逐层将上一层的特征组合起来，形成整体。类似，对于语音识别，第一层学习到音调，后面逐层学习到单词信息、短语和句子。DNN的前向传播和反向传播前向传播：==反向传播（推导不出来，记住公式）...
2021-09-21 22:17:48
191
原创 吴恩达深度学习 1.3神经网络和深度学习-浅层神经网络
1)知识点：神经网络的表示：输入层、隐藏层、输出层(应该用上标表示神经网络的层，上面手写的不规范)的维度，以为例，应为（4,3），4为隐藏层神经元的个数，3为输入层神经元的个数。神经网络的梯度下降法参数：输入层元素个数：隐藏层神经元个数：输出层神经元个数：的维度应为（）,以实现W可以和i-1层神经元进行运算，并得到i层神经元个数。参数和中间变量的偏导..
2021-09-13 23:26:12
638
原创 吴恩达深度学习 1.2 神经网络和深度学习-神经网络基础
1) 逻辑回归。分类模型和回归模型。将线性回归结果用sigmoid函数映射到[0,1]区间。损失函数，即标签预测值与标签实际值之间差值的总和。考虑到损失函数选择凸函数才可以优化，L(\hat{y}, y)=-(y \log \hat{y}+(1-y) \log (1-\hat{y})) 。梯度下降。原理...
2021-09-13 03:46:32
402
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人