深度学习
文章平均质量分 77
深度学习方向指示内容
love1005lin
自律及自由
展开
-
深度学习-循环神经网络(RNN)
循环神经网络(Recurrent Neural Network)上一章我们已经介绍了CNN,可能我们会想这里为什么还需要构建一种新的网络RNN呢?因为现实生活中存在很多序列化结构,我们需要建立一种更优秀的序列数据模型。文本:字母和词汇的序列语音:音节的序列视频:图像帧的序列时态数据:气象观测数据,股票交易数据、房价数据等循环神经网络是一种人工神经网络,它的节点间的连接形成一个遵循时间序列的有向图,它的核心思想是,样本间存在顺序关系,每个样本和它之前的样本存在关联。通过神经网络在时序上的展开,原创 2021-11-19 16:18:12 · 1287 阅读 · 1 评论 -
深度学习-计算图
计算图计算图的引入是为了后面更方便的表示网络,计算图是描述计算结构的一种图,它的元素包括节点(node)和边(edge),节点表示变量,可以是标量、矢量、张量等,而边表示的是某个操作,即函数。下面这个计算图表示复合函数关于计算图的求导,我们可以用链式法则表示,有下面两种情况。情况1情况2求导举例:例1a = 3, b = 1 可以得到 c = 3, d = 2, e = 6∂e∂a=∂e∂c∂c∂a=d=b+1=2\frac{\partial e}{\partia原创 2021-11-19 15:48:16 · 3611 阅读 · 0 评论 -
深度学习-卷积神经网络(CNN)
CNN基本原理经典CNN卷积神经网络基本原理卷积神经网络的基本结构大致包括:卷积层、激活函数、池化层、全连接层、输出层等。卷积层二维卷积运算:给定二维的图像I作为输入,二维卷积核K,卷积运算可表示为 S(i,j)=(I∗K)(i,j)=∑m∑nI(i−m,j−n)K(m,n)S(i, j)=(I * K)(i, j)=\sum_{m} \sum_{n} I(i-m, j-n) K(m, n)S(i,j)=(I∗K)(i,j)=∑m∑nI(i−m,j−n)K(m,n),卷积核需要进行上下翻转.原创 2021-11-19 11:40:06 · 8447 阅读 · 0 评论 -
深度学习-BP算法
BP算法多层感知器的训练使用误差反向传播算法(Error Back Propagation),即BP算法。BP算法最早有沃博斯于1974年提出,鲁梅尔哈特等人进一步发展了该理论。BP算法的基本过程前向传播计算:由输入层经过隐含层向输出层的计算网络输出误差反向逐层传递:网络的期望输出与实际输出之差的误差信号由输出层经过隐含层逐层向输入层传递由“前向传播计算”与“误差反向逐层传递”的反复进行的网络训练 过程BP算法就是通过比较实际输出和期望输出得到误差信号,把误差信 号从输出层逐层向前传播得到各原创 2021-11-19 11:02:19 · 2065 阅读 · 0 评论 -
深度学习-机器学习(核函数)
核函数和映射没有关系。核函数只是用来计算映射到高维空间之后的内积的一种简便方法。一般英文文献对Kernel有两种提法,一是Kernel Function,二是Kernel Trick。从Trick一词中就可以看出,这只是一种运算技巧而已,不涉及什么高深莫测的东西。其实是一个非常简单的概念。首先给你两个向量 X,Z。在一般的机器学习方法,比如 SVM 里面,这里一个向量是一个实体。比如一个向量代表一个人。每个向量有两个维度,身高和体重。比如可以有:X=(180,70)Z=(160,50)原创 2021-11-18 11:30:40 · 517 阅读 · 0 评论 -
深度学习-数学基础
矩阵论矩阵基本知识矩阵:是一个二维数组,其中的每一个元素一般由两个索引来确定一般用大写变量表示,m行n列的实数矩阵,记做A \in R_{m \times n}.张量(Tensor):是矢量概念的推广,可用来表示在一些矢量、标量和其他张量之间的线性关系的多线性函数。标量是0阶张量,矢量是一阶张量,矩阵是二阶张量,三维及以上数组一般称为张量。矩阵的秩(Rank):矩阵列向量中的极大线性无关组的数目,记作矩阵的列秩,同样可以定义行秩。行秩=列秩=矩阵的秩,通常记作rank(A)。矩阵的逆若矩阵A原创 2021-11-17 21:35:09 · 505 阅读 · 0 评论 -
Normalization 的联系
**防止梯度爆炸和梯度消失**它是所有深层网络模型都需要的标准网络层,因为随着网络层数的增加,通过多层的计算后输出可能开始出现过大或过小的情况,这样可能会导致学习过程出现异常,模型可能收敛非常慢。因此都会在一定层后接规范化层进行数值的规范化,使其特征数值在合理范围内。(1) Batch normalization,就是“批规范化”。1.BN的计算就是把一个Batch每个通道的NHW单独拿出来归一化处理.2.针对每个channel我们都有一组y,β,所以可学习的参数为2*C.3.当b.原创 2021-10-13 21:10:15 · 148 阅读 · 0 评论 -
Transformer-基础
Positional Encodding 位置编码的作用是为模型提供当前时间步的前后出现顺序的信息。因为 Transformer不像RNN那样的循环结构有前后不同时间步输入间天然的先后顺序,所有的时间步是同时 输入,并行推理的,因此在时间步的特征中融合进位置编码的信息是合理的。思考:为什么上面的公式可以作为位置编码?我的理解:在上面公式的定义下,时间步p和时间步p+k的位置编码的内积,即 是与p无 关,只与k有关的定值(不妨自行证明下试试)。也就是说,任意两个相距k个时间步的位置编码向量的 内积都是相原创 2021-10-13 17:19:06 · 1187 阅读 · 0 评论 -
RNN Classifier – Name Classification
RNN Classifier – Name Classification实验使用的数据集链接:链接: https://pan.baidu.com/s/1EXEX3349JrWSuI-Bwp4Ywg 提取码: vzk5实验目标:预测给出的姓名是属于哪种语言(共有18中语言)。下图示例:实验模型:1.将姓名转换成对应的字母序列,方便使用循环神经网络进行处理。2.使用嵌入层将字母序列进行维度的转变。3.将转变后的数据放入GRU中进行处理(选择双向循环神经网络)。4.使用线性层输出18维,用于判断原创 2021-03-15 19:09:11 · 359 阅读 · 0 评论 -
全球人工智能技术创新大赛——布匹疵点智能识别
主要代码参考了https://github.com/datawhalechina/team-learning-cv/tree/master/DefectDetection的baseline,使用的YOLOv5系列模型。数据预处理:train.sh文件中,第二步使用了process_data_yolo.py,源码中关于数据集存放位置存在问题,只写了对于val的处理,没写train的处理,所以生成的process_data文件夹中, 只有val而没有train,训练时会报错。所以不能直接用train.s原创 2021-02-25 22:48:44 · 1164 阅读 · 1 评论