![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 60
涂兆诚
写东西不是给你们看的,我就是自己记录下自己学的东西遇到的困难
展开
-
神经网络基础笔记
1.概念模拟生物的神经系统,对函数进行估计或者近似2.神经元2.1 神经网络中的基础单元,相互连接,组成神经网络2.2 t=f(WA+B)2.3 一个神经元的功能是求得输入向量与权向量的内积后,经一个非线性传递函数得到一一个标量结果。3.单层神经网络是最基本的神经元网络形式,由有限个神经元构成,所有神经元的输入向量都是同一个向量。由于每一-个神经元都会产生一个标量结果, 所以单层神经元的输出是一个向量,向量的维数等于神经元的数目。4.感知机感知机由两层神经网络组成,输入层接收外界输入信原创 2021-12-08 22:36:37 · 826 阅读 · 0 评论 -
Discovering Relations among Named Entities from Large Corpora
Hasegawa T, Sekine S, Grishman R. Discovering relations among named entities from large corpora. In: Proc. of the Meeting on Association for Computational Linguistics. 2004. 415.这篇文章是自然语言处理的经典文章之一,在 ACL 会议上首次提出了一种无监督的命名实体之间关系抽取方法. 读下老论文,补充下基础Abstract:1、原创 2021-10-29 15:26:26 · 306 阅读 · 0 评论 -
深度学习实体关系抽取研究综述笔记
鄂海红,张文静,肖思琪,程瑞,胡莺夕,周筱松,牛佩晴.深度学习实体关系抽取研究综述.软件学报,2019,30(6): 1793−1818. http://www.jos.org.cn/1000-9825/5817.htm摘要部分1、实体关系抽取很重要,是很多领域的核心任务和重要环节2、作用:能够从文本中抽取实体对间的语义关系3、发展趋势:深度学习的实体关系抽取技术,在特征提取的深度和模型的精确度上已经逐渐超过了传统基于特征和核函数的方法4、如何工作:通过对文本信息建模,自动抽取出实体对之间的语义关原创 2021-10-17 21:35:18 · 3529 阅读 · 1 评论 -
深度学习基础_过拟合
深度学习基础_过拟合蓝色线是训练数据的损失函数,橙色线是测试数据的损失函数如下图测试数据集上loss没有随着训练而下降反而上升了,这是因为产生了过拟合原创 2021-02-17 12:01:09 · 296 阅读 · 0 评论 -
深度学习基础_常见优化器
反向传播算法反向传播算法是一种高效计算数据流图中梯度的技术每一层的导数都是后一层的导数与前一层输出之积,这正是链式法则的奇妙之处,误差反向传播算法利用的正是这一特点。前馈时,从输入开始,逐一计算每个隐含层的输出,直到输出层。然后开始计算导数,并从输出层经各隐含层逐一反向传播。为了减少计算量,还需对所有已完成计算的元素进行复用。这便是反向传播算法名称的由来。常见的优化函数优化器(optimizer)是编译模型的所需的两个参数之一。可以先实例化一个优化器对象,然后将它传入model.compile(原创 2021-02-07 15:35:12 · 271 阅读 · 0 评论 -
深度学习基础_softmax分类
深度学习基础_softmax分类逻辑回归解决的是二分类的问题。对于多个选项的问题,可以使用softmax函数,它是逻辑回归在N个可能不同的值上的推广神经网络的原始输出不是一个概率值 ,实质上只是输入的数值做了复杂的加权和与非线性处理之后的一个值而已加权可以理解为输入乘以权重再加上一个偏置,类似ax+b,x为输入,a为权重,b为偏置非线性处理就是激活函数,常用的激活函数是relu加权例子:学校算期末成绩,期中考试占30%,期末考试占50%,作业占20%,假如某人期中考试得了84,期末92,作业分原创 2021-02-05 19:10:39 · 2048 阅读 · 0 评论 -
深度学习基础_梯度下降法
梯度下降法是一种致力于找到函数极值点的算法。所谓“学习”便是改进模型参数,以便通过大量训练步骤将损失最小化。将梯度下降法应用于寻找损失函数的极值点便构成了依据输入数据的模型学习。梯度的输出是一个由若干偏导数构成的向量,它的每个分量对应于函数对输入向量的相应分量的偏导:梯度的输出向量表明了在每个位置损失函数增长最快的方向,可将它视为表示了在函数的每个位置向哪个方向移动函数值可以增长。...原创 2021-01-30 22:11:14 · 324 阅读 · 1 评论