Deep Learning
文章平均质量分 77
Amy
总是计划很多却鲜少实施
展开
-
Deep Learning学习笔记(5)——AlphaGo
读《神经网络与深度学习》一书,随笔。1 IBM深蓝下象棋深蓝打败卡斯帕罗夫用的是蛮力和一些启发式算法。其原理是:用评估函数评估当前棋盘的局势 + 在大量可能局势中挑最有利的。评估函数采用了8000多个因素来计算,需要非常专业的国际象棋知识。用博弈树搜索后面的6步,然后用评估函数在第6层上评估节点的质量,用评估函数的值替换了这个节点下的所有子树的概述,用极大极小算法找到下一步动作。围棋难在:(1)落子点太多,使得博弈树搜索到足够深度更困难;(2)评估函数太难设计。2 AlphaGo下围原创 2021-02-17 17:34:32 · 589 阅读 · 0 评论 -
Deep Learning学习笔记(4)——长短期记忆网络LSTM
读《神经网络与深度学习》一书,随笔。在NLP领域几乎都是序列标注问题,上下文信息非常重要,与图像有明显不同。本节需要HMM、Collins感知机、CRF等传统序列标注模型的基础才能好理解。1 RNN(Recurrent Network)前面学习的CNN更适合图像领域,而RNN是针对文本领域提出的,专门处理序列化数据的神经网络结构。RNN的一个循环神经单元和按时间展开后的样子如下图:数学表达式为:,理解为,t时刻的输出与当前的输入和上一时刻的输出有关。输入一句话时RNN的过程如下图,可原创 2021-02-16 18:37:20 · 550 阅读 · 0 评论 -
Deep Learning学习笔记(3)——卷积神经网络CNN
上篇学习的自编码器方式对前馈神经网络进行预训练,虽然解决了BP算法求解的缺陷,但是也产生了一个明显的缺点:训练时间长,因为要逐层学习特征抽取。在图像识别领域诞生了一个经典模型——CNN(卷积神经网络),它也用BP算法求解,但是没有Pre-train,却非常有效,属于带有前向反馈的网络。CNN优势:网络结构对平移、比例缩放、倾斜或其他形式的变形具有高度不变性。1. 神经认知科学的发现CNN 是从视觉皮层的生物学上获得启发的。1958年,大卫·休伯尔(David Hunter Hubel)和托斯原创 2021-02-16 13:33:18 · 688 阅读 · 0 评论 -
Deep Learning学习笔记(2)——前馈神经网络
读《神经网络与深度学习》一书,随笔。上篇提到前馈神经网络,那么针对多层的网络,如何求解隐层的权值呢?Hiton提出了BP算法,其核心思想是信号正向传播和误差反向传播,将误差分摊给各层的所有单元,从而获得各层单元的误差信号,此误差信号作为修正各单元权值的依据。1. BP算法的问题5层以内的神经网络,可以用BP算法训练,5层以上的神经网络用BP算法训练就很不理想。具体地,BP算法存在如下问题:(1)梯度越来越稀疏:从顶层往下,误差校正信号越来越小;(2)收敛到局部最小值。主要原因是,深度结构原创 2021-01-31 16:58:58 · 368 阅读 · 0 评论 -
Deep Learning学习笔记(1)——基础知识
读《神经网络与深度学习》一书,随笔。1. 深度学习历史中被人们津津乐道的几个片段2. 构造一个神经元模仿生物神经元的原理构造人工神经元,把一个现实生活中的实体抽象成一个数据模型往往是解决问题的第一步,如下图:...原创 2021-01-31 14:00:16 · 116 阅读 · 0 评论