深度学习
番茄要去皮
业精于勤,荒于嬉;行成于思,毁于随。
认真学习,努力工作,快乐生活。
学习笔记。
展开
-
神经网络的前向传播和反向传播推导
神经网络的前向传播和反向传播推导x1x_{1}x1和x2x_{2}x2表示输入wijw_{ij}wij表示权重bijb_{ij}bij表示偏置σi\sigma_{i}σi表示激活函数,这里使用sigmoid激活函数outoutout表示输出yyy表示真实值η\etaη表示学习率前向传播h1=w11x1+w13x2+b11h_{1}=w_{11}x_{1}+w_{13}...原创 2020-03-24 10:39:32 · 3796 阅读 · 0 评论 -
初次使用BERT的可视化指南
初次使用BERT的可视化指南在过去几年里,处理语言的机器学习模型的进展一直在迅速加快。这一进步已经离开了研究实验室,开始为一些领先的数字产品提供动力。这方面的一个很好的例子是最近公布的BERT模型如何成为谷歌搜索背后的主要力量。谷歌认为,这一步(即自然语言理解在搜索领域的应用进展)代表了过去五年最大的飞跃,也是搜索历史上最大的飞跃之一。这篇文章是关于如何使用BERT的变体对句子进行分类的简单...翻译 2019-12-25 20:39:27 · 3134 阅读 · 1 评论 -
循环神经网络
循环神经网络(RNN)人工神经网络和卷积神经网络的前提假设是元素之间是相互独立的,输入和输出也是相互独立的。但在现实世界中,很多元素都是相互连接的,比如,我出生在中国,从小在这里长大,所以我能说一口流利的。这里填空,都知道填“中文”,是因为能够根据上下文的内容进行推断,所以就出现了循环神经网络,循环神经网络的本质是像人一样拥有记忆能力,它的输出依赖于当前的输入和记忆。循环神经网络(Recurr...原创 2019-05-24 10:55:34 · 7678 阅读 · 0 评论 -
卷积神经网络(CNN)
卷积神经网络(Convolutional Neural Network,CNN)的提出最初是为解决图像识别问题,但是随着技术的发展,现在CNN的应用也不仅局限于图像和视频,也可以用于音频和文本等时间序列数据。CNN作为一个深度学习架构被提出的最初目的是为了降低对图像数据预处理的要求,避免复杂的特征工程。CNN的最大特点在于卷积的权值共享结构,可以减少神经网络的参数量,防止过拟合的同时也减少了神经网...原创 2019-05-21 15:22:16 · 16648 阅读 · 0 评论 -
文本分类(5)-TextCNN实现文本分类
利用TetxCNN对IMDB Reviwe文本进行分类,数据集地址:https://pan.baidu.com/s/1EYoqAcW238saKy3uQCfC3w提取码:ilzeimport numpy as npimport loggingfrom keras import Inputfrom keras.layers import Conv1D, MaxPool1D, Dense,...原创 2019-07-14 11:20:39 · 11534 阅读 · 0 评论 -
Dropout vs BatchNormalization
DropoutDropout是神经网络中防止模型过拟合的重要正则化方式。2014年 Hinton 提出了一个神器,《Dropout: A Simple Way to Prevent Neural Networks from Overfitting 》。原文:(http://jmlr.org/papers/v15/srivastava14a.html)。dropout 是指在深度学习网络的训练...原创 2019-08-09 11:57:07 · 6121 阅读 · 0 评论 -
隐马尔可夫模型
马尔可夫模型对于某个系统包含了n个有限状态,某个状态随着时刻推移而转移到另一个状态。如果t时刻的状态与前面m个时刻相关,那么称为m阶马尔可夫链。马尔可夫过程是个随机过程,系统从一个状态转移到另一个状态存在转移概率,而转移概率可以通过前面m个时刻的状态来计算。马尔可夫过程是随机过程的典型代表,随机过程是指一个系统的状态随着时间随机的变化。这种模型可以计算出系统每一时刻处于各种状态之间的转移概率。...原创 2019-10-11 16:28:47 · 4906 阅读 · 0 评论