人工智能
十年程序
凡事皆宜耐守,修持自宜平安
展开
-
LSTM 和 GRU
在RNN应用,如自然语言处理中,由于输入语句的长度和语法原因,语句最末尾的内容可能由最开始内容决定,如单复数、时态问题等,两者之间相隔较远的距离,导致梯度下降或其他优化算法很难调整参数来影响最开始的位置,这就是神经网络中常提到的Vanishing Gradients问题。如下例所示:The cat, which already ate a lot of food, was full.The c...原创 2020-04-06 16:51:50 · 312 阅读 · 0 评论 -
attention模型
在机器翻译领域,传统的RNN采用 encoder-decoder模型,该模型首先由输入文本得到一串固定长度的向量(向量中包含了输入的信息),后面再由该向量作为输入来得到翻译的内容,如下图所示:这个模型存在以下问题:encoder需要将所有的输入表示为一个的向量,这个过程可能造成信息丢失,尤其对于很长的文本序列。decoder需要根据encoder计算的单一向量,来得到所有的输出序列,对...原创 2020-04-06 16:35:35 · 308 阅读 · 0 评论 -
浅谈神经网络
浅谈神经网络1. 神经网络介绍 人工神经网络从信息处理角度对人脑神经元网络进行抽象, 建立某种简单模型,按不同的连接方式组成不同的网络。 神经网络是一种运算模型,由大量的节点(或称神经元)之间相互联接构成。每个节点代表一种特定的输出函数,称为激励函数(activation function)。每两个节点间的连接都代表一个对于通过该连接信号的加权值,称之为权重。...原创 2019-05-31 21:20:05 · 1042 阅读 · 0 评论 -
卷积神经网络(CNN)学习
1. 基础概念 卷积神经网络(Convolutional Neural Networks, CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks),是深度学习(deep learning)的代表算法之一。 卷积神经网络是一种多层神经网络,擅长处理图像特别是大图像的相关机器学习问题。CNN最早由Yann LeCun提出并应用...原创 2019-06-02 11:02:39 · 1400 阅读 · 0 评论 -
支持向量机(SVM)原理解析
1. 基础概念 SVM(Support Vector Machine)支持向量机,是一类出色的监督学习算法,常用于分类和回归问题。SVM的一个重要特征是,其通过最大化几何间隔的方式,降低了经验分类误差,因此SVM又被称为最大间隔分类器。其次,SVM是一类线性分类器,通过构造分隔超平面,将数据分为两个类别。对于线性不可分的数据,SVM通过将原始数据映射到更高的维度,从而使其线性可分。...原创 2019-06-02 11:14:37 · 3209 阅读 · 0 评论 -
Object Detection(对象检测)原理介绍
1. 基础概念图像分类(Classification) 图像分类是给定一张图片,我们希望程序可以识别图片中的物体。比如,我们构造一个分类器,来识别图片中的物体是猫或是狗,这是图像分类技术。如下图所示,给定一张图片,分类器给出图片中物体的类别:2. 定位(Localization) 通过以上图片分类算法后,我们知道图片中物体的类别,但是还不知道物体在图片中的...原创 2019-06-02 11:19:55 · 1304 阅读 · 0 评论 -
RNN 概述
1. 基础概念 循环神经网络(Recurrent Neural Networks ,以下简称RNN)是一类用于处理序列数据的神经网络,广泛的用于自然语言处理、基因序列分析等领域,其中自然语言处理包括语音识别、机器翻译、语义分析等。 以下是一个简单的自然语言处理应用,该应用可以识别语句中的人名。应用的输入是一段语句,输出为语句中包含的人物名称。 ...原创 2019-06-02 11:41:58 · 1234 阅读 · 0 评论