- 博客(21)
- 资源 (6)
- 收藏
- 关注
RSS订阅
原创 第二次打卡链接
【人工智能学习】【七】过拟合、欠拟合及其解决方案【人工智能学习】【八】梯度消失与梯度爆炸【人工智能学习】【九】卷积神经网络【人工智能学习】【十】卷积神经网络进阶【人工智能学习】【十一】循环神经网络进阶【人工智能学习】【十二】机器翻译及相关技术【人工智能学习】【十三】注意力机制与Seq2Seq模型...
2020-02-18 13:40:45
239
原创 第一次打卡链接
【人工智能学习】【一】线性回归【人工智能学习】【二】Softmax与分类模型【人工智能学习】【三】多层感知机【人工智能学习】【四】文本预处理【人工智能学习】【五】语言模型【人工智能学习】【六】循环神经网络...
2020-02-14 18:20:31
342
1
原创 【人工智能学习】【十八】梯度下降
关于梯度在二维空间中，梯度也叫导数（这么说不对，导数的本质是一种线性变换），在多维空间中，自变量数量多了，就会有多个导数方向，（在某一点对不同的自变量求导），梯度：是一个矢量，其方向上的方向导数最大，其大小正好是此最大方向导数。但是为什么所有方向导数中会存在并且只存在一个最大值？这个最大值在哪个方向取得？值是多少？请移步如何直观形象的理解方向导数与梯度以及它们之间的关系？梯度下降...
2020-02-21 17:56:42
293
原创 【人工智能学习】【十七】凸优化
优化与深度学习在前面的介绍中，我们的训练过程是通过对损失函数求偏导进行梯度下降的方式进行训练，以使loss的函数值降低，最终得到一个最小损失函数值，这时候的模型可以说是训练好的模型。但是对于下面的这种情况，函数值出现了局部的低点和全局的低点。%matplotlib inlineimport syssys.path.append('/home/kesci/input')import d2l...
2020-02-20 16:35:57
1394
原创 【人工智能学习】【十六】Self Attention和Transformer
TransformerTransformer是加了“Self Attention”的“Seq2Seq”模型。解决了RNN不能并行计算的问题，比如当输出b1b_1b1时，RNN需要把所有a1a_1a1、a2a_2a2、a3a_3a3、a4a_4a4都算一遍。...
2020-02-19 13:52:40
377
原创 【人工智能学习】【十五】残差网络
深度学习的问题理论上来说深层网络一定包含了浅层网络能拟合出的映射，但并不是层数越多越好。深度CNN网络达到一定深度后再一味地增加层数并不能带来进一步地分类性能提高，反而会招致网络收敛变得更慢，准确率也变得更差。残差网络网络随着深度的变深，映射出来的特征越抽象，包含的信息越少（信息论的角度讲，由于DPI（数据处理不等式）的存在，在前向传输的过程中，随着层数的加深，Feature Map包含的图...
2020-02-18 17:56:13
780
原创 【人工智能学习】【十四】Normalization
批量归一化（BatchNormalization）批量归一化（BatchNormalization）1来源是2015年的一篇论文，这个方法现在被大量引用，可以提高神经网络训练速度，泛化能力等。神经网络对数据集的训练，其实是在学习数据集的分布，一旦数据分布不同（Internal Covariate Shift），会带来训练速度降低（训练集分布改变）、预测能力下降（测试集分布改变）的问题，神经网络...
2020-02-18 16:02:05
326
原创 【人工智能学习】【十三】注意力机制与Seq2Seq模型
问题来源Encoder-Decoder模型可以根据Encoder产生的信息ccc来作为Decoder的input来进行机器翻译，ccc是通过Encoder计算出来的，包含了被翻译内容的所有信息。但是通常某个词的翻译只和被翻译内容的一部分信息有关，比如“我爱做饭。”，翻译成"I love cooking."，cooking的翻译只和"做饭"有关。还有其他的例子，比如某个词的翻译依赖于前面某些信息，...
2020-02-18 01:23:16
386
原创 【人工智能学习】【十二】机器翻译及相关技术
机器翻译及相关技术机器翻译（MT）是将一种语言转换成另一种语言，语言之间表达一个含义用的词汇量是不同的，之前讲到的RNN、LSTM、GRU【人工智能学习】【十一】循环神经网络进阶里的输出要么是多对多、要么多对一。参考【人工智能学习】【六】循环神经网络里的图。Encoder-Decoder模型...
2020-02-17 15:56:48
1306
原创 【人工智能学习】【十一】循环神经网络进阶
RNN的问题RNN（Recurrent Neural Network，循环神经网络）主要应用在自然语言处理、机器翻译、情感分析、时序序列问题。这些的功能的共同特点是具有时序性。卷积神经网络是没有记忆性的（我对这句话的理解是神经元之间没有信息传递，各个WWW矩阵是独立计算的，当然不是说整个网络没有记忆，只是记忆是独立的），RNN通过神经元之间的信息传递保留了记忆（就是一个state变量，加变量是为...
2020-02-16 21:36:06
296
原创 【人工智能学习】【十】卷积神经网络进阶
深度卷积神经网络（AlexNet）在图像识别领域，我们根据图像的特征对图像进行分类，图像的特征选择是十分重要的。如何选择特征，是人为选择（SIFT），还是让机器去学习图像特征呢？在【人工智能学习】【九】卷积神经网络中提到，在很长一段时间内，神经网络都不如SVM这些机器学习方法，直到AlexNet在图像识别中超越SVM，首次证明神经网络学习到的特征是比人工算法选择的表现要好。前面提到的LeNet...
2020-02-16 15:38:53
465
原创 【人工智能学习】【九】卷积神经网络
卷积神经网络（Convolutional Neural Networks, CNN）这阶段内容较多，因时间问题，需要把关注点放到其他问题上，无法详细整理。原理和推导在论文基于Android平台的植物叶片识别系统中有介绍，斯坦福详细教程在网易云课堂cs231n计算机视觉课程之中。不过在AAAI 2020上，深度学习三巨头Geoffrey Hinton、Yann LeCun、Yoshua Bengi...
2020-02-15 21:56:35
1098
原创 【人工智能学习】【八】梯度消失与梯度爆炸
梯度消失与梯度爆炸梯度消失与梯度爆炸是神经网络训练稳定性的经典问题。随着神经网络层数的加深、循环神经网络的隐含层节点数量变多，梯度传递的距离也会变长。一个很小的梯度的变化经过层层节点的计算就会产生很大的变化。这就类似前段时间的一个理论1.01365=37.78341.01^{365}=37.78341.01365=37.78340.99365=0.02550.99^{365}=0.02550...
2020-02-15 21:36:09
289
原创 【人工智能学习】【七】过拟合、欠拟合及其解决方案
训练误差与泛化误差简单的说训练误差是模型在训练集上的误差，泛化误差是指模型在测试集上的误差的期望，并常常通过测试数据集上的误差来近似。两种误差的计算可以通过【人工智能学习】【一】线性回归中提到的二次误差损失函数，【人工智能学习】【二】Softmax与分类模型中提到的交叉熵损失函数来计算。还有其他的损失函数，篇幅有限不再介绍。机器学习中常用的损失函数你知多少？机器学习模型应关注降低泛化误差。模...
2020-02-15 20:14:27
1254
原创 【人工智能学习】【六】循环神经网络
循环神经网络循环神经网络（RNN）是一个数学模型，是一个基础的思想的实现，用来做序列信息的预测，比如文本、翻译、推荐等。若要做实际的文本预测的话只用RNN还是不行，它的缺点很多，比如无法关注一个太长的句子。要用到基于RNN的LSTM、BiLSTM等之类的模型。在【人工智能学习】【五】语言模型中介绍了如何将文本信息通过分词、建立字典来向量化。本篇文章在此基础上，对向量数据进行训练、预测，包括正向...
2020-02-14 17:44:29
759
原创 【人工智能学习】【五】语言模型
语言模型在上篇【人工智能学习】【四】文本预处理中，我们最后把一行文本信息通过分词，创建字典，转换成了一行向量表示。本篇要介绍的是语言模型，一言以蔽之就是输入一行文本，预测下一个文本信息。是不是和输入法的提示很像？在神经网络体系之前，人们尝试过各种方式来对文本进行预测。基于概率模型的隐含马尔可夫模型是以前较为常用的。这在吴军的数学之美里有提到。此外文本数据的输入具有顺序性的特点。为了解决这个问题...
2020-02-14 01:09:35
725
原创 【人工智能学习】【四】文本预处理
文本预处理文本是一种序列，一篇文章可以看做是单词字母的序列。文本不同于输入像素尺寸固定的图片，所以对文本预处理是进行文字处理必要的一步。文本预处理主要分为以下几个步骤：文本读取对文本信息进行分词建立字典，将单词进行映射将文本序列转换成索引序列（到这一步，文本信息就变成了一堆固定长度的数字信息了）这只是一个整体的大致步骤，最终还需要针对不同的任务来进行不同的处理方式。文本读入最简...
2020-02-13 19:50:29
1026
原创 【人工智能学习】【三】多层感知机
多层感知机第一篇【人工智能学习】【一】线性回归当中，输入和输出之间包含一个WWW和bbb参数，可以看做是一个单层的模型。多层感知机(MLP,MultilayerPerceptron)，顾名思义是多个层，有多个WWW参数矩阵和多个bbb。这里介绍的是单隐含层的感知机（单隐含层意味着有2层）。接下来对比一下单层线性结构和多层结构的区别，注意这里没有说多层线性结构。但是我们还是要看一下多层线性结构的问...
2020-02-13 17:01:45
2042
原创 【人工智能学习】【二】Softmax与分类模型
Softmax回归上篇文章线性回归本质上是回归问题。本篇要介绍的是一个分类问题。softmax回归是一个单层神经网络，在前一篇博客中，输入数据的维度是2，这里以Fashion-MNIST数据集为例，输入的是2828的图像。将2828的图像像素拉直，得到的是输入784维度的输入数据。所以本例当中输入数据的维度为784，那么上一篇文章中的WWW矩阵维度也就变成784维。上篇文章线性回归当中，输出的...
2020-02-13 01:48:32
572
原创 【人工智能学习】【一】线性回归
房价预测在学习线性回归时，房价预测几乎是线性回归通常举例的第一个任务。这个案例麻雀虽小五脏俱全。直观的说明了在线性回归过程模型里所需要的概念。比如训练集、测试集、损失函数、优化函数、过拟合与欠拟合、批量计算等（只想起这些，之所以说等，是以防万一我忘了啥不被打脸）。首先来看下面这张图，本例呢使用了两个维度来对房价进行预测，分别是房屋面积、房屋年龄。price=Warea∗area+Wage∗...
2020-02-12 00:29:11
848
原创 煎蛋图片爬虫
煎蛋图片的url之前页数是page-1 page-2，现在变成随机串+序列了。from bs4 import BeautifulSoupimport requestsimport redef download(img_url,headers,n): req = requests.get(img_url, headers=headers) name = '%s'%n+'='...
2020-02-03 21:46:35
260
ffmpeg的.c和.lib文件
2016-01-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人