![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自然语言处理
胖虎艾春辉
这个作者很懒,什么都没留下…
展开
-
强化学习6
1 关键词DDPG(Deep Deterministic Policy Gradient): 在连续控制领域经典的RL算法,是DQN在处理连续动作空间的一个扩充。具体地,从命名就可以看出,Deep是使用了神经网络;Deterministic 表示 DDPG 输出的是一个确定性的动作,可以用于连续动作的一个环境;Policy Gradient 代表的是它用到的是策略网络,并且每个 step 都会更新一次 policy 网络,也就是说它是一个单步更新的 policy 网络。其与DQN都有目标网络和经验回放的原创 2020-11-08 21:14:38 · 293 阅读 · 1 评论 -
pytorch-数据增强
图像增广在5.6节(深度卷积神经网络)里我们提到过,大规模数据集是成功应用深度神经网络的前提。图像增广(image augmentation)技术通过对训练图像做一系列随机改变,来产生相似但又不同的训练样本,从而扩大训练数据集的规模。图像增广的另一种解释是,随机改变训练样本可以降低模型对某些属性的依赖,从而提高模型的泛化能力。例如,我们可以对图像进行不同方式的裁剪,使感兴趣的物体出现在不同位置,...原创 2020-02-25 10:31:34 · 527 阅读 · 0 评论 -
pytorch-模型微调
9.2 微调在前面的一些章节中,我们介绍了如何在只有6万张图像的Fashion-MNIST训练数据集上训练模型。我们还描述了学术界当下使用最广泛的大规模图像数据集ImageNet,它有超过1,000万的图像和1,000类的物体。然而,我们平常接触到数据集的规模通常在这两者之间。假设我们想从图像中识别出不同种类的椅子,然后将购买链接推荐给用户。一种可能的方法是先找出100种常见的椅子,为每种椅子...原创 2020-02-25 10:30:13 · 1522 阅读 · 0 评论 -
pytorch-文本情感分类
文本情感分类文本分类是自然语言处理的一个常见任务,它把一段不定长的文本序列变换为文本的类别。本节关注它的一个子问题:使用文本情感分类来分析文本作者的情绪。这个问题也叫情感分析,并有着广泛的应用。同搜索近义词和类比词一样,文本分类也属于词嵌入的下游应用。在本节中,我们将应用预训练的词向量和含多个隐藏层的双向循环神经网络与卷积神经网络,来判断一段不定长的文本序列中包含的是正面还是负面的情绪。后续内...原创 2020-02-25 10:28:42 · 5928 阅读 · 9 评论 -
pytorch-词向量进阶
词嵌入进阶在“Word2Vec的实现”一节中,我们在小规模数据集上训练了一个 Word2Vec 词嵌入模型,并通过词向量的余弦相似度搜索近义词。虽然 Word2Vec 已经能够成功地将离散的单词转换为连续的词向量,并能一定程度上地保存词与词之间的近似关系,但 Word2Vec 模型仍不是完美的,它还可以被进一步地改进:子词嵌入(subword embedding):FastText 以固定大...原创 2020-02-23 23:54:46 · 456 阅读 · 0 评论 -
pytorch-词嵌入基础
词嵌入基础我们在“循环神经网络的从零开始实现”一节中使用 one-hot 向量表示单词,虽然它们构造起来很容易,但通常并不是一个好选择。一个主要的原因是,one-hot 词向量无法准确表达不同词之间的相似度,如我们常常使用的余弦相似度。Word2Vec 词嵌入工具的提出正是为了解决上面这个问题,它将每个词表示成一个定长的向量,并通过在语料库上的预训练使得这些向量能较好地表达不同词之间的相似和类...原创 2020-02-23 23:53:30 · 440 阅读 · 0 评论 -
pytorch-优化算法进阶
11.6 Momentum在 Section 11.4 中,我们提到,目标函数有关自变量的梯度代表了目标函数在自变量当前位置下降最快的方向。因此,梯度下降也叫作最陡下降(steepest descent)。在每次迭代中,梯度下降根据自变量当前位置,沿着当前位置的梯度更新自变量。然而,如果自变量的迭代方向仅仅取决于自变量当前位置,这可能会带来一些问题。对于noisy gradient,我们需要谨慎...原创 2020-02-23 19:37:50 · 479 阅读 · 0 评论 -
pytorch-梯度下降
梯度下降(Boyd & Vandenberghe, 2004)%matplotlib inlineimport numpy as npimport torchimport timefrom torch import nn, optimimport mathimport syssys.path.append('/home/kesci/input')import d2lzh...原创 2020-02-23 19:36:41 · 230 阅读 · 0 评论 -
pytorch-优化与深度学习
优化与深度学习优化与估计尽管优化方法可以最小化深度学习中的损失函数值,但本质上优化方法达到的目标与深度学习的目标并不相同。优化方法目标:训练集损失函数值深度学习目标:测试集损失函数值(泛化性)%matplotlib inlineimport syssys.path.append('/home/kesci/input')import d2lzh1981 as d2lfrom m...原创 2020-02-22 16:28:01 · 213 阅读 · 0 评论 -
pytorch- 批量归一化
批量归一化(BatchNormalization)对输入的标准化(浅层模型)处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。标准化处理输入数据使各个特征的分布相近批量归一化(深度模型)利用小批量上的均值和标准差,不断调整神经网络中间输出,从而使整个神经网络在各层的中间输出的数值更稳定。1.对全连接层做批量归一化位置:全连接层中的仿射变换和激活函数之间。全连接:x=...原创 2020-02-21 22:49:54 · 2437 阅读 · 0 评论 -
pytorch-modernCNN
深度卷积神经网络(AlexNet)LeNet: 在大的真实数据集上的表现并不尽如⼈意。1.神经网络计算复杂。2.还没有⼤量深⼊研究参数初始化和⾮凸优化算法等诸多领域。机器学习的特征提取:手工定义的特征提取函数神经网络的特征提取:通过学习得到数据的多级表征,并逐级表⽰越来越抽象的概念或模式。神经网络发展的限制:数据、硬件AlexNet首次证明了学习到的特征可以超越⼿⼯设计的特征,从...原创 2020-02-19 12:53:41 · 258 阅读 · 0 评论 -
pytorch-lenet
course contentlenet 模型介绍lenet 网络搭建运用lenet进行图像识别-fashion-mnist数据集Convolutional Neural Networks使用全连接层的局限性:图像在同一列邻近的像素在这个向量中可能相距较远。它们构成的模式可能难以被模型识别。对于大尺寸的输入图像,使用全连接层容易导致模型过大。使用卷积层的优势:卷积层保留输...原创 2020-02-18 22:37:38 · 194 阅读 · 0 评论 -
pytorch-卷积神经网络基础
卷积神经网络基础本节我们介绍卷积神经网络的基础概念,主要是卷积层和池化层,并解释填充、步幅、输入通道和输出通道的含义。二维卷积层本节介绍的是最常见的二维卷积层,常用于处理图像数据。二维互相关运算二维互相关(cross-correlation)运算的输入是一个二维输入数组和一个二维核(kernel)数组,输出也是一个二维数组,其中核数组通常称为卷积核或过滤器(filter)。卷积核的尺寸通...原创 2020-02-18 19:30:47 · 269 阅读 · 0 评论 -
pytorch-transformer
Transformer在之前的章节中,我们已经介绍了主流的神经网络架构如卷积神经网络(CNNs)和循环神经网络(RNNs)。让我们进行一些回顾:CNNs 易于并行化,却不适合捕捉变长序列内的依赖关系。RNNs 适合捕捉长距离变长序列的依赖,但是却难以实现并行化处理序列。为了整合CNN和RNN的优势,[Vaswani et al., 2017] 创新性地使用注意力机制设计了Transfo...原创 2020-02-18 10:59:54 · 1550 阅读 · 0 评论 -
pytorch-机器翻译
机器翻译和数据集机器翻译(MT):将一段文本从一种语言自动翻译为另一种语言,用神经网络解决这个问题通常称为神经机器翻译(NMT)。主要特征:输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。import osos.listdir('/home/kesci/input/')['fraeng6506', 'd2l9528']import syssys.path.a...原创 2020-02-17 23:16:11 · 2947 阅读 · 2 评论 -
pytorch-梯度消失、梯度爆炸以及Kaggle房价预测
梯度消失、梯度爆炸以及Kaggle房价预测梯度消失和梯度爆炸考虑到环境因素的其他问题Kaggle房价预测梯度消失和梯度爆炸深度模型有关数值稳定性的典型问题是消失(vanishing)和爆炸(explosion)。当神经网络的层数较多时,模型的数值稳定性容易变差。假设一个层数为LLL的多层感知机的第lll层H(l)\boldsymbol{H}^{(l)}H(l)的权重参数为W(l)...原创 2020-02-16 13:48:41 · 485 阅读 · 0 评论 -
pytorch-过拟合、欠拟合及其解决方案
过拟合、欠拟合及其解决方案过拟合、欠拟合的概念权重衰减丢弃法模型选择、过拟合和欠拟合训练误差和泛化误差在解释上述现象之前,我们需要区分训练误差(training error)和泛化误差(generalization error)。通俗来讲,前者指模型在训练数据集上表现出的误差,后者指模型在任意一个测试数据样本上表现出的误差的期望,并常常通过测试数据集上的误差来近似。计算训练误差和泛...原创 2020-02-16 13:47:57 · 3043 阅读 · 0 评论 -
pytorch-循环神经网络
循环神经网络本节介绍循环神经网络,下图展示了如何基于循环神经网络实现语言模型。我们的目的是基于当前的输入与过去的输入序列,预测序列的下一个字符。循环神经网络引入一个隐藏变量HHH,用HtH_{t}Ht表示HHH在时间步ttt的值。HtH_{t}Ht的计算基于XtX_{t}Xt和Ht−1H_{t-1}Ht−1,可以认为HtH_{t}Ht记录了到当前字符为止的序列信息,利用HtH_{t}H...原创 2020-02-14 20:17:33 · 575 阅读 · 0 评论 -
pytorch-语言模型
语言模型一段自然语言文本可以看作是一个离散时间序列,给定一个长度为TTT的词的序列w1,w2,…,wTw_1, w_2, \ldots, w_Tw1,w2,…,wT,语言模型的目标就是评估该序列是否合理,即计算该序列的概率:P(w1,w2,…,wT).P(w_1, w_2, \ldots, w_T).P(w1,w2,…,wT).本节我们介绍基于统计的语言模型,主要是nnn元语...原创 2020-02-13 22:25:27 · 188 阅读 · 0 评论 -
什么是激活函数?
title: 什么是激活函数date: 2019-11-08 12:55:45mathjax: truecategories:nlp-自然语言处理tags:nlp-自然语言处理文章目录先抛开什么神经,深度之类的不好理解的东西激活函数在深度学习中是用来干什么的?我们说下分类问题那么加上激活函数(activation function)就不一样几个函数解释ReLU及其衍生函数先...原创 2019-12-16 00:04:13 · 203 阅读 · 0 评论 -
矩阵求导
转载说明转载 2019-12-01 17:28:59 · 181 阅读 · 0 评论 -
python中矩阵,数组区别
转载标志转载 2019-12-01 07:53:22 · 462 阅读 · 0 评论 -
机器学习:支持向量机(svm)
title: 机器学习:支持向量机(svm)date: 2019-11-30 22:29:07mathjax: truecategories:机器学习tags:机器学习机器学习:支持向量机(svm)代码待补充本文只讲述支持向量机(svm)的基础,不涉及任何高深东西。1. 支持向量机 作用先看一图:我们第一直觉就是在两堆点中间画一根线,分开两类点。2. 如何...原创 2019-11-30 22:33:51 · 401 阅读 · 0 评论 -
贝叶斯网络
转载标志转载 2019-11-30 21:48:23 · 203 阅读 · 0 评论 -
机器学习:逻辑回归(logistics regression)
title: 机器学习:逻辑回归(logistics regression)date: 2019-11-30 20:55:06mathjax: truecategories:机器学习tags:机器学习第5章 Logistic回归Logistic 回归 概述Logistic 回归 或者叫逻辑回归 虽然名字有回归,但是它是用来做分类的。其主要思想是: 根据现有数据对分类边界线...原创 2019-11-30 21:30:04 · 564 阅读 · 0 评论 -
机器学习:朴素贝叶斯(naive beyes)
title: 机器学习:朴素贝叶斯(naive beyes)date: 2019-11-30 20:29:35mathjax: truecategories:机器学习tags:机器学习机器学习:朴素贝叶斯(naive beyes)借鉴概述贝叶斯分类是一类分类算法的总称,这类算法均以贝叶斯定理为基础,故统称为贝叶斯分类。本章首先介绍贝叶斯分类算法的基础——贝叶斯定理。最后...原创 2019-11-30 20:54:07 · 931 阅读 · 0 评论 -
朴素贝叶斯
转载标志转载 2019-11-27 21:15:42 · 89 阅读 · 0 评论 -
词向量(onehot->word2vec)
转载标志转载 2019-11-25 16:57:06 · 170 阅读 · 0 评论 -
逻辑回归和损失函数推导
转载标志转载 2019-11-19 16:50:46 · 140 阅读 · 0 评论 -
np.dot()函数用法
title: np.dot函数date: 2019-11-15 00:56:38categories:机器学习tags:机器学习np.dot()函数用法Numpy中dot()函数主要功能有两个:向量点积和矩阵乘法。格式:**x.dot(y) 等价于 np.dot(x,y) ———**x是mn 矩阵 ,y是nm矩阵,则x.dot(y) 得到m*m矩阵。向量点积...转载 2019-11-15 06:52:07 · 1055 阅读 · 0 评论 -
softmax函数
转载转载 2019-11-09 23:17:52 · 204 阅读 · 0 评论 -
交叉熵
[原文链接](https://blog.csdn.net/tsyccnh/article/details/79163834)转载 2019-11-09 19:41:29 · 85 阅读 · 0 评论 -
NLP-3:机器学习和模型评价初步
title: ‘NLP-3:机器学习和模型评价初步’date: 2019-11-08 23:14:24mathjax: truecategories:nlp-自然语言处理tags:nlp-自然语言处理文章目录NLP-3:机器学习和模型评价初步KNN(K-nearest neighbors,K-近邻算法)决策树模型(decision tree)决策树如何决定哪一个值或者哪一个特...原创 2019-11-09 09:01:03 · 201 阅读 · 0 评论 -
机器学习和模型评价初步
title: ‘NLP-3:机器学习和模型评价初步’date: 2019-11-08 23:14:24mathjax: truecategories:nlp-自然语言处理tags:nlp-自然语言处理文章目录NLP-3:机器学习和模型评价初步KNN(K-nearest neighbors,K-近邻算法)决策树模型(decision tree)决策树如何决定哪一个值或者哪一个特...原创 2020-02-12 20:10:07 · 129 阅读 · 0 评论 -
什么是激活函数
title: 什么是激活函数date: 2019-11-08 12:55:45mathjax: truecategories:nlp-自然语言处理tags:nlp-自然语言处理文章目录先抛开什么神经,深度之类的不好理解的东西激活函数在深度学习中是用来干什么的?我们说下分类问题那么加上激活函数(activation function)就不一样几个函数解释ReLU及其衍生函数先...转载 2019-11-08 13:37:55 · 1083 阅读 · 0 评论 -
吴恩达机器学习:week1
title: 吴恩达机器学习:week1date: 2019-11-03 17:41:46categories:机器学习tags:机器学习第1周文章目录第1周1.1 欢迎1.2 机器学习是什么?1.3 监督学习1.4 无监督学习总结1.1 欢迎参考视频: 1 - 1 - Welcome (7 min).mkv第一个视频主要讲了什么是机器学习,机器学习能做些什么事情。机...原创 2019-11-03 22:03:06 · 220 阅读 · 0 评论 -
模型评价初步
转载标志转载 2019-11-03 15:56:58 · 90 阅读 · 0 评论 -
sklearn中的线性模型
在skearn中,可以使用sklearn.linear_model来创建线性模型然后用fit函数去训练然后用predict去预测还可以用score函数去预测同时计算预测的准确度import numpy as npimport matplotlib.pyplot as pltfrom sklearn import datasetsfrom sklearn import linear_m...转载 2019-11-03 15:37:21 · 448 阅读 · 0 评论 -
NLP-2:图搜索算法和梯度下降
title: ‘NLP-2:图搜索算法和梯度下降’date: 2019-10-31 10:52:41categories:nlp-自然语言处理tags:nlp-自然语言处理文章目录NLP-2:图搜索算法和梯度下降图搜索算法:我不会讲理论,直接从项目开始理解吧梯度下降算法(线行回归)NLP-2:图搜索算法和梯度下降图搜索算法:深度优先搜索(dfs)和广度优先搜索(bfs,...原创 2019-10-31 12:44:21 · 438 阅读 · 0 评论 -
朴素贝叶斯朴素在哪里?
朴素贝叶斯(naive Bayes classifiers)是一种分类器,在机器学习中有着广泛的应用。相信很多人知道贝叶斯定理,即所以,当我们有一组事件,我们想通过这组事件去估计一个事件C发生的概率,比如我们想估计水果的种类,如果有一组事件分别 黄,长,弯…那我们就可以判断这是一个香蕉。 尽管黄,长,弯几个事件之间可能会相互依赖,但是在朴素贝叶斯模型中,我们假设它们相互独立,这就是他的朴素之处...原创 2019-10-30 22:37:30 · 2661 阅读 · 0 评论