关闭
当前搜索:

深度学习:Seq2seq模型

Encoder-Decoder模型和Attention模型。seq2seq是什么?简单的说,就是根据一个输入序列x,来生成另一个输出序列y。seq2seq有很多的应用,例如翻译,文档摘取,问答系统等等。在翻译中,输入序列是待翻译的文本,输出序列是翻译后的文本;在问答系统中,输入序列是提出的问题,而输出序列是答案。Encoder-Decoder模型为了解决seq2seq问题,有人提出了encoder...
阅读(564) 评论(0)

深度学习:循环神经网络RNN的变体

双向RNN:BRNN模型(Bidirectional RNN)BRNN不仅接受上一个时刻的隐层输出作为输入,也有接受下一个时刻的隐层输出作为输入;Structure of a bidirectional recurrent neural network as described by Schuster and Paliwal in Schuster and Paliwal [1997].BRNN与...
阅读(467) 评论(0)

递推关系中的数列通项

http://blog.csdn.net/pipisorry/article/details/78142983普通方法叠加法/叠乘法公式法阶差法待定系数法辅助数列法归纳、猜想倒数法[求解数列通项公式的常用方法]某小皮特征方程法(一阶线性递推式)设已知数列的项满足,其中求这个数列的通项公式?特征方程法:针对问题中的递推关系式作出一个方程称之为特征方程;借助这个特征方程的根快速求解通项公式.定理1:设...
阅读(431) 评论(0)

有放回采样和无放回采样

随机采样可以分为随机欠采样和随机过采样两种类型。随机欠采样顾名思义即从多数类$S_maj$中随机选择少量样本$E$再合并原有少数类样本作为新的训练数据集,新数据集为$S_min+E$;随机欠采样有两种类型分别为有放回和无放回两种,无放回欠采样在对多数类某样本被采样后不会再被重复采样,有放回采样则有可能。放回子采样:bagging(bootstrap aggregation)方法{有放回的随机采样,...
阅读(1401) 评论(0)

不平衡数据的机器学习

不平衡数据的场景出现在互联网应用的方方面面,如搜索引擎的点击预测(点击的网页往往占据很小的比例),电子商务领域的商品推荐(推荐的商品被购买的比例很低),信用卡欺诈检测,网络攻击识别等等。问题定义那么什么是不平衡数据呢?顾名思义即我们的数据集样本类别极不均衡,以二分类问题为例,假设我们的数据集是$S$,数据集中的多数类为$S_maj$,少数类为$S_min$,通常情况下把多数类样本的比例为$100:...
阅读(990) 评论(0)

Sigmod/Softmax变换

http://blog.csdn.net/pipisorry/article/details/77816624Logistic/Softmax变换sigmoid函数/Logistic 函数取值范围为(0,1),它可以将一个实数映射到(0,1)的区间,可以用来做二分类。sigmoid 的导数表达式为: sigmoid 原函数及导数图形如下:Note: 从导数表达式可知,logit梯度最大为0.2...
阅读(1533) 评论(0)

深度学习:循环神经网络RNN

http://blog.csdn.net/pipisorry/article/details/77776743RNN模型循环神经网络(recurrent neural network,RNN)是一种具有反馈结构的神经网络,其输出不但与当前输入和网络的权值有关,而且也与之前网络的输入有关;RNN通过添加跨越时间点的自连接隐藏层,对时间进行建模;换句话说,隐藏层的反馈,不仅仅进入输出端,而且还进入了下...
阅读(735) 评论(0)

深度学习:卷积神经网络CNN变体

带步幅的多通道巻积很多时候,我们输入的是多通道图像。如RGB三通道图像,下图就是。也有可能我们出于特定目的,将几张图组成一组一次性输入处理。多通道巻积假定我们有一个 4 维的核张量 K,它的每一个元素是 K i,j,k,l ,表示输出中处于通道 i 的一个单元和输入中处于通道 j 中的一个单元的连接强度,并且在输出单元和输入单元之间有 k 行 l 列的偏置。假定我们的输入由观测数据 V 组成,它的...
阅读(310) 评论(0)

深度学习:卷积神经网络CNN

Convolutional Neural Networks卷积神经网络       卷积神经网络是人工神经网络的一种,已成为当前语音分析和图像识别领域的研究热点。它的权值共享网络结构使之更类似于生物神经网络,降低了网络模型的复杂度,减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显,使图像可以直接作为网络的输入,避免了传统识别算法中复杂的特征提取和数据重建过程。卷积网络是为识别二维形状...
阅读(565) 评论(0)

未名

。...
阅读(2298) 评论(0)

深度学习:词嵌入word2vec

http://blog.csdn.net/pipisorry/article/details/76147604 word2vec简介 深度学习在自然语言处理中第一个应用:训练词嵌入。通过词嵌入的词表示方式,大量的nlp领域的任务都得到了提升。Google 的 Tomas Mikolov 在《Efficient Estimation of Word Representation ...
阅读(500) 评论(0)

深度学习:Embedding

One-hot Embedding假设一共有个物体,每个物体有自己唯一的id,那么从物体的集合到有一个trivial的嵌入,就是把它映射到中的标准基,这种嵌入叫做One-hot embedding/encoding.应用中一般将物体嵌入到一个低维空间 ,只需要再compose上一个从到的线性映射就好了。每一个 的矩阵都定义了到的一个线性映射: 。当 是一个标准基向量的时候,对应矩阵中的一列,这就是...
阅读(3256) 评论(9)

回归的正则化模型:岭回归和Lasso回归(套索回归)

http://blog.csdn.net/pipisorry/article/details/52974495回归可能存在的问题多重共线性(Multicollinearity)是指线性回归模型中的解释变量之间由于存在精确相关关系或高度相关关系而使模型估计失真或难以估计准确。皮皮blog岭回归 Ridge Regression{也可以称作山脊回归}当我们所使用的样本数据存在多重共线性问题时,岭回归是...
阅读(289) 评论(0)

深度学习:正则化

训练神经网络模型时,如果训练样本较少,为了防止模型过拟合,Dropout可以作为一种trikc供选择。Dropout是hintion最近2年提出的,源于其文章Improving neural networks by preventing co-adaptation of feature detectors.中文大意为:通过阻止特征检测器的共同作用来提高神经网络的性能。Dropout是指在模型训练时...
阅读(375) 评论(0)

回归的线性模型

http://blog.csdn.net/pipisorry/article/details/73770637线性基函数回归模型基函数线性回归模型的最简单的形式也是输入变量的线性函数。但是,通过将一组输入变量的非线性函数进行线性组合,我们可以获得一类更加有用的函数,被称为基函数( basis function )。这样的模型是参数的线性函数,这使得其具有一些简单的分析性质,同时关于输入变量是非线性...
阅读(665) 评论(0)

平面几何和立体几何

http://blog.csdn.net/pipisorry/article/details/73294222平面几何余弦定理和勾股定理余弦定理和勾股定理的几何图形解释[震惊!余弦定理和勾股定理竟然有这样的关系]点间距离、点线距离、线间距离两点间的距离已知平面上两点P1(x1,y1), P2(x2,y2)。分别过两点作x轴 和 y轴的垂线,在Rt△P1 QP2中,|P1 P2|2 = |P1 Q|...
阅读(878) 评论(0)

算法:位运算

http://blog.csdn.net/pipisorry/article/details/70318778位操作基础位操作是程序设计中对位模式或二进制数的一元和二元操作。lz所以3进制在一般计算机应该不能进行位操作吧。基本的位操作符有与、或、异或、取反、左移、右移这6种,它们的运算规则如下所示:符号 描述 运算规则&       与两个位都为1时,结果才为1|   或    两个位都为0时,结...
阅读(808) 评论(0)

三个盒子装金币问题

http://blog.csdn.net/pipisorry/article/details/72859426问题有三个盒子,只有 一个里面装有金币。你随机抽取一个;然后有人告诉你,剩下的两个盒子中,他随机的打开了一个,发现里面是空的;然后他问你,要不要把你的盒子和另一个未打开的盒子交换?解答这个问题中最关键的焦点就是那个既定的空盒子中含有金币的概率到底是不是三分之一的问题。 这个问题最初是在某B...
阅读(882) 评论(0)

数据散布的度量

http://blog.csdn.net/pipisorry/article/details/72820982考察评估数值数据散布或发散的度量。这些度量包括极差、分位数、四分位数、百分位数和四分位数极差。五数概括可以用盒图显示,它对于识别离群点是有用的。方差和标准差也可以指出数据分布的散布。集中趋势集中趋势(central tendency)在统计学中是指一组数据向某一中心值靠拢的程度,它反映了一...
阅读(1147) 评论(0)

时钟问题

http://blog.csdn.net/pipisorry/article/details/72764547时钟问题1.行程问题中时钟的标准制定;2.时钟的时针与分针的追及与相遇问题的判断及计算;3.时钟的周期问题。时钟问题可以看做是一个特殊的圆形轨道上2人追及或相遇问题,不过这里的两个“人”分别是时钟的分针和时针。时钟问题有别于其他行程问题是因为它的速度和总路程的度量方式不再是常规的米每秒或者...
阅读(425) 评论(0)
604条 共31页首页 上一页 1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:3651266次
    • 积分:30743
    • 等级:
    • 排名:第194名
    • 原创:569篇
    • 转载:30篇
    • 译文:5篇
    • 评论:316条
    Welcome to 皮皮blog~

    博客专栏
    最新评论