![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
下一秒,待续
下一秒
展开
-
循环网络之RNN与自然语言处理
循环(递归)神经网络引出:针对文本数据,为了注意到词与词之间的关系,引出循环神经网络RNN。ps:有了多层感知机神经网络,卷积神经网络,但是输入和输出都是互相独立的,不能很好地处理文本数据。1.RNN介绍RNN:通过引入记忆的概念,在每个元素上都执行相同的任务但是当前时刻的输出依赖于当前时刻的输入和前t时刻的记忆!目标:RNN就是在知道这个字的前提下,可以预测下一个字!...原创 2019-03-30 00:30:33 · 895 阅读 · 0 评论 -
读(程序员的数学 2 概率统计)-记录
目录:第一章:概率的定义(随机变量,概率分布)第二章:多个随机变量之间的关系(联合概率,边缘概率,独立性,条件概率以及在贝叶斯上的应用)第三章:离散值的概率分布(期望,方差,标准差,大数定理)第四章:连续值的概率分布(概率密度函数,概率分布函数以及随机变量的变换,联合概率分布函数,高斯分布以及中心极限定理)第五章:协方差矩阵、多元正态分布与椭圆(协方差和相关...原创 2019-05-01 16:33:27 · 1570 阅读 · 0 评论 -
读(程序员的数学 3 线性代数)-记录
目录第一章:用空间的语言表达向量、矩阵和行列式(向量,矩阵性质以及运算,行列式性质以及运算)第二章:秩、逆矩阵、线性方程组(溯因原理)(初等行变换解线性方程组、逆矩阵、秩,以及逆矩阵和相关不相关问题)第三章:特征值、对角化(对角化介绍,求解特征值、特征向量、可逆的特征矩阵)第一章:用空间的语言表达向量、矩阵和行列式1.向量列向量:向量的运算:(加法和乘法...原创 2019-05-03 10:18:36 · 1884 阅读 · 3 评论 -
循环网络之NLP之文本表示
离散表示文本:文档向量One-hotstep 1:构建所有词构建一个词典。step 2:对词典的每一个词做One-hot编码每个词向量只有一个位置有1,其他位置全为零。文档向量可以直接将各词的词向量表示加和ps:基于词的one-hot编码,来表示句子向量。TF-IDF模型(逆文档频率)词权重(TF-IDF)词不是出现次数越高,就一定重要!(例如:惯用...原创 2019-03-29 02:45:29 · 673 阅读 · 0 评论 -
前馈(向)网络之卷积神经网络的应用
图像识别:卷积神经网络(CNN)分类任务:C个类别输入:图片, 输出:类别标签, 评估准则:准确率图像识别与定位输入:图片, 输出:物体边界框(x,y,w,h) 评估准则:交并准则交并准则是预测值与真实值的交集的面积除去并集的面积,值大于0.5通常会认为是有效的定位图像识别+定位:识别主体+定位...原创 2019-03-28 00:46:17 · 4175 阅读 · 0 评论 -
深度学习面试总结
1.造成梯度消失的原因?造成梯度爆炸的原因?消失:网络模型深度过深;选用了不合适的损失函数,例如(sigmoid函数)爆炸:网络模型过深并且初始化权重过大;2.sigmoid函数值域问题?值域(0,1)开区间,定义域(-无穷,+无穷)对于激励函数:梯度只会无限趋近于零,对于交叉熵损失:值永远大于零,但可能会无限趋近于零3.sigmoid函数,交叉熵(cross enty...原创 2019-03-31 19:57:35 · 707 阅读 · 0 评论 -
前馈(向)网络之深度神经网络
1.多层感知器(MLP,DNN)模型:拥有一个输入层,一个输出层,加上隐藏层,每一层都是通过全连接来进行的!ps:添加少量隐藏层叫做浅层神经网络,而增多隐藏层就是深度神经网络!ps:每一层都进行了全连接,导致参数量比较大,模型比较复杂。ps:全连接可以看成笛卡尔积,两者是一样的概念。一个简单的神经网络模型:可以理解为它是对线性的(输入层)输入,经过(隐藏层)非线性的变换...原创 2019-03-25 23:48:00 · 373 阅读 · 0 评论 -
迁移学习与深度学习新应用
NeuralStyle(神经元的格式)目标:输入一张基于内容的图片和一张基于格式的图片,生成一张新的图片。模型:拉下来一个预训练好(W权重训练好的)的CNN模型损失函数:实现思路:M1:偏内容的图,M2:偏风格的图,M3:随机初始化的图step 1:通过预训练好的CNN对M1,M2,M3进行feature mapstep 2:通过content损失和style损...原创 2019-03-31 14:26:28 · 1371 阅读 · 0 评论 -
强化学习与Deep Q-Network(DQN)
什么是强化学习?难点是甚么?1.有监督?无监督?是有稀疏并延时的标签---奖励(reword)2.信用分配问题,得分可能跟你现在的行为没有直接的关系(不好表述)3.对于现有得分,搜索/不搜索ps:强化学习就是一个不断学习来提升自己的一个模型,当前的决策由现在或者未来决定的。ps:滴滴的司机派单,阿尔法狗的棋谱学习,都有强化学习的影子。马尔可夫决策过程模型:有限序...原创 2019-03-31 03:09:44 · 600 阅读 · 0 评论 -
前馈(向)网络之卷积神经网络
传统的神经网络:多层感知器(DNN,MLP等),对图片这类数据可能不太适合!图片数据,比如:32*32*3,展开大概是4000维的向量,如果一层神经元是1024个那么进行全连接每层会有400W个参数ps:参数过多主要是会导致过拟合的,而且网络学习很缓慢。ps:一般是没有足够的样本量来去学习这么复杂的网络。ps:基于参数的问题,于是引出了卷积神经网络(CNN)!引出卷积神经...原创 2019-03-27 00:00:32 · 664 阅读 · 0 评论 -
对抗生成网络
对抗生成网络原理(1)生成模型构建o和s的联合分布p(s,o) = p(s) *p(o|s)(2)判别模型构建o和s的条件分布p(s|o)原理:利用判别模型效果,不断提高生成模型效果!逐步递进的过程不可或缺,而不是一开始就无敌!其实就是通过不断求误差下界中的上界的方式,来获取更好的效果(就是莫欺少年穷嘛)!生成器的目标:生成一个仿真数据判别器的目标:判别一个数据是否...原创 2019-03-30 20:49:06 · 674 阅读 · 0 评论 -
循环网络之RNN条件生成与Attention机制
RNN条件生成问题:图像生成文本(一对多), 情感分析,文本密集度,分类..,机器翻译(多对多,离线的),解说视频,输入法 (实时多对多) 机器翻译V1: Encoder-DecoderLSTM的参数比较多,嵌入手机端不太好。GRU参数比较少,是可以的!缺点:前面输入进入RNN的信息会被稀释,尽管处理了梯度弥散的问题,但是长度太长前面的记忆还...原创 2019-03-30 11:22:31 · 1716 阅读 · 0 评论 -
美团机器学习实践书籍
目录第一部分通用流程:第二部分:数据挖掘第三部分:搜索和推荐第四部分:计算广告第五部分:深度学习第六部分:算法工程第一部分通用流程:第一章:问题建模:评估指标,样本选择,交叉验证评估指标:分类指标、回归指标、聚类指标、排序指标分类指标:P-R曲线(P纵轴,R横轴、AP值),F1值,ROC曲线(纵轴正样本预测对的召回,横轴正样本预测错的召回、AUC值),对...原创 2019-05-20 01:46:44 · 1317 阅读 · 1 评论