深度学习
qq_34872215
这个作者很懒,什么都没留下…
展开
-
深度学习——LSTM & GRU
一、LSTM神经网络1、关于传统RNN网络梯度消失的问题https://blog.csdn.net/dchen1993/article/details/53885490http://www.cnetnews.com.cn/2017/1118/3100705.shtml其中涉及到softmax函数的求导:https://blog.csdn.net/u014313009/article...原创 2019-03-04 22:15:26 · 1932 阅读 · 0 评论 -
深度学习——NLP中词的表示方法&word embedding&word2vec
一直有点没明白标题中三者的关系,在此记录下来自己查阅之后的看法,有不对的地方,请大家指正,谢谢!关于NLP中,有各种不同的表达,如:词向量、word embedding、分布式表示、word2vec、glove等等,这一锅粥的名词术语分别代表什么,他们具体的关系是什么,他们是否处于平级关系?希望写完这篇文章后,自己能清楚地理清他们之间的关系。https://blog.csdn.net...原创 2019-03-03 13:40:49 · 5440 阅读 · 0 评论 -
深度学习——attention机制
一、序列编码目前主流的处理序列问题像机器翻译,文档摘要,对话系统,QA等都是encoder和decoder框架,编码器:从单词序列到句子表示解码器:从句子表示转化为单词序列分布1、第一个基本的思路是 RNN 层RNN 的方案很简单,递归式进行:但是,这种方式会有一个问题:对于长句子的翻译会造成一定的困难,而attention机制的引入可以解决这个问题。(为什么引入注...原创 2019-03-03 17:27:23 · 10055 阅读 · 2 评论 -
机器学习哪些算法需要归一化
机器学习中需要归一化的算法有SVM,逻辑回归,神经网络,KNN,线性回归,而树形结构的不需要归一化,因为它们不关心变量的值,而是关心变量分布和变量之间的条件概率,如决策树,随机森林,对于树形结构,树模型的构造是通过寻找最优分裂点构成的,样本点的数值缩放不影响分裂点的位置,对树模型的结构不造成影响,而且树模型不能进行梯度下降,因为树模型是阶跃的,阶跃是不可导的,并且求导没意义,也不需要归一化。2、...转载 2019-03-09 11:26:33 · 4058 阅读 · 0 评论 -
深度学习——批归一化
深入理解BatchNormalization批标准化 https://blog.csdn.net/ytusdc/article/details/85382518深度学习】对batch Normalization(批归一化)的理解https://blog.csdn.net/qq_36302589/article/details/84939038透彻分析批归一化B...转载 2019-03-09 11:52:38 · 487 阅读 · 0 评论 -
深度学习—— 最小二乘法 & 极大似然估计 & 梯度下降法
一、最小二乘法狭义的最小二乘,指的是在线性回归下采用最小二乘准则(或者说叫做最小平方),进行线性拟合参数求解的、矩阵形式的公式方法。所以,这里的「最小二乘法」应叫做「最小二乘算法」或者「最小二乘方法」,百度百科「最小二乘法」词条中对应的英文为「The least square method」。狭义的最小二乘方法,是线性假设下的一种有全局最优的闭式解的参数求解方法,最终结果为全局最优;而广义...转载 2019-03-07 15:32:30 · 6592 阅读 · 0 评论 -
RF、GBDT、XGboost特征选择重要性计算 或 如何做特征选择的?
RF、GBDT、XGboost都可以做特征选择,属于特征选择中的嵌入式方法。比如在sklearn中,可以用属性feature_importances_去查看特征的重要度, 比如:from sklearn import ensemble#grd = ensemble.GradientBoostingClassifier(n_estimators=30)grd = ensemble.Rand...转载 2019-03-17 20:17:40 · 7287 阅读 · 0 评论