![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
算法
身体健康,万事如意
这个作者很懒,什么都没留下…
展开
-
xgboost 推导 /原理/公式/
首先要知道booster中四个经典模型,gbdt,lightgboost,xgboost,catboost,具体区别自己百度,各有优缺点。公式xgboost 目标函数目标函数就是损失相关,一般模型都是要使目标函数最小化。xgboost 目标函数由训练损失和正则化项两部分组成,目标定义如下: 前半部分为训练损失,后半部分为树的复杂度是损失函数。是真实值,是预测值,i...原创 2019-11-25 22:30:55 · 352 阅读 · 0 评论 -
XGBoost
原理xbt中的目标函数是有个正则项惩罚复杂模型;将树拆分成结构部分q和叶子部分权重w;构建最优模型的一般方法是最小化训练数据的损失函数,我们用字母 L表示,如下式:式(1)称为经验风险最小化,训练得到的模型复杂度较高。当训练数据较小时,模型很容易出现过拟合问题。因此,为了降低模型的复杂度,常采用下式:其中J(f)为模型的复杂度,式(2)称为结构风险最小化,结构风险最小...原创 2019-04-08 00:20:19 · 445 阅读 · 0 评论 -
GBDT
GBDT创建日期 星期五 05 四月 2019加法模型加法模型 就是求和,也没啥特殊的;这里的求和举个简单的例子就是带权累加求和;其中是权值,是参数前项分布算法我感觉这个就是一个贪心求解的过程,只不过求解的值的和变成了损失函数的值;算法思路就是从前往后异步只学习一个奇函数及其系数,每次取最小值,逐步逼近优化目标函数;负梯度拟合向负梯度方向拟合,在GBD...原创 2019-04-07 20:10:52 · 283 阅读 · 0 评论 -
集成学习与随机森林
集成学习创建日期 星期二 18 十二月 2018首先有个概念,个体学习器,一般是弱学习器,当然强学习器也是可以的;集成学习就是把个体学习器做一次集成,然后对结果进行一次决策,就叫集成学习,举个简单的例子就是,100个人中来吃一包口味一样的糖,然后其中有98个人说是甜的,做个投票,然后就说这包糖是甜的;然后个体学习器中分为强关联的学习器和弱关联学习器,两个不一样,强关联也叫强依赖,意思是...原创 2019-04-04 20:42:15 · 404 阅读 · 0 评论 -
bert
bert创建日期 星期六 23 三月 2019从模型的创新角度看一般,创新不大,但是实验的效果太好了,基本刷新了很多NLP的任务的最好性能,另外一点是BERT具备广泛的通用性,就是说绝大部分NLP任务都可以采用类似的两阶段模式直接去提升效果。与最近的语言表征模型不同,BERT基于所有层中的左、右语境进行联合调整,来预训练深层双向表征。只需要增加一个输出层,就可以对预训练的BERT表征进...原创 2019-03-23 15:24:41 · 921 阅读 · 0 评论 -
Hierarchical Attention Networks
Hierarchical Attention Networks创建日期 星期一 18 三月 2019第一: 利用文档原有的层次结构特性(句子是由单词组成,文档是由句子组成),先使用单词的词向量表示句子,再此基础上以句子向量构建文档的信息表示。第二:在文档中,句子对文档的重要性贡献有差异,在句子中单词对句子的重要性贡献也有差异。而单词和句子的重要性依赖于上下文环境。相同的单词,在不同的上下...原创 2019-03-18 20:09:09 · 725 阅读 · 0 评论 -
基本的Attention原理
基本的Attention原理创建日期 星期一 18 三月 2019注意力机制就是加权求和,将需要重点注意的地方设置大的权重,可以来解决rnn的局限问题;Attention机制最早是在视觉图像领域提出来的,应该是在九几年思想就提出来了,但是真正火起来应该算是google mind团队的这篇论文《Recurrent Models of Visual Attention》[14],他们在RNN...原创 2019-03-18 20:06:51 · 546 阅读 · 0 评论 -
fasttext
fasttext创建日期 星期二 12 三月 2019fasttext 和CBOW模型很像,也是有一层输入层,然后隐藏层然后到输出层;fastText适合与短文本分类;是将所以词语映射成向量,从向量线性变换到特征层,然后从特征层来求最大似然函数;然后从该层映射到标签;FastText= word2vec中 cbow + h-softmax的灵活使用灵活体现在两个方面:模型的输...原创 2019-03-12 20:58:16 · 151 阅读 · 0 评论 -
rnn 循环神经网络
rnn 循环神经网络创建日期 星期四 10 一月 2019rnn为 recurrent natural network, 递归神经网络 是一种基于序列的神经网络,序列可以是时间,文本序列等,和普通的神经网络的不同是rnn不光在层之间有权值,同一个层中每个神经元之间也有权值;但是这个有个缺点是只能有短期记忆,过于长的文本之间的关系可能计算不好,这里就需要lstm;RNN是一种可以预测...原创 2019-03-17 15:29:28 · 523 阅读 · 0 评论 -
卷积神经网络
卷积神经网络创建日期 星期五 15 三月 2019卷积神经网络的特点在于卷积;通俗的来说卷积就是局部扫描,然后进行训练识别,将一个图像卷积,从原来的n维矩阵进行折叠,进行降维操作,然后对其进行全连接加权,池化层等Layers used to build ConvNets卷积神经网络通常包含以下几种层:卷积层(Convolutional layer),卷积神经网路中每层卷积...原创 2019-03-15 22:28:39 · 803 阅读 · 0 评论 -
leetcode-1两数之和
给定一个整数数列,找出其中和为特定值的那两个数。直接两次遍历比较;时间复杂度是o(n2)如果用一个map来存储target-a,来寻找另一数字,随着每次的查找,map中对于每个元素的补数渐渐完整,而在map中查找的不算时间,所以时间复杂度会为o(n);当然要注意要排除本身;int []a=new int[2]; Map<Integer,Integer> map=new ...原创 2018-03-29 16:15:12 · 160 阅读 · 0 评论