![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
身体健康,万事如意
这个作者很懒,什么都没留下…
展开
-
xgboost 推导 /原理/公式/
首先要知道booster中四个经典模型,gbdt,lightgboost,xgboost,catboost,具体区别自己百度,各有优缺点。公式xgboost 目标函数目标函数就是损失相关,一般模型都是要使目标函数最小化。xgboost 目标函数由训练损失和正则化项两部分组成,目标定义如下: 前半部分为训练损失,后半部分为树的复杂度是损失函数。是真实值,是预测值,i...原创 2019-11-25 22:30:55 · 352 阅读 · 0 评论 -
关于xgboost gpu版本 linux下安装 各种坑
一般按照官网来安装就行https://xgboost.readthedocs.io/en/latest/build.html如果安装到make -j4出错,那是因为你的驱动版本不对,或者cuda版本和驱动版本冲突的问题实在编译不了了,请将cuda升级到10,并把对应驱动安好,然后直接下载编译好的xgboost1.0版本,亲测好使。而且,其实gpu版本快不了多少,除非你gpu真的多。...原创 2019-11-20 12:01:51 · 618 阅读 · 0 评论 -
卷积神经网络
卷积神经网络创建日期 星期五 15 三月 2019卷积神经网络的特点在于卷积;通俗的来说卷积就是局部扫描,然后进行训练识别,将一个图像卷积,从原来的n维矩阵进行折叠,进行降维操作,然后对其进行全连接加权,池化层等Layers used to build ConvNets卷积神经网络通常包含以下几种层:卷积层(Convolutional layer),卷积神经网路中每层卷积...原创 2019-03-15 22:28:39 · 803 阅读 · 0 评论 -
rnn 循环神经网络
rnn 循环神经网络创建日期 星期四 10 一月 2019rnn为 recurrent natural network, 递归神经网络 是一种基于序列的神经网络,序列可以是时间,文本序列等,和普通的神经网络的不同是rnn不光在层之间有权值,同一个层中每个神经元之间也有权值;但是这个有个缺点是只能有短期记忆,过于长的文本之间的关系可能计算不好,这里就需要lstm;RNN是一种可以预测...原创 2019-03-17 15:29:28 · 523 阅读 · 0 评论 -
fasttext
fasttext创建日期 星期二 12 三月 2019fasttext 和CBOW模型很像,也是有一层输入层,然后隐藏层然后到输出层;fastText适合与短文本分类;是将所以词语映射成向量,从向量线性变换到特征层,然后从特征层来求最大似然函数;然后从该层映射到标签;FastText= word2vec中 cbow + h-softmax的灵活使用灵活体现在两个方面:模型的输...原创 2019-03-12 20:58:16 · 151 阅读 · 0 评论 -
基本的Attention原理
基本的Attention原理创建日期 星期一 18 三月 2019注意力机制就是加权求和,将需要重点注意的地方设置大的权重,可以来解决rnn的局限问题;Attention机制最早是在视觉图像领域提出来的,应该是在九几年思想就提出来了,但是真正火起来应该算是google mind团队的这篇论文《Recurrent Models of Visual Attention》[14],他们在RNN...原创 2019-03-18 20:06:51 · 546 阅读 · 0 评论 -
Hierarchical Attention Networks
Hierarchical Attention Networks创建日期 星期一 18 三月 2019第一: 利用文档原有的层次结构特性(句子是由单词组成,文档是由句子组成),先使用单词的词向量表示句子,再此基础上以句子向量构建文档的信息表示。第二:在文档中,句子对文档的重要性贡献有差异,在句子中单词对句子的重要性贡献也有差异。而单词和句子的重要性依赖于上下文环境。相同的单词,在不同的上下...原创 2019-03-18 20:09:09 · 725 阅读 · 0 评论 -
bert
bert创建日期 星期六 23 三月 2019从模型的创新角度看一般,创新不大,但是实验的效果太好了,基本刷新了很多NLP的任务的最好性能,另外一点是BERT具备广泛的通用性,就是说绝大部分NLP任务都可以采用类似的两阶段模式直接去提升效果。与最近的语言表征模型不同,BERT基于所有层中的左、右语境进行联合调整,来预训练深层双向表征。只需要增加一个输出层,就可以对预训练的BERT表征进...原创 2019-03-23 15:24:41 · 921 阅读 · 0 评论 -
集成学习与随机森林
集成学习创建日期 星期二 18 十二月 2018首先有个概念,个体学习器,一般是弱学习器,当然强学习器也是可以的;集成学习就是把个体学习器做一次集成,然后对结果进行一次决策,就叫集成学习,举个简单的例子就是,100个人中来吃一包口味一样的糖,然后其中有98个人说是甜的,做个投票,然后就说这包糖是甜的;然后个体学习器中分为强关联的学习器和弱关联学习器,两个不一样,强关联也叫强依赖,意思是...原创 2019-04-04 20:42:15 · 404 阅读 · 0 评论 -
GBDT
GBDT创建日期 星期五 05 四月 2019加法模型加法模型 就是求和,也没啥特殊的;这里的求和举个简单的例子就是带权累加求和;其中是权值,是参数前项分布算法我感觉这个就是一个贪心求解的过程,只不过求解的值的和变成了损失函数的值;算法思路就是从前往后异步只学习一个奇函数及其系数,每次取最小值,逐步逼近优化目标函数;负梯度拟合向负梯度方向拟合,在GBD...原创 2019-04-07 20:10:52 · 283 阅读 · 0 评论 -
XGBoost
原理xbt中的目标函数是有个正则项惩罚复杂模型;将树拆分成结构部分q和叶子部分权重w;构建最优模型的一般方法是最小化训练数据的损失函数,我们用字母 L表示,如下式:式(1)称为经验风险最小化,训练得到的模型复杂度较高。当训练数据较小时,模型很容易出现过拟合问题。因此,为了降低模型的复杂度,常采用下式:其中J(f)为模型的复杂度,式(2)称为结构风险最小化,结构风险最小...原创 2019-04-08 00:20:19 · 445 阅读 · 0 评论 -
pytorch-1
什么是pytorch这个就是一个框架,是twitter开源的吧,和tensorflow类似,就是把python代码进行封装,还封装了各种库,使得你计算和创建神经网络这些通过它的方式可以更加快速;主要特点和功能混合前端新的混合前端在急切模式和图形模式之间无缝转换,以提供灵活性和速度。分布式培训通过torch.distributed后端实现可扩展的分布式培训和研究与生产中的性...原创 2019-05-11 17:37:08 · 126 阅读 · 0 评论 -
深度学习优化
深度学习优化创建日期 星期一 11 三月 2019、学习与纯优化有什么不同2、神经网络优化中的挑战3、基本算法4、自适应学习率算法5 、优化策略与元算法学习与纯优化差别1、机器学习算法的目标是降低泛化误差,即J∗(θ)=E(x,y)→pdataL(f(x;η),y)J∗(θ)=E(x,y)→pdataL(f(x;η),y),但事实上pdata我们不知道,我们只知道训练...原创 2019-03-11 19:31:15 · 246 阅读 · 0 评论 -
神经网络
神经网络创建日期 星期三 12 十二月 2018神经网络来源于模拟人类的神经元;使用激活函数,来进行阶跃,神经网络的每一层的个数被称为宽度,总层数被称为深度;每一层的激活函数必须一样?一般来说,神经网络由线性函数和非线性函数组成,线性函数用于层与层之间的传递,而非线性函数一般用来作为激活函数;简单来说,可以把这些看做是带权笛卡尔积,这些权值都是未知数,然后从这些开始进行权值的求值,...原创 2019-03-11 19:10:58 · 257 阅读 · 0 评论 -
互信息和点互信息
互信息和点互信息创建日期 星期四 07 三月 2019点互信息PMI(Pointwise Mutual Information)点互信息就是很亮两个失误的相关性,在概率论中,我们知道,如果x跟y不相关,则p(x,y)=p(x)p(y)。二者相关性越大,则p(x, y)就相比于p(x)p(y)越大。用后面的式子可能更好理解,在y出现的情况下x出现的条件概率p(x|y)除以x本身出现...原创 2019-03-07 21:55:49 · 1495 阅读 · 0 评论 -
机器学习-2 监督学习
m=training examplesx=input (feature)y=output (target)(x,y)代表一个训练样本Ti=(xi,yi)trainingset->training algorithm->output function h (hypothesis 假设)h function 输入一个房子的面积,输出一个预计的房价;h将x映射至y;一般需要输入...原创 2018-03-30 19:27:12 · 122 阅读 · 0 评论 -
关于分类与回归
分类主要分出的是离散值,回归是一个量化的连续值,根据类别的固定和不固定,可以是聚类和分类,而回归就是回归;只不过同一个算法可以用来做分类或者是回归;...原创 2018-08-09 14:23:32 · 210 阅读 · 0 评论 -
GDBT
GBDT每次迭代的结果都是去训练前一次迭代的误差,然后最后通过权值求和;还有迭代次数其实是跟你的特征类型有点关系的;原创 2018-08-14 16:06:51 · 198 阅读 · 0 评论 -
数据加载(python,spark)
数据加载创建日期 星期五 01 三月 2019这一章写一下数据加载的东西一般就是python加载或者jiava,scala加载java加载都很熟悉,就是流加载inputstream outputstream之类的python加载普通加载f = open(’test.txt','r') # 返回一个文件对象line = f.readline() # 调用文件的 readline...原创 2019-03-01 21:47:59 · 188 阅读 · 0 评论 -
文本分类pytorch和tensorflow版探究
pytorch探究采用thucnews数据子集tensorflow使用tensorflow官网例子,数据集下载很慢,需要vpn;cnews那个例子我是用的是rnn模型,gru;#!/usr/bin/python# -*- coding: utf-8 -*-import tensorflow as tfclass TRNNConfig(object): """RNN配...原创 2019-03-02 21:01:42 · 373 阅读 · 0 评论 -
准确率,精确率,召回率
准确率(accuracy),精确率(precision),召回率(recall)准确率,分类正确占所有分类的占比精确率,正确检索占所有实际检索到的占比召回率,预测的样本占该类应该被预测的数量的占比...原创 2019-03-02 21:02:27 · 195 阅读 · 0 评论 -
word2vec
word2vec创建日期 星期二 05 三月 2019word2vec,是用来训练词向量来做nlp的;google团队在2013年发表了word2vec工具,主要包含两个模型跳字模型(skip-gram) 连续词袋模型(CBOW)以及两种高效训练方法负抽样(negative sampling)和层序 (softmax)使用word2vec就可以比较好的表达不同次之间的相似和类比...原创 2019-03-05 21:05:07 · 223 阅读 · 0 评论 -
TF-IDF
TF-IDF(Term Frequency-Inverse Document Frequency, 词频-逆文件频率)简单介绍一下就是词出现的频率在特定文章中出现的次数越多,在所有文档中出现的次数越少,越能代表文章;就是特定文档出现的词作为该文档的代表;词频一般都会被归一化,防止长文档中词出现的数量多但是占比不如短文本中的词频;但是不一定词频越高了就越好,有些词对于主题原本就没有什么...原创 2019-03-05 21:06:22 · 106 阅读 · 0 评论 -
svm
svm就是建立超平面,来进行分类,划分,而最优的划分和超平面到分类元素的最近距离;# -*- coding:UTF-8 -*-import matplotlib.pyplot as pltimport numpy as npimport random"""函数说明:读取数据Parameters: fileName - 文件名Returns: dataMat ...原创 2019-03-08 15:13:14 · 149 阅读 · 0 评论 -
LDA和PLSA
pLSA的总结1)pLSA应用于信息检索、过滤、自然语言处理等领域,pLSA考虑到词分布和主题分布,使用EM算法来学习参数。2) 虽然推导略显复杂,但最终公式简洁清晰,很符合直观理解,需用心琢磨;此外,推导过程使用了EM算法,也是学习EM算法的重要素材。二、LDA(1)共轭先验分布1)由于x为给定样本,P(x)有时被称为“证据”,仅仅是归一化因子,如果不关心P(θ|x)的具体...原创 2019-03-08 15:13:59 · 533 阅读 · 0 评论 -
关于pip打开失败,python版本问题 ModuleNotFoundError: No module named 'distutils.util'
当我改变python3的软连接从3.7改为3.6时发生了以下错误Traceback (most recent call last): File "/usr/local/bin/pip3", line 7, in <module> from pip._internal import main File "/usr/local/lib/python3.6/dist-pa...原创 2019-03-03 18:41:41 · 5538 阅读 · 0 评论 -
机器学习-1 概述
监督学习,则是有监督算法的学习,是给算法提供了一组标准的答案,来练习和标准值类似的预测值,有曲线的为回归;另一种为分类,也是一种监督学习,使用特征值来分类,基于多种特征,多维,但是当数据不能多维表现时,所以会涉及到将多维数据映射到二维,三维中;无监督学习,通常是聚类分析来告诉我们这些数据有什么特殊的结构,来达到另一种分割,可以解决计算机视觉的一些东西,比如百度地图中的3D图片;强化学习,回报学习,...原创 2018-03-30 15:00:46 · 136 阅读 · 0 评论