不平衡数据的机器学习

不平衡数据的场景出现在互联网应用的方方面面,如搜索引擎的点击预测(点击的网页往往占据很小的比例),电子商务领域的商品推荐(推荐的商品被购买的比例很低),信用卡欺诈检测,网络攻击识别等等。问题定义那么什么是不平衡数据呢?顾名思义即我们的数据集样本类别极不均衡,以二分类问题为例,假设我们的数据集是$S$,数据集中的多数类为$S_maj$,少数类为$S_min$,通常情况下把多数类样本的比例为$100:...
阅读(58) 评论(0)

Sigmod/Softmax变换

http://blog.csdn.net/pipisorry/article/details/77816624Logistic/Softmax变换sigmoid函数/Logistic 函数取值范围为(0,1),它可以将一个实数映射到(0,1)的区间,可以用来做二分类。sigmoid 的导数表达式为: sigmoid 原函数及导数图形如下:Note: 从导数表达式可知,logit梯度最大为0.2...
阅读(290) 评论(0)

深度学习:神经网络中的激活函数

http://blog.csdn.net/pipisorry/article/details/52102805激活函数神经网络神经元中,输入的 inputs 通过加权,求和后,还被作用了一个函数,这个函数就是激活函数 Activation Function。  为什么要用激活函数神经网络中激活函数的主要作用是提供网络的非线性建模能力,如不特别说明,激活函数一般而言是非线性函数。假设一个示例神经网络...
阅读(967) 评论(0)

深度学习:前馈神经网络neural network

http://blog.csdn.net/pipisorry/article/details/76095118前馈神经网络:FFNN模型(feedforward neural network)固定基函数的线性组合构成的回归模型和分类模型。我们看到,这些模型具有一些有用的分析性质和计算性质,但是它们的实际应用被维数灾难问题限制了。为了将这些模型应用于大规模的问题,有必要根据数据调节基函数。一种方法是...
阅读(1934) 评论(9)

回归的线性模型

http://blog.csdn.net/pipisorry/article/details/73770637线性基函数回归模型基函数线性回归模型的最简单的形式也是输入变量的线性函数。但是,通过将一组输入变量的非线性函数进行线性组合,我们可以获得一类更加有用的函数,被称为基函数( basis function )。这样的模型是参数的线性函数,这使得其具有一些简单的分析性质,同时关于输入变量是非线性...
阅读(332) 评论(0)

时间序列分析

http://blog.csdn.net/pipisorry/article/details/62053938时间序列简介时间序列是时间间隔不变的情况下收集的时间点集合。这些集合被分析用来了解长期发展趋势,为了预测未来或者表现分析的其他形式。但是什么时间序列?与常见的回归问题的不同?1、时间序列是跟时间有关的。所以基于线性回归模型的假设:观察结果是独立的。在这种情况下是不成立的。2、随着上升或者下...
阅读(2284) 评论(3)

非参数估计:核密度估计KDE

http://blog.csdn.net/pipisorry/article/details/53635895核密度估计Kernel Density Estimation(KDE)概述密度估计的问题由给定样本集合求解随机变量的分布密度函数问题是概率统计学的基本问题之一。解决这一问题的方法包括参数估计和非参数估计。参数估计参数估计又可分为参数回归分析和参数判别分析。在参数回归分析中,人们假定数据分布...
阅读(7315) 评论(0)

信息论:熵与互信息

http://blog.csdn.net/pipisorry/article/details/51695283这篇文章主要讲:熵, 联合熵(joint entropy),条件熵(conditional entropy),相对熵(relative entropy,KL 距离),互信息(mutual information),交叉熵(cross entropy),困惑度(perplexity)。熵/信...
阅读(17894) 评论(0)

机器学习模型选择:调参参数选择

http://blog.csdn.net/pipisorry/article/details/52902797调参经验好的实验环境是成功的一半由于深度学习实验超参众多,代码风格良好的实验环境,可以让你的人工或者自动调参更加省力,有以下几点可能需要注意:将各个参数的设置部分集中在一起。如果参数的设置分布在代码的各个地方,那么修改的过程想必会非常痛苦。可以输出模型的损失函数值以及训练集和验证集上的准确...
阅读(621) 评论(0)

PGM:贝叶斯网的参数估计

http://blog.csdn.net/pipisorry/article/details/52578631本文讨论贝叶斯网的参数估计问题:贝叶斯网的MLE最大似然估计和贝叶斯估计。假定网络结构是固定的,且假定数据集D包含了网络变量的完全观测实例。参数估计的主要方法有两种:一种基于最大的似然的估计;一种是使用贝叶斯方法。贝叶斯网的MLE参数估计最大似然估计MLE[参数估计:最大似然估计MLE...
阅读(1975) 评论(3)

机器学习模型的评价指标和方法

http://blog.csdn.net/pipisorry/article/details/52574156衡量分类器的好坏对于分类器,或者说分类算法,评价指标主要有precision,recall,宏平均和微平均,F-score,pr曲线,ROC-AUC曲线,gini系数。分类模型的评估 机器学习系统设计系统评估标准Error Metrics for Skewed...
阅读(5808) 评论(0)

数据标准化/归一化normalization

http://blog.csdn.net/pipisorry/article/details/52247379数据的标准化(normalization)和归一化    数据的标准化(normalization)是将数据按比例缩放,使之落入一个小的特定区间。在某些比较和评价的指标处理中经常会用到,去除数据的单位限制,将其转化为无量纲的纯数值,便于不同单位或量级的指标能够进行比较和加权。其中最典型的就...
阅读(25404) 评论(2)

最优化方法:范数和规则化regularization

http://blog.csdn.net/pipisorry/article/details/52108040范数规则化 机器学习中出现的非常频繁的问题有:过拟合与规则化。先简单的来理解下常用的L0、L1、L2和核范数规则化,最后聊下规则化项参数的选择问题。 如何看待规则化项和过拟合从不同角度来看待规则化       1 监督机器学习问题无非就是“minimize your error while...
阅读(4859) 评论(0)

最优化方法:拉格朗日乘数法

解决约束优化问题——拉格朗日乘数法拉格朗日乘数法(Lagrange Multiplier Method)应用广泛,可以学习麻省理工学院的在线数学课程。1. 拉格朗日乘数法的基本思想  作为一种优化算法,拉格朗日乘子法主要用于解决约束优化问题,它的基本思想就是通过引入拉格朗日乘子来将含有n个变量和k个约束条件的约束优化问题转化为含有(n+k)个变量的无约束优化问题。拉格朗日乘子背后的数学意义是其为约...
阅读(4960) 评论(0)

最优化方法:深度学习最优化方法

http://blog.csdn.net/pipisorry/article/details/52135832深度学习最优化算法动量Momentum如果把要优化的目标函数看成山谷的话,可以把要优化的参数看成滚下山的石头,参数随机化为一个随机数可以看做在山谷的某个位置以0速度开始往下滚。目标函数的梯度可以看做给石头施加的力,由力学定律知:F=m∗a,所以梯度(施加的力)与石头下滚的加速度成正比。因而...
阅读(3078) 评论(0)

非负矩阵分解NMF

http://blog.csdn.net/pipisorry/article/details/52098864非负矩阵分解(NMF,Non-negative matrix factorization)NMF的发展及原理  著名的科学杂志《Nature》于1999年刊登了两位科学家D.D.Lee和H.S.Seung对数学中非负矩阵研究的突出成果。该文提出了一种新的矩阵分解思想——非负矩阵分解(Non...
阅读(12900) 评论(8)

参数估计:文本分析的参数估计方法

http://blog.csdn.net/pipisorry/article/details/51482120文本分析的三类参数估计方法-最大似然估计MLE、最大后验概率估计MAP及贝叶斯估计。参数估计参数估计中,我们会遇到两个主要问题:(1)如何去估计参数的value。(2)估计出参数的value之后,如何去计算新的observation的概率,即进行回归分析和预测。首先定义一些符号:数据集X中...
阅读(11742) 评论(2)

参数估计:贝叶斯思想和贝叶斯参数估计

http://blog.csdn.net/pipisorry/article/details/51471222贝叶斯与频率派思想频率派思想    长久以来,人们对一件事情发生或不发生,只有固定的0和1,即要么发生,要么不发生,从来不会去考虑某件事情发生的概率有多大,不发生的概率又是多大。而且事情发生或不发生的概率虽然未知,但最起码是一个确定的值。比如如果问那时的人们一个问题:“有一个袋子,里面装着...
阅读(20747) 评论(1)

参数估计:最大似然估计MLE

http://blog.csdn.net/pipisorry/article/details/51461997最大似然估计MLE顾名思义,当然是要找到一个参数,使得L最大,为什么要使得它最大呢,因为X都发生了,即基于一个参数发生的,那么当然就得使得它发生的概率最大。最大似然估计就是要用似然函数取到最大值时的参数值作为估计值,似然函数可以写做相乘因为它们之间是独立同分布的。由于有连乘运算,通常对似然...
阅读(11397) 评论(0)

偏置方差分解Bias-variance Decomposition

http://blog.csdn.net/pipisorry/article/details/50638749偏置-方差分解(Bias-Variance Decomposition)偏置-方差分解(Bias-Variance Decomposition)是统计学派看待模型复杂度的观点。Bias-variance 分解是机器学习中一种重要的分析技术。给定学习目标和训练集规模,它可以把一种学习算法的期...
阅读(2648) 评论(2)
38条 共2页1 2 下一页 尾页
    个人资料
    • 访问:2595739次
    • 积分:25335
    • 等级:
    • 排名:第248名
    • 原创:534篇
    • 转载:30篇
    • 译文:5篇
    • 评论:245条
    Welcome to 皮皮blog~

    博客专栏
    最新评论