![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
牛客
俺 也一样
这个作者很懒,什么都没留下…
展开
-
解决类别不平衡问题
1.在训练样本较多的类别中进行欠采样2.直接基于原数据集进行学习,对预测值进行再缩放处理3.通过对反例中的数据进行插值,来产生额外的反例原创 2019-10-27 12:19:54 · 340 阅读 · 0 评论 -
关于随机森林和Adaboost说法
1.和adaboost相比,随机森林对错误和离群点更鲁棒2.随机森林对每次划分所考虑的属性数很偏感3.Adaboost初始时每个训练元组被赋予相等的权重原创 2019-10-27 12:17:36 · 1679 阅读 · 0 评论 -
降维算法
LASSO 主成分分析法 聚类分析 小波分析法 线性判别法 拉普拉斯特征映射 具体的介绍参考:https://blog.csdn.net/qrlhl/article/details/78067012...原创 2019-10-27 12:09:00 · 86 阅读 · 0 评论 -
隐马尔可夫模型三个基本问题以及相应的算法
针对以下三个问题,人们提出了相应的算法*1 评估问题: 前向算法*2 解码问题: Viterbi算法*3 学习问题: Baum-Welch算法(向前向后算法)原创 2019-10-27 12:06:37 · 1630 阅读 · 0 评论 -
为什么说L2正则化约束了解空间
L2本质是参数解的2阶范数,以二维为例,L2的最优解就是一个圆;如果你还记得话,loss func的组成是两部分一部分是预测值和真实值之间的error,一部分是正则项,前一部分的解空间可以看作是一个梯度下降的等高线,这样一来,loss func的所有局部解就是每层等高线和这个圆之间的切点,所以说约束了解空间。这也是为啥L2会让解平滑,L1会让解稀疏(因为L1的解是一个四个顶点在坐标轴上的正方形...原创 2019-10-27 12:05:12 · 1535 阅读 · 0 评论 -
数据清理中,处理缺失值的方法
由于调查、编码和录入误差,数据中可能存在一些无效值和缺失值,需要给予适当的处理。常用的处理方法有:估算,整例删除,变量删除和成对删除。估算(estimation)。最简单的办法就是用某个变量的样本均值、中位数或众数代替无效值和缺失值。这种办法简单,但没有充分考虑数据中已有的信息,误差可能较大。另一种办法就是根据调查对象对其他问题的答案,通过变量之间的相关分析或逻辑推论进行估计。例如,某一...原创 2019-10-27 12:01:55 · 3460 阅读 · 0 评论 -
线性分类器三大类
线性分类器有三大类:感知器准则函数、SVM、Fisher准则,而贝叶斯分类器不是线性分类器感知器准则函数:代价函数J=-(W*X+w0),分类的准则是最小化代价函数。感知器是神经网络(NN)的基础,网上有很多介绍。SVM:支持向量机也是很经典的算法,优化目标是最大化间隔(margin),又称最大间隔分类器,是一种典型的线性分类器。(使用核函数可解决非线性问题)Fisher准则:更广泛的...原创 2019-10-14 22:02:35 · 1468 阅读 · 0 评论 -
序列模式挖掘算法
1. Apriori算法 :关联分析原始算法,用于从候选项集中发现频繁项集。两个步骤:进行自连接、进行剪枝。缺点:无时序先后性。AprioriAll算法:AprioriAll算法与Apriori算法的执行过程是一样的,不同点在于候选集的产生,需要区分最后两个元素的前后。AprioriSome算法:可以看做是AprioriAll算法的改进AprioriAll算法和AprioriSome算...原创 2019-10-14 21:20:05 · 642 阅读 · 0 评论 -
常见的六种特征选择方法
1)DF(Document Frequency) 文档频率DF:统计特征词出现的文档数量,用来衡量某个特征词的重要性2)MI(Mutual Information) 互信息法互信息法用于衡量特征词与文档类别直接的信息量。如果某个特征词的频率很低,那么互信息得分就会很大,因此互信息法倾向"低频"的特征词。相对的词频很高的词,得分就会变低,如果这词携带了很高的信息量,互信息法就会变...原创 2019-10-14 21:10:45 · 829 阅读 · 0 评论 -
前向、后向算法,Baum-Welch算法,维特比算法
前向、后向算法解决的是一个评估问题,即给定一个模型,求某特定观测序列的概率,用于评估该序列最匹配的模型。Baum-Welch算法解决的是一个模型训练问题,即参数估计,是一种无监督的训练方法,主要通过EM迭代实现;维特比算法解决的是给定 一个模型和某个特定的输出序列,求最可能产生这个输出的状态序列。如通过海藻变化(输出序列)来观测天气(状态序列),是预测问题,通信中的解码问题。...原创 2019-10-14 21:09:44 · 856 阅读 · 0 评论 -
完成命名实体的任务
(1)基于规则的方法。根据语言学上预定义的规则。但是由于语言结构本身的不确定性,规则的制定上难度较大。(2)基于统计学的方法。利用统计学找出文本中存在的规律。 主要有隐马尔可夫(HMM)、条件随机场(CRF)模型和Viterbi算法、支持向量机(Support Vector Machine, SVM)。(3)神经网络。 LSTM+CRF模型,基于R...原创 2019-10-09 08:11:48 · 369 阅读 · 0 评论 -
特征提取算法
特征提取算法分为特征选择和特征抽取两大类特征选择常采用特征选择方法。常见的六种特征选择方法: DF(Document Frequency) 文档频率 DF:统计特征词出现的文档数量,用来衡量某个特征词的重要性 MI(Mutual Information) 互信息法 互信息法用于衡量特征词与文档类别直接的信息量。 如果某个特征词的频率很低,那么互信息得分就会很大,因此互...原创 2019-10-09 08:07:13 · 1657 阅读 · 0 评论 -
AR模型,MA模型,ARMA模型,GARCH模型
AR模型:自回归模型,是一种线性模型.AR模型是一种线性预测,即已知N个数据,可由模型推出第N点前面或后面的数据(设推出P点),所以其本质类似于插值。MA模型:移动平均法模型,其中使用趋势移动平均法建立直线趋势的预测模型ARMA模型:自回归滑动平均模型,拟合较高阶模型.模型参量法高分辨率谱分析方法之一。这种方法是研究平稳随机过程有理谱的典型方法。它比AR模型法与MA模型法有较精确的谱估计及...原创 2019-10-07 15:25:48 · 7688 阅读 · 0 评论 -
牛客刷题错题记录一
当时没理解这是什么意思,这就是吧一棵树转化成二叉树,原来在树中的前序遍历转化到二叉树中的前序遍历...有一个规律:静态链表可以参考:https://blog.csdn.net/hhhhhyyyyy8/article/details/81027728就是把链表放到了数组中,数组的每一个格子都是一个结构体元素,data就是值,cur就是这个节点下一个节...原创 2019-08-26 08:05:10 · 216 阅读 · 0 评论 -
判别式模型与生成模型区别
判别式模型与生成模型区别(引自知乎:https://zhuanlan.zhihu.com/p/30941701)1.判别式模型这么做:我们根据训练数据得到分类函数和分界面,比如说根据SVM模型得到了一个分界面,然后直接计算条件概率,我们将最大的作为新样本的分类。判别式模型不能反映训练数据本身的特性,能力有限,其只能告诉我们分类的类别。2.生成式模型这么做一般我们对每一个类建立一...原创 2019-10-05 19:01:41 · 121 阅读 · 0 评论 -
朴素贝叶斯定理
朴素贝叶斯定理体现了后验概率 P(y|x) 、先验概率 P(y) 、条件概率 P(x|y)之间的关系: P(y|x)=P(x|y)·P(y)/P(x)。朴素贝叶斯之所以叫“朴素”是因为它假设输入的不同特征之间是独立的。构建朴素贝叶斯分类器的步骤如下:1、根据训练样例分别计算每个类别出现的概率P(yi),2、对每个特征属性计算所有划分的条件概率P(xi|yi),3、对每个类别计算...原创 2019-10-05 19:07:58 · 292 阅读 · 0 评论 -
PMF,PDF ,CDF
概率质量函数 (probability mass function,PMF)是离散随机变量在各特定取值上的概率。概率密度函数(probability density function,PDF)是对连续随机变量定义的,本身不是概率,只有对连续随机变量的取值进行积分后才是概率。累积分布函数(cumulative distribution function,CDF) 能完整描述一个实数随...原创 2019-10-05 19:12:03 · 449 阅读 · 0 评论 -
在统计模式识分类问题中,当先验概率未知时,可以使用()?
在贝叶斯决策中,对于先验概率p(y),分为已知和未知两种情况。1. p(y)已知,直接使用贝叶斯公式求后验概率即可;2. p(y)未知,可以使用聂曼-皮尔逊决策(N-P判决)来计算决策面。聂曼-皮尔逊决策(N-P判决)可以归结为找阈值a,即:如果p(x|w1)/p(x|w2)>a,则 x属于w1; 如果p(x|w1)/p(x|w2)<a,则 x属于w2;...原创 2019-10-05 19:25:15 · 2665 阅读 · 0 评论 -
各个算法的损失函数
1、平方和损失函数(square loss):L(yi,f(xi)) = (yi- f(xi))2,常用于回归中如最小二乘,权重可直接初始化,再通过梯度下降不断更新。2、铰链损失函数(Hing loss): L(mi) = max(0,1-mi(w)),常用于SVM中,在SVM损失函数表示为:L(y(i),x(i)) = max(0,1-y(i)f(x(i)))3、对数损失...原创 2019-10-05 19:30:29 · 1093 阅读 · 0 评论 -
LDA 降维 和PCA 降维的区别
LDA用于降维,和PCA有很多相同,也有很多不同的地方,因此值得好好的比较一下两者的降维异同点。首先我们看看相同点:1)两者均可以对数据进行降维。2)两者在降维时均使用了矩阵特征分解的思想。3)两者都假设数据符合高斯分布。我们接着看看不同点:1)LDA是有监督的降维方法,而PCA是无监督的降维方法2)LDA降维最多降到类别数k-1的维数,而PCA没有这个限制。3)L...原创 2019-10-05 19:32:26 · 584 阅读 · 0 评论 -
Adaboost 和 Bagging
Adaboost的目的是从训练数据中学习一系列弱分类器,然后将其按一定权重累加起来得到强分类器。刚开始每个样本对应的权重是相等的,在此样本分布下训练一个基本分类器c1.对于c1错分的样本增加其权重,对正确分类的样本降低其权重。这样使得错分的样本突出出来,并得到一个新的样本分布。同时根据分类情况赋予c1一个权重,表示其重要程度,分类正确率越高权重越大。然后在新的样本分布下对分类器进行...原创 2019-10-05 19:42:08 · 732 阅读 · 0 评论 -
集成学习框图
原创 2019-10-05 19:44:24 · 260 阅读 · 0 评论 -
到底买不买
链接:https://www.nowcoder.com/questionTerminal/2f13c507654b4f878b703cfbb5cdf3a5来源:牛客网小红想买些珠子做一串自己喜欢的珠串。卖珠子的摊主有很多串五颜六色的珠串,但是不肯把任何一串拆散了卖。于是小红要你帮忙判断一下,某串珠子里是否包含了全部自己想要的珠子?如果是,那么告诉她有多少多余的珠子;如果不是,那么告诉她...原创 2019-06-25 12:25:20 · 82 阅读 · 0 评论