关闭

XGBoost原理

本文大量参考雪伦大佬的博客 以及wepon大佬的ppt,在此表示感谢!目标函数XGBoost目标函数的定义:L(ϕ)=∑il(y^i,yi)+∑kΩ(fk)whereΩ(f)=γT+12λ||w||2 \mathcal{L}(\phi)=\sum_il(\hat y_i,y_i)+\sum_k\Omega(f_k) \\where\quad\Omega(f)=\gamma T+ \dfrac{1}{...
阅读(33) 评论(0)

局部线性嵌入(LLE)

1、介绍本文参考:http://www.cnblogs.com/pinard/p/6266408.html(1)概述LLE属于流形学习(Manifold Learning)的一种,通常流形理解起来比较抽象,在LLE里,我们可以简单的将流形看做一个不闭合的曲面,类似于下图: 而我们的目的就是将其展开到低维,在上图也就是展开到二维,同时数据的结构特征要能够得到最大程度的保持,这个过程就像两个人将流行曲...
阅读(50) 评论(0)

降维算法(LASSO、PCA、聚类分析、小波分析、线性判别分析、拉普拉斯特征映射、局部线性嵌入)

1、LASSOLASSO全称least absolute shrinkage and selection operator,本身是一种回归方法。与常规回归方法不同的是,LASSO可以对通过参数缩减对参数进行选择,从而达到降维的目的。说到LASSO,就不得不说岭回归,因为LASSO就是针对岭回归不能做参数选择的问题提出来的。关于岭回归的解释,可以参照我的另一篇文章预测数值型数据:回归(二),这里不再赘...
阅读(81) 评论(0)

拉普拉斯特征映射(Laplacian Eigenmaps)

1、介绍拉普拉斯特征映射(Laplacian Eigenmaps)是一种不太常见的降维算法,它看问题的角度和常见的降维算法不太相同,是从局部的角度去构建数据之间的关系。也许这样讲有些抽象,具体来讲,拉普拉斯特征映射是一种基于图的降维算法,它希望相互间有关系的点(在图中相连的点)在降维后的空间中尽可能的靠近,从而在降维后仍能保持原有的数据结构。 本文参考http://blog.csdn.net/xb...
阅读(73) 评论(0)

线性判别分析LDA(Linear Discriminant Analysis)

1、简介大家熟知的PCA算法是一种无监督的降维算法,其在工作过程中没有将类别标签考虑进去。当我们想在对原始数据降维后的一些最佳特征(与类标签关系最密切的,即与yy相关),这个时候,基于Fisher准则的线性判别分析LDA就能派上用场了。注意,LDA是一种有监督的算法。本文参考“JerryLead”的文章线性判别分析(Linear Discriminant Analysis)(一)及线性判别分析(Li...
阅读(35) 评论(0)

常见二叉树基础算法汇总

1、二叉树的深度class Solution { public: int TreeDepth(TreeNode* pRoot) { if(!pRoot){ return 0; } int a = 1+TreeDepth(pRoot->left); int b = 1+TreeDepth(pRoot...
阅读(65) 评论(0)

边缘分布

最近在调研域自适应学习的时候,接触到了分布假设,即源域与目标域的边缘分布和条件分布均不同。条件分布由于用得比较多,大家应该比较熟知;而边缘分布用的比较少,在这里记录下边缘分布的定义,备忘。边缘分布的定义1、定义 1  设F(x,y)F(x,y)为二维随机变量 (X,Y)(X,Y) 的联合分布函数,F(x,y)=P{X≤x,Y≤y}F(x,y)=P\{X\leq x, Y\leq y\},分别称...
阅读(137) 评论(0)

短时傅里叶变换在EEG信号特征提取中的应用(通俗版)

众所周知,傅里叶变换的快速算法FFT可以用来对信号的频域特征进行分析,然而,FFT仅能用于平稳信号的分析,对于非平稳信号,则需要采用短时傅里叶变换(STFT)进行分析。...
阅读(583) 评论(6)

基于EEG信号的情绪分析数据库DEAP论文调研

DEAP数据库包含了对于40个实验,32位受试者的32导联脑电数据,情绪标签(Russell二维情绪空间)由受试者给出,可以用来测试情绪分类算法的有效性。以下调研针对的是2016-2017年采用DEAP数据库进行情感分类的论文。...
阅读(877) 评论(0)

神经网络中的激活函数(activation function)-Sigmoid, ReLu, TanHyperbolic(tanh), softmax, softplus

不管是传统的神经网络模型还是时下热门的深度学习,我们都可以在其中看到激活函数的影子。所谓激活函数,就是在神经网络的神经元上运行的函数,负责将神经元的输入映射到输出端。常见的激活函数包括Sigmoid、TanHyperbolic(tanh)、ReLu、 softplus以及softmax函数。这些函数有一个共同的特点那就是他们都是非线性的函数。那么我们为什么要在神经网络中引入非线性的激活函数呢?引用h...
阅读(3101) 评论(0)

GBDT要点简介

本文摘取网络上一篇文章的要点进行讲解,更多细节在:http://blog.csdn.net/w28971023/article/details/8240756一、什么是GBDT?  GBDT(Gradient Boosting Decision Tree) 是一种迭代的决策树算法,该算法由多棵决策树组成,所有树的结论累加起来作为最终结果。它在被提出之初就和SVM一起被认为是泛化能力(generali...
阅读(417) 评论(0)

经验模式分解(EMD)——简介及Matlab工具箱安装

最近在做脑电信号分析,在导师的建议下学习了一点经验模式分解(下面简称EMD)的皮毛,期间也是遇到了很多问题,在这里整理出来,一是为了自己备忘,二是为了能尽量帮到有需要的朋友。一、EMD简介  经验模态分解(Empirical Mode Decomposition,EMD)法是黄锷(N. E. Huang)在美国国家宇航局与其他人于1998年创造性地提出的一种新型自适应信号时频处理方法,特别适用于非线...
阅读(10947) 评论(51)

关于Python杂七杂八的小东西(搭建Pycharm+Anaconda、删除文档首行小程序、皮尔逊相关系数小程序)

好久没有回来更新博客了,良心难安啊!最近要做脑电信号的分析,由于导出的数据都是文本格式的,就下定决心放弃Matlab,用Python做分析,确实是挺好用的。下面就把我期间用到的杂七杂八的东西列出来,作为备忘和给需要的朋友的参考吧。一、搭建Pycharm+Anaconda  我之前用的是Anaconda自带的Spyder编译器,界面还是很友好的,与Matlab高度相似。我觉得最实用的功能就是可以看得到...
阅读(1215) 评论(0)

预测数值型数据:回归(二)

上次我们留了个两个问题没有仔细说明,一个是局部加权线性回归,另一个是岭回归。今天依次对这两种算法进行说明。一、局部加权线性回归  欠拟合这种问题是仅仅凭借一条直线来对数据点进行拟合的线性回归算法所无法避免的,而解决这种欠拟合问题的方法中,有一种最为简便,称之为局部加权线性回归。顾名思义,局部加权线性回归就是指给被预测点周围的数据点赋以不同的权重,让预测更加注重局部上的趋势而不是整体上的趋势,这样的操...
阅读(793) 评论(1)

预测数值型数据:回归(一)

机器学习算法的基本任务就是预测,预测目标按照数据类型可以分为两类:一种是标称型数据(通常表现为类标签),另一种是连续型数据(例如房价或者销售量等等)。针对标称型数据的预测就是我们常说的分类,针对数值型数据的预测就是回归了。这里有一个特殊的算法需要注意,逻辑回归(logistic regression)是一种用来分类的算法,那为什么又叫“回归”呢?这是因为逻辑回归是通过拟合曲线来进行分类的。也就是说,...
阅读(1251) 评论(0)
58条 共4页1 2 3 4 下一页 尾页
    个人资料
    • 访问:90432次
    • 积分:1459
    • 等级:
    • 排名:千里之外
    • 原创:48篇
    • 转载:10篇
    • 译文:0篇
    • 评论:89条
    文章分类
    最新评论