YM的博客

原创 Wind River Linux

Wind River Linux目录Wind River LinuxWind River LinuxWhat Is Embedded Linux?Embedded Linux ArchitectureTypes of Linux Distros for Embedded SystemsThe Key Features of Wind River LinuxThe Core Capabilities of Wind River LinuxCompanion Produc

原创 集成学习-面试思路

集成学习直观上来说达到了三个臭皮匠能抵一个诸葛亮的效果，从机器学习的角度来说，集成学习融合了特征转换和正则化两个特点，通常的机器学习模型只能注重一点，这也是集成学习能达到不错的效果的原因。通常来说要求基学习器都“还行”而且方差尽量大。。 首先最容易想到的方法就是average，如果是分类任务，就vote；如果是回归任务，取平均(证明)，虽然简单但效果通常不错。考虑到不...

原创 SGD,Momentum,Adagard,RMSprop，Adam原理

原创 SLIC 简单线性迭代聚类

优点：SLIC在运行速度、生成超像素的紧凑度、轮廓保持方面都比较理想。步骤：1.初始化聚类中心 2.以种子点为中心在3x3范围内选最小梯度点作为新的聚类中心. 3.确定搜索范围2S*2S，为范围内每个像素点分配标签，期望的像素块大小S*S. 4.距离度量，空间距离和颜色距离 5.迭代优化，直至误差收...

原创 核逻辑回归--kernel logistics regression

基于sklearn实现anova核逻辑回归import numpy as npfrom sklearn.metrics.pairwise import check_pairwise_arraysfrom scipy.linalg import choleskyfrom sklearn.linear_model import LogisticRegressiondef anova_k...

原创 SVM 支持向量机

目录Linear Support Vector Machine线性支持向量机通俗理解函数间隔与几何间隔最大间隔分类器Dual Support Vector Machine 对偶支持向量机引入原因具体推导Kernel Support Vector Machine核函数常见核函数Polynomial KernelGaussian Kernel...

原创 Structure-Texture Image Decomposition—Modeling, Algorithms, and Parameter Selection；图像降解，结构和纹理部分

1.如果已知纹理部分非常结构化，那么TV-L 1方法是最佳选择。2.在定向纹理的情况下或者如果已知纹理的频率估计，并且如果纹理相当平滑，那么TV-Gabor模型是更合适的方法。3.在一般情况下，当没有纹理的先验知识时，我们提倡TV-L 2方法，或者通过TV-G正则化来改进它。原文：https://link.springer.com/article/10.1007/s11263-006-43...

原创 Sketch Tokens: A Learned Mid-level Representation for Contour and Object Detection

论文阅读参考https://blog.csdn.net/seavan811/article/details/46598281

原创 Contour Detection and Hierarchical Image Segmentation

文献阅读参考https://blog.csdn.net/nature_XD/article/details/53375344?locationNum=9&fps=1  源码编译运行https://blog.csdn.net/BlitzSkies/article/details/19686179

原创 目标检测中一些主要的颜色处理方法

一. 在各个颜色通道上应用基于形状的图像描述子，例如SIFT描述子，常见的有HSVsift，Opponentsift和related Csift descriptors。SIFT算子是David G Lowe在2004提出的，即尺度不变特征变换(Scale Invariant Feature Transform)。它是以尺度空间的构造为基础的局部特征描述算子，对于图像的缩放、旋转和放射变换等具...

原创 EM算法

首先我们通过一个小例子来对EM算法有一个大体上的认识。我们要估计一个学校的男女身高分布，我们随机的抽取两百人的身高，且不知道每个人的性别。即我们的样本数据里只含身高。意思我们要在不知道性别的情况下来估计男女的身高分布。我们首先假设男生身高分布服从（μ1，σ1^2）的高斯分布，女生~（μ2，σ2^2）。在此基础上我们来计算每个样本属于每个男女的概率，比如一个身高1.8的样本，将其带入男生的概率密度函...

原创 广义线性模型（GLM）

在线性回归中，y丨x；θ~N（μ，σ^2)。在逻辑回归中，y丨x；θ~Bernoulli（Φ）Φ

原创 LR 逻辑回归 总结

目录LR的两种理解LR的损失函数求解（梯度法，牛顿法，拟牛顿法）梯度下降法：随机梯度下降和批量梯度下降牛顿法：拟牛顿法：逻辑回归用于多分类one-vs-all：one-vs-one:softmax：LR的并行化：LR与最大熵：LR的两种理解直观理解上来说，LR是先通过一个线性回归得到一个score，然后选取某个阈值来二分类，但是这...

原创 集成学习（Ensemble Learning）

n目录Bias and VarianceAggregation ModelsWhy Aggregation?Aggregation Typeparallel methods：sequential methods：Blending and BaggingUniform Blendingfor classificationfor regression...

原创 决策树

常见的决策树有三种，ID3，C4.5，Cart，它们是按照不同的分割指标和分割方法形成的。其中分割指标都是基于信息熵出发而来的。关于熵这方面的知识，可见博客。在决策树中，我们就将信息熵视为度量样本集合的纯度的指标。（1）ID3：以信息增益为准则来选择最优划分属性。 信息增益基于信息熵来计算，简单的说就是用根据某个特征分割前的信息熵来减去分割后的信息熵，这样就能衡量该特征...

原创 GBDT

之前在集成学习(https://blog.csdn.net/yingjiaotuo8368/article/details/79866457)中，我们说了Adaboost有两种理解角度：1.statistical view 2.margin theory 这里就再次介绍下statistical view并由此引出GBDT。在adaboost中的权重更新中，对correct样本和incor...

原创 最大熵模型

1、最大熵思想与最大熵模型 我们平常说的最大熵模型，只是运用最大熵思想的多分类模型，最大熵的思想却是一种通用的思维方法。2、最大熵思想 最大熵的思想是，当你要猜一个概率分布时，如果你对这个分布一无所知，那就猜熵最大的均匀分布，如果你对这个分布知道一些情况(先验知识)，那么，就猜满足这些情况的熵最大的分布。3、运用最大熵思想来做多分类问题...

原创 目标函数，损失函数，代价函数，经验风险，结构风险

损失函数=代价函数，都用于衡量模型拟合的程度。比如：，损失函数越小就代表拟合得越好。关于训练集的平均损失称作经验风险(empirical risk)，即，所以我们的目标就是最小化，称为经验风险最小化。但仅仅经验风险最小化是不行的，这样容易导致过拟合，我们不仅要让经验风险最小化，还要让结构风险最小化。这个时候就定义了一个函数 ，这个函数专门用来度量模型的复杂度，在机器学习中也...