![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
展希希鸿
主要研修计算机视觉方向
展开
-
k近邻算法
一 概述k近邻算法的三个基本要素:k值的选择、距离度量、分类决策规则 k-近邻算法(kNN):给定测试样本,基于某种距离度量找出训练集中与其最靠近的k个训练样本,然后基于这k个“邻居”进行预测。 下面通过一个简单的例子说明一下:如下图,绿色圆要被决定赋予哪个类,是红色三角形还是蓝色四方形?如果K=3,由于红色三角形所占比例为2/3,绿色圆将被赋予红色三角形那个类,如果K=5,由于蓝...原创 2018-08-09 10:04:38 · 269 阅读 · 0 评论 -
batch、batch size与epoch
batch:表示批次。设置过大的批次(batch)大小,可能会对训练时网络的准确性产生负面影响,因为它降低了梯度下降的随机性。Batch 的选择,首先决定的是下降的方向。如果数据集比较小,完全可以采用全数据集 (Full Batch Learning)的形式,这样做至少有 2 个好处:其一,由全数据集确定的方向能够更好地代表样本总体,从而更准确地朝向极值所在的方向。其二,由于不同权...原创 2019-01-10 10:24:45 · 10955 阅读 · 6 评论 -
random walk operation
随机游走理论或随机游走假设是股票市场的数学模型。“随机游走”是一种统计现象,其中变量不遵循可辨别的趋势并且看似随机地移动。原创 2019-02-16 21:12:36 · 164 阅读 · 0 评论 -
模糊集与模糊聚类
数据挖掘讲课任务梳理: 目录西大数据挖掘讲课任务梳理: 模糊集的历史模糊集基本概念模糊集定义隶属函数模糊集的表示方法模糊集的运算模糊集的特性模糊关系模糊逻辑与模糊推理数据挖掘中的模糊方法:模糊聚类模糊集的历史19世纪以前,是传统逻辑的时代,主要是就是亚里士多的的精确数学,后来柏拉图反对这种非此即彼的思维方法,他认为真假之间应该存在...原创 2019-03-15 16:51:18 · 12536 阅读 · 4 评论 -
ID3 与 C4.5
决策树(Decision Tree)是一种基本的分类与回归方法(ID3、C4.5和基于 Gini 的 CART 可用于分类,CART还可用于回归)。决策树在分类过程中,表示的是基于特征对实例进行划分,将其归到不同的类别。决策树的主要优点是模型可读、易于理解、分类速度快、建模与预测速度快。ID3 与 C4.5 ,这两种形式的决策树学习均包括三个步骤:1)特征选择;2)决策树的生成;3...原创 2019-03-26 21:00:50 · 311 阅读 · 0 评论 -
激活函数与优化器算法(BGD、SGD、MBGD、Momentum、NAG、Adagrad、Adadelta、RMSprop、Adam)
目录一、在神经网络中为什么要使用激活函数呢?激活函数:ReLULeaky ReLUSigmoidtanhsoftmax二、优化算法1.批量梯度下降:2.随机梯度下降:3. mini-batch梯度下降:4.改进的梯度下降算法:5.Nesterov Accelerated Gradient ...原创 2019-04-21 21:15:12 · 2460 阅读 · 0 评论 -
常见用的深度学习框架-----Resnet 残差网络
目录Resnet 残差网络为什么提出该网络?什么是残差?网络结构resnet-18 pytorch 代码:参考:Resnet 残差网络深度残差网络(Deep residual network, ResNet)论文地址:https://arxiv.org/abs/1512.03385为什么提出该网络?ResNet在2015年被提出,在ImageNet比赛...原创 2019-04-21 21:48:51 · 2239 阅读 · 0 评论 -
常见用的深度学习框架 ----VGGnet
VGGNet网络VGGNet网络结构论文地址:https://arxiv.org/pdf/1409.1556.pdfVGGNet获得2014年ImageNet亚军,VGG是牛津大学 Visual Geometry Group(视觉几何组)的缩写,以研究机构命名。VGG在AlexNet基础上做了改进,整个网络都使用了同样大小的3*3卷积核尺寸和2*2最大池化尺寸,网络结果简洁。整个网络...原创 2019-04-21 22:22:28 · 1144 阅读 · 0 评论 -
域自适域
如何在这种源域和目标域概率分布不一致的情况下进行学习即为域自适应学习问题. 因此, 域自适应学习的重点在于如何克服源域分布和目标域分布不同, 实现目标域上的学习任务...原创 2019-04-27 22:07:46 · 134 阅读 · 0 评论 -
Siamese Network 孪生网络
孪生网络的用途简单来说,衡量两个输入的相似程度。孪生神经网络有两个输入(Input1 and Input2),将两个输入feed进入两个神经网络(Network1 and Network2),这两个神经网络分别将输入映射到新的空间,形成输入在新的空间中的表示。通过Loss的计算,评价两个输入的相似度。Siamese网络是一种相似性度量方法,当类别数多,但每个类别的样本数量少的情况下可用于类...原创 2019-04-28 17:28:47 · 1014 阅读 · 0 评论 -
Network Embedding 网络表示学习 与 神经网络嵌入
NE 的中心思想就是找到一种映射函数,该函数将网络中的每个节点转换为低维度的潜在表示。传统意义上的 Graph Embedding 被看成是一个降维的过程,而主要的方法包括主成分分析(PCA)和多维缩放(MDS)。所有的方法都可以理解成运用一个 n × k 的矩阵来表示原始的 n × m 矩阵,其中 k << n。另一类流行的降维技术使用可从图中导出的矩阵的光谱特性(例如,特征...原创 2019-04-28 19:52:18 · 987 阅读 · 0 评论 -
PCA简介
PCA简介PCA的思想是将n维特征映射到k维上(k<n),这k维是全新的正交特征。这k维特征称为主成分,是重新构造出来的k维特征,而不是简单地从n维特征中去除其余n-k维特征。https://blog.csdn.net/zhongkelee/article/details/44064401奇异值分解(SVD)当给定一个大小为的矩阵,虽然矩阵不一定是方阵,但大小为的和的却是对...原创 2019-06-19 17:42:36 · 2173 阅读 · 0 评论 -
优化方法总结 Batch Normalization、Layer Normalization、Instance Normalization 及 Group Normalization
目录从 Mini-Batch SGD 说起Normalization 到底是在做什么Batch Normalization 如何做3.1 前向神经网络中的 BN3.2 CNN 网络中的 BN3.3 Batch Norm 的四大罪状局限 1:如果 Batch Size 太小,则 BN 效果明显下降。局限 2:对于有些像素级图片生成任务来说,BN 效果不佳;局限 3...原创 2019-06-03 21:11:29 · 3380 阅读 · 0 评论 -
度量学习方法总结
目录一.距离度量闵可夫斯基距离欧式距离(Euclidean Distance):标准化欧氏距离(Standardized Euclidean distance )曼哈顿距离(ManhattanDistance)切比雪夫距离(Chebyshevdistance)马氏距离马氏距离代码示例:夹角余弦相关系数( Correlation coefficient )...原创 2019-06-22 17:17:14 · 2474 阅读 · 0 评论 -
降维方法总结
目录数据降维方法: 降维:降维的用处:降维方法思想分类:降维方法总览降维方法详细说明1. 缺失值比率(Missing Value Ratio)2. 低方差滤波(Low Variance Filter)3. 高相关滤波(High Correlation filter)4. 随机森林(Random Forest)5. 反向特征消除(Back...原创 2019-06-23 23:17:48 · 9076 阅读 · 0 评论 -
池化的作用
pooling后会让之前的特征维数减少,训练参数减少,泛化能力加强,进而防止过拟合。 其中特征维数的减少并不会让之前的特征丢失。原创 2019-07-03 11:54:13 · 3487 阅读 · 0 评论 -
双线性插值(Bilinear Interpolation)
双线性插值(Bilinear Interpolation) 假设源图像大小为mxn,目标图像为axb。那么两幅图像的边长比分别为:m/a和n/b。注意,通常这个比例不是整数,编程存储的时候要用浮点型。目标图像的第(i,j)个像素点(i行j列)可以通过边长比对应回源图像。其对应坐标为(i*m/a,j*n/b)。显然,这个对应坐标一般来说不是整数,而非整数的坐标是无法在图像这种离散数据上使用...原创 2019-01-11 12:04:45 · 25493 阅读 · 0 评论 -
机器学习中拉普拉斯矩阵、散射矩阵、奇异矩阵、正定矩阵
拉普拉斯矩阵图论的数学领域中的拉普拉斯矩阵(也被称为导纳矩阵,吉尔霍夫矩阵或离散拉普拉斯)是图的矩阵表示。 拉普拉斯矩阵 结合 吉尔霍夫理论 可以用来计算图的最小生成树的个数。拉普拉斯矩阵还可用来寻找图的其他属性:谱图理论spectral graph theory. 黎曼几何的Cheeger不等式有涉及了拉普拉斯矩阵的离散模拟。这或许是谱图理论中最重要的定理也是在算法应用中最有...原创 2018-08-09 10:09:12 · 4161 阅读 · 0 评论 -
机器学习之深度迁移学习(二)
深度学习中使用迁移学习1.深度网络的可迁移性 :finetune虽然神经网络本身就行一个黑盒子,看不见,摸不着,解释性不是很强,但是神经网络具有很好的层级结构,我们可以通过这些层次结构很好的解释网络。有我们熟知的例子:假设一个网络要识别一只猫,那么一开始它只能检测到一些边边角角的东西,和猫 根本没有关系;然后可能会检测到一些线条和圆形;慢慢地,可以检测到有猫的区域;接着 是猫腿、猫脸等等。...原创 2018-10-19 22:31:22 · 4039 阅读 · 0 评论 -
机器学习之迁移学习(一)
一、是什么? 首先,给大家讲一个例子,最近天气变的越来越冷了,那么北京、上海的天气也一样渐渐变冷了。但是我问大家阿根廷的天气怎么样,大家肯定可以根据常识想一下,哎,我们是北半球,天气在变冷,阿根廷是南半球,应该还比我们这边的天气好一点。大家刚刚根据地理常识进行对比思考的过程,也就是我今天要讲的主题:迁移学习。 机器学习解决的是让机器自主地从数据中获取知识,从而应用于...原创 2018-10-17 21:54:19 · 10133 阅读 · 0 评论 -
机器学习基础概念(一)
“无监督学习”是指人们在获得训练的向量数据后在没有标签的情况下尝试找出其内部蕴含关系的一种挖 掘工作,这个过程中使用者除了可能要设置一些必要的超参数( hyper-parameter)以外,不 用对这些样本做任何的标记甚至是过程干预;“有监督学习”与此不同,每一个样本都有着 明确的标签,最后我们只是要总结出这些训练样本向量与标签的映射关系。 所以这在这两 种方式下,处理的逻辑有很大的区...原创 2018-10-17 15:23:13 · 463 阅读 · 0 评论 -
机器学习基础知识(二)
深度神经网络:深度学习实际指的是基于深度神经网络( deep neural networks, DNN)的 学习,也就是深度人工神经网络所进行的学习过程,或称作 Deep Learning。 这个 Deep 指 的是神经网络的深度(层数多)。 TensorFlow 是一个采用数据流图( data flow graphs),用于数值计算的开源软件库。 节 点( nodes)在图中...原创 2018-10-17 15:29:52 · 193 阅读 · 0 评论 -
机器学习之核函数
参考资料参考视频: https://royalsociety.org/science-events-and-lectures/2014/11/milner-lecture/ 英文的http://www.powercam.cc/slide/6552 建议看这个,中文的 http://www.powercam.cc/home.php?user=chli&f=slide&...原创 2018-10-17 15:35:49 · 295 阅读 · 0 评论 -
机器学习之向量空间的基本概念
向量空间:如果在一个空间中,任取若干个向量进行相加或数乘,其计算结果仍然在该空间中,则称这个空间为向量空间。换句话说,向量空间对于相加和数乘运算是封闭的(closed)。 当然,基于向量的广义定义,全部2*2的实数矩阵也是一个向量空间,记作M。子空间:在一个向量空间V中,如果存在一个空间S,其中任取若干个向量进行相加或数乘,其计算结果仍然在空间S中,则该空间S称为向量空间V的子...原创 2018-10-17 15:48:12 · 2974 阅读 · 0 评论 -
优化算法-拉格朗日乘子法
https://blog.csdn.net/shenziheng1/article/details/72990454 解决的问题模型为约束优化问题: min/max a function f(x,y,z), where x,y,z are not independent and g(x,y,z)=0. 即:min/max f(x,y,z) s.t. g(x,y,z)=...原创 2018-10-22 15:51:51 · 1247 阅读 · 0 评论 -
周志华机器学习--Chapter3_公式(3.27)的推导过程
原文链接: https://blog.csdn.net/VictoriaW/article/details/77947535转载 2018-10-21 15:43:03 · 1835 阅读 · 1 评论 -
反向传播算法
标准BP算法:每次都是对每个样本进行更新参数,更新频繁,有时对不同的样本进行参数的更新时,可能出现“抵消”的现象。累积BP算法:每进行完一轮之后再进行更新,直接针对累积误差最小化。、 BP神经网络防止过拟合的方法有:1. 早停法:将数据集分为两个部分,一个部分是训练集,一个部分是验证集。训练集用来计算梯度、更新阈值和连接权。验证集用来估计误差。如果训练集误差降低并且测试集误差提升,...原创 2018-10-24 21:24:24 · 165 阅读 · 0 评论 -
从最大似然到EM算法浅解
从最大似然到EM算法浅解 机器学习十大算法之一:。EM算法能评得上十大之一,让人听起来觉得挺NB的什么是NB啊,我们一般说某个人很NB,是因为他能解决一些别人解决不了的问题。神为什么是神,因为神能做很多人做不了的事。那么EM算法能解决什么问题呢?或者说EM算法是因为什么而来到这个世界上,还吸引了那么多世人的目光。 我希望自己能通俗地把它理解或者说明白,但是,E...转载 2018-11-06 22:35:55 · 178 阅读 · 0 评论 -
孪生网络
https://blog.csdn.net/qq_15192373/article/details/78404761主要看第二个链接https://zhuanlan.zhihu.com/p/35040994 pytorch实现https://www.pytorchtutorial.com/pytorch-one-shot-learning/...原创 2018-11-12 22:14:08 · 1623 阅读 · 0 评论 -
《机器学习》第八章中公式8.3的推导 霍夫丁不等式
霍夫丁不等式(Hoeffding’s inequality),在概率论中,该不等式给出了随机变量的和与其期望值偏差的概率上限。Hoeffding不等式适用于有界的随机变量。设有两两独立的一系列随机变量。假设对所有的,都是几乎有界的变量,即满足:1 独立分布的伯努利随机变量的应用抛硬币时一个硬币A面朝上的概率为p,B面朝上的概率则为1-p。我们抛n次硬币,那么A面朝上次数的期望值为np。...原创 2018-11-08 10:52:23 · 1013 阅读 · 3 评论 -
交叉熵与相对熵(KL散度)
熵的本质是香农信息量 () 的期望。信息熵代表的是随机变量或整个系统的不确定性,熵越大,随机变量或系统的不确定性就越大。熵:可以表示一个事件A的自信息量,也就是A包含多少信息。 KL散度:可以用来表示从事件A的角度来看,事件B有多大不同。 交叉熵:可以用来表示从事件A的角度来看,如何描述事件B。每一个系统都会有一个真实的概率分布,也叫真实分布,根据真实分布,我们能...原创 2018-11-12 16:56:13 · 710 阅读 · 0 评论 -
卷积神经网络( CNN)与全卷积神经网络(FCN)
目录卷积神经网络(CNN)卷积层卷积层尺寸的计算原理标准卷积计算举例1 x 1 卷积计算举例全连接层计算举例附:TensorFlow 中卷积层的简单实现激励层池化层池化层的作用输出层VGG的特点:全卷积网络(FCN)核心思想1.卷积化(convolutionalization) 2.上采样(Upsampling)3.跳跃结构(Sk...原创 2018-08-06 18:26:15 · 13864 阅读 · 2 评论 -
tensorboardX执行过程中报错解决 TypeError: __new__() got an unexpected keyword argument 'serialized_options'
执行下面的语句就可以解决,主要原因是版本不匹配的问题。最终成功运行:原创 2019-07-10 12:11:03 · 3336 阅读 · 0 评论