- 博客(343)
- 资源 (36)
- 收藏
- 关注
原创 机器学习:向量空间中的投影
今天介绍向量空间中的投影,以及投影矩阵。假设空间中有两个向量 a,b\mathbf{a}, \mathbf{b}a,b,b\mathbf{b}b 在 a\mathbf{a}a 上的投影为 p\mathbf{p}p,我们要计算出 p\mathbf{p}p 到底是多少,如下图所示:为了计算 p\mathbf{p}p,我们可以先假设 p=xa\mathbf{p} = x \mathbf{a}p=x...
2018-11-18 21:36:06 14313 1
原创 机器学习:几种分类识别问题
分类和识别是机器学习领域非常常见的一类问题,比如之前非常火热的 ImageNet 挑战赛,还有人脸识别,人脸表情识别等,接触机器学习的一般来说,都是从识别开始,因为识别比较简单直观,而且大家都对目前识别领域比较常见的几个数据集比如 MNIST, CIFAR-10, CIFAR-100 还有 ImageNet 等都比较熟悉了,这些都是为了解决分类识别问题而设计的数据集。随着深度学习的蓬勃发展,在分...
2018-11-04 20:56:12 10912 3
原创 机器学习:VAE(Variational Autoencoder) 模型
VAE 模型是一种有趣的生成模型,与GAN相比,VAE 有更加完备的数学理论(引入了隐变量),理论推导更加显性,训练相对来说更加容易。VAE 可以从神经网络的角度或者概率图模型的角度来解释。VAE 全名叫 变分自编码器,是从之前的 auto-encoder 演变过来的,auto-encoder 也就是自编码器,自编码器,顾名思义,就是可以自己对自己进行编码,重构。所以 AE 模型一般都由两部分...
2018-11-03 09:53:04 43093
原创 机器学习:Clustering by fast search and find of density peaks
聚类算法,作为机器学习里常用的一种无监督方法,一直以来都受到很大的关注,聚类算法,简单来说就是希望把同一类的样本或者样本聚到一起,比如说常见的图像分类,我们希望猫的图片能聚到一起,狗的图片能聚到一起,不希望猫和狗的图片混在一起。聚类算法发展到现在,已经有了很多不同的算法,常见的比如 K-means 就是比较经典的一种聚类算法。今天介绍发表在 science 2014 上的一篇文章,Cluste...
2018-09-19 20:05:18 9644 2
原创 浅谈矩阵空间
在谈矩阵空间之前,我们先来看看常见的一个线性方程组的问题:Ax=bAx=b \mathbf{A} \mathbf{x} = \mathbf{b} 其中,A∈Rm×nA∈Rm×n \mathbf{A} \in \mathbf{R}^{m \times n} , x∈Rnx∈Rn \mathbf{x} \in \mathbf{R}^{n} , b∈Rnb∈Rn \mathbf{b} \...
2018-09-12 19:43:53 7430 3
原创 浅谈向量空间
以前学线性代数的时候,总是被各种各样的定义和概念搞得晕头转向,现在接触机器学习多了,发现有些概念比如投影,空间,以及子空间经常出现,最近自己又重新翻了一下 MIT 的那边 线性代数导论,重新学习了一下这些概念。线性代数是研究向量和矩阵的一门数学,矩阵也是向量构成的,所以线性代数主要是研究向量,向量空间以及向量线性组合性质的一门科学。我们很早就接触到了向量这个东西,向量也称为矢量,是一种有方...
2018-09-09 16:46:22 15079 6
原创 浅谈贝叶斯 (一)
一直都觉得贝叶斯定理是个非常神奇的东西,以前总是被什么先验概率,后验概率,最大似然估计什么的搞得昏头转向的,让人摸不着北,总感觉贝叶斯定理有点违反直觉, 但是生活中却又经常会遇到。相信很多人对下面这样的问题一定不感到陌生:假设有两个盒子,我们姑且称为 A 和 B, A 盒子里有 4 个红球,6 个绿球,B 盒子里有 2 个红球,8 个绿球。我们从 A 盒子 或者 B 盒子里取出一个球,记录...
2018-08-27 20:41:05 1923
原创 Tensorflow dataset API 的使用
Tensorflow 作为深度学习最流行的框架之一,对于初学者来说,其数据处理的 API 其实并不算友好,从早期的 feed dic, 到后来的 tf-record, 再到现在的 dataset, 这个框架的高度封装造成了其很多 API 的高度抽象, 今天介绍 TensorFlow 里,比较快速便捷的一种数据处理 API, dataset API。使用 Dataset 一般包含以下几个方面:...
2018-08-22 20:18:40 1494 2
翻译 机器视觉:MobileNet 和 ShuffleNet
虽然很多CNN模型在图像识别领域取得了巨大的成功,但是一个越来越突出的问题就是模型的复杂度太高,无法在手机端使用,为了能在手机端将CNN模型跑起来,并且能取得不错的效果,有很多研究人员做了很多有意义的探索和尝试,今天就介绍两个比较轻量级的模型 mobile net 和 shuffle net。...
2018-07-30 20:46:56 1799
翻译 机器视觉:SSD Single Shot MultiBox Detector
今天介绍目标检测中非常著名的一个框架 SSD,与之前的 R-CNN 系列的不同,而且速度比 YOLO 更快。 SSD 的核心思想是将不同尺度的 feature map 分成很多固定大小的 box,然后对每个 box 做预测,既要预测该 box 所包含的 object 属于哪一类,也要预测该 box 与真实的 box 之间的偏差。 为了获得更高的检测精度,SSD 利用了多尺度的技巧,既利用了不同...
2018-07-27 21:01:40 868
原创 机器学习: K-means 聚类
今天介绍机器学习里常见的一种无监督聚类算法,K-means。我们先来考虑在一个高维空间的一组数据集,S={x1,x2,...,xN}S={x1,x2,...,xN} S = \{ \mathbf{x}_1, \mathbf{x}_2, ... , \mathbf{x}_N \} , x∈RDx∈RD \mathbf{x} \in \mathbb{R}^D ,假设我们需要把这组数据聚集长 KK K...
2018-06-22 19:27:02 526
原创 机器学习:Kullback-Leibler Divergence (KL 散度)
今天,我们介绍机器学习里非常常用的一个概念,KL 散度,这是一个用来衡量两个概率分布的相似性的一个度量指标。我们知道,现实世界里的任何观察都可以看成表示成信息和数据,一般来说,我们无法获取数据的总体,我们只能拿到数据的部分样本,根据数据的部分样本,我们会对数据的整体做一个近似的估计,而数据整体本身有一个真实的分布(我们可能永远无法知道),那么近似估计的概率分布和数据整体真实的概率分布的相似度,或者...
2018-06-03 08:37:27 42077 6
翻译 机器学习: 共轭梯度算法(PCG)
今天介绍数值计算和优化方法中非常有效的一种数值解法,共轭梯度法。我们知道,在解大型线性方程组的时候,很少会有一步到位的精确解析解,一般都需要通过迭代来进行逼近,而 PCG 就是这样一种迭代逼近算法。我们先从一种特殊的线性方程组的定义开始,比如我们需要解如下的线性方程组:Ax=bAx=b \mathbf{A} \mathbf{x} = \mathbf{b} 这里的 A(n×n)A...
2018-06-02 19:13:21 20232 5
翻译 python perlin noise
python 利用 noise 生成纹理。# -*- coding: utf-8 -*-"""Created on Mon Apr 23 20:04:41 2018@author: shiyi"""import random, mathimport cv2import numpy as np"""Texture generation using Perlin noise...
2018-04-23 20:13:40 1715 1
翻译 scikit-learn 学习笔记-- Generalized Linear Models (三)
Bayesian regression前面介绍的线性模型都是从最小二乘,均方误差的角度去建立的,从最简单的最小二乘到带正则项的 lasso,ridge 等。而 Bayesian regression 是从 Bayesian 概率模型的角度出发的,虽然最后也会转换成一个能量函数的形式。从前面的线性模型中,我们都假设如下的关系: y=wxy=wx y =\mathbf{ w} \math...
2018-04-05 10:13:59 611
翻译 scikit-learn 学习笔记-- Generalized Linear Models (二)
Lasso regression今天介绍另外一种带正则项的线性回归, ridge regression 的正则项是二范数,还有另外一种是一范数的,也就是lasso 回归,lasso 回归的正则项是系数的绝对值之和,这种正则项会让系数最后变得稀疏:minw12N∥Xw−y∥22+α∥w∥1minw12N‖Xw−y‖22+α‖w‖1 min_{w} \frac{1}{2N} \left ...
2018-04-01 19:47:33 816
翻译 scikit-learn 学习笔记-- Generalized Linear Models (一)
scikit-learn 是非常优秀的一个有关机器学习的 Python Lib,包含了除深度学习之外的传统机器学习的绝大多数算法,对于了解传统机器学习是一个很不错的平台。每个算法都有相应的例子,既可以对算法有个大概的了解,而且还能熟悉这个工具包的应用,同时也能熟悉 Python 的一些技巧。Ordinary Least Squares我们先来看看最常见的线性模型,线性回归是机器学习里很...
2018-03-23 21:23:36 1402
原创 机器视觉:Convolutional Neural Networks, Receptive Field and Feature Maps
CNN 大概是目前 CV 界最火爆的一款模型了,堪比当年的 SVM。从 2012 年到现在,CNN 已经广泛应用于CV的各个领域,从最初的 classification,到现在的semantic segmentation, object detection,instance segmentation,super resolution 甚至 optical flow 都能看的其身影。还真是,无所不能
2018-02-04 11:33:13 1225
原创 Image Pyramid (二)
上一篇文章里,我们介绍了图像金字塔的基本原理,就是一种分层次的下采样。这篇文章里我们简单介绍一下图像金字塔的一种应用,image blending。利用图像金字塔做 image blending,可以让图像的连接处过渡非常自然,类似一种无缝连接。image blending 其实也是基于高斯金字塔和拉普拉斯金字塔实现的。利用一些事先定义好的mask。比如下面的代码: # -*- codin
2018-01-27 19:30:03 1569 1
原创 Image Pyramid
今天我们介绍图像处理邻域中比较常用的一种方法,image pyramid, 也叫图像金字塔。就是将图像进行一层一层的下采样,图像金字塔是为了构建图像的多尺度,让模型能够更好的适应图像的尺度变化,图像金字塔可以广泛应用于图像识别,目标检测,还有光流配准,块匹配都能看到它的身影。图像金字塔主要有两种,一种是高斯金字塔,gaussian pyramid,另外一种是拉普拉斯金字塔,Laplacian Py
2018-01-25 20:11:35 3695
原创 机器学习:YOLO for Object Detection (二)
之前介绍了 YOLO-v1 单纯的利用一个卷积网络完成了目标检测,不过 YOLO-v1 虽然速度很快,但是比起其他的网络比如 Fast R-CNN 检测的准确率还是差不少,所以作者又提出了改良版的 YOLO-v2, 作者也明确说了,YOLO-v2 也是借鉴了其他网络的一些经验,针对 YOLO-v1 进行了改良。从论文来看,作者都没有给出新的网络结构图,大概网络的基本结构还是没有太多的变化,不过就是
2018-01-19 19:48:54 739
原创 2017 年度读书总结
2017 年度读书总结过去的一年,终于结束了多年的求学生涯,迈入了职场,比起学生时代的悠闲自由,在公司工作的生活要更加紧凑匆忙,每天中午午睡前,晚上睡觉前还是会看会书,多年养成的习惯,大概很难改的吧。这一年没读多少正经书,基本都是科幻小说居多,做个总结,回顾一下。《遥远的救世主》—— 一个商界奇才与一个小城姑娘的传奇故事。个人评分四星。《阴阳师》—— 这个让我想起孔夫子先生的一句话
2018-01-05 19:24:59 1906
翻译 机器学习:YOLO for Object Detection (一)
最近看了基于CNN的目标检测另外两篇文章,YOLO v1 和 YOLO v2,与之前的 R-CNN, Fast R-CNN 和 Faster R-CNN 不同,YOLO 将目标检测这个问题重新回到了基于回归的模型。YOLO v1 是一个很简单的 CNN 网络,YOLO v2 是在第一版的基础上,借鉴了其他几种检测网络的一些技巧,让检测性能得到大幅提升。下面分别介绍一下这两个网络:YOLO v1YOL
2017-12-24 09:31:20 1812
原创 机器学习: R-CNN, Fast R-CNN and Faster R-CNN
做语义分割的大概都知道这几篇文章了,将一个传统的计算机视觉模型,用CNN一点一点的替换,直到最后构建了一个完整的基于CNN的端到端的模型。这几篇文章有一定的连贯性。从中可以看到一种研究的趋势走向。上一篇文章里介绍过,Selective Search for Object Recognition,这篇 paper 发表于 2013 年,是一个传统的基于特征提取加分类识别的模型,这个模型主要分成三个部分
2017-12-13 21:13:47 1559
翻译 机器学习:Selective Search for Object Recognition
今天介绍 IJCV 2013 年的一篇文章,Selective Search for Object Recognition,这个是后面著名的DL架构 R-CNN 的基础,后续介绍 R-CNN 的时候,会发现 R-CNN 和这篇文章里介绍的算法非常类似。做模式识别的人都知道,目标识别与目标检测是两个不同的东西,目标检测比目标识别要难得多,目标识别可以看做是一个分类问题,给定一张测试图,我们只要判断这张
2017-12-08 21:40:08 914
原创 机器学习:simple linear iterative clustering (SLIC) 算法
图像分割是图像处理,计算机视觉领域里非常基础,非常重要的一个应用。今天介绍一种高效的分割算法,即 simple linear iterative clustering (SLIC) 算法,顾名思义,这是一种简单的迭代聚类算法,这个算法发表于 2012 年的 PAMI 上。SLIC 算法有几个关键点, 1: 图像分割块的初始化,每一个图像块都是一个聚类,聚类的中心称为 superpixel,聚
2017-12-04 20:42:49 10338 1
翻译 机器学习: Logistic Regression--python
今天介绍 logistic regression,虽然里面有 regression 这个词,但是这其实是一种分类的方法,这个分类方法输出的也是 0-1 之间的一个数,可以看成是一种概率输出,这个分类器利用一种 BP 迭代和随机梯度下降的方法来训练求得参数和建立分类模型。首先来看看这个分类器用到的主要函数,即 sigmoid 函数:y=σ(x)=11+e−x y = \sigma (x) = \fr
2017-11-18 15:23:45 974
翻译 机器学习:朴素贝叶斯--python
今天介绍机器学习中一种基于概率的常见的分类方法,朴素贝叶斯,之前介绍的KNN, decision tree 等方法是一种 hard decision,因为这些分类器的输出只有0 或者 1,朴素贝叶斯方法输出的是某一类的概率,其取值范围在 0-1 之间,朴素贝叶斯在做文本分类,或者说垃圾邮件识别的时候非常有效。朴素贝叶斯就是基于我们常用的贝叶斯定理:p(x|y)=p(y|x)p(x)p(y) p(x|
2017-11-18 09:17:29 926
翻译 机器学习:决策树--python
今天,我们介绍机器学习里比较常用的一种分类算法,决策树。决策树是对人类认知识别的一种模拟,给你一堆看似杂乱无章的数据,如何用尽可能少的特征,对这些数据进行有效的分类。决策树借助了一种层级分类的概念,每一次都选择一个区分性最好的特征进行分类,对于可以直接给出标签 label 的数据,可能最初选择的几个特征就能很好地进行区分,有些数据可能需要更多的特征,所以决策树的深度也就表示了你需要选择的几种特征。在
2017-11-13 21:52:52 901
翻译 机器学习:Colorization using Optimization
今天介绍 Siggraph 2004 年的一篇文章: Colorization using Optimization,利用优化的方法对灰度图像进行着色,这里用到了非常经典的泊松方程以及稀疏矩阵的线性优化。简单来说,就是对一张灰度图像先人为地进行着色,然后利用优化的方法,对其他的没有颜色的区域进行填充。这些处理都是在 YUV 颜色空间进行的。给定一个 Y 通道的图像,我们希望基于一定的先验知识,恢复出
2017-11-01 20:39:33 5673 11
原创 Python: PS 滤镜--水波特效
本文用 Python 实现 PS 滤镜中的 水波特效import numpy as npfrom skimage import img_as_floatimport matplotlib.pyplot as pltfrom skimage import ioimport numpy.matlibfile_name2 = 'D:/Visual Effects/PS Algorithm/4.jp
2017-10-25 19:39:24 3234
原创 Python: PS 滤镜--旋涡特效
本文用Python 实现 PS 滤镜的旋涡特效,具体的算法原理和效果可以参考之前的博客:http://blog.csdn.net/matrix_space/article/details/42215191import numpy as npfrom skimage import img_as_floatimport matplotlib.pyplot as pltfrom skimage im
2017-10-25 19:36:55 2655
原创 Python: PS 滤镜--USM 锐化
本文用 Python 实现 PS 滤镜中的 USM 锐化效果,具体的算法原理和效果可以参考之前的博客:http://blog.csdn.net/matrix_space/article/details/51169960import matplotlib.pyplot as pltfrom skimage import iofrom skimage.filters import gaussianf
2017-10-25 19:34:21 3618
原创 Python: PS 滤镜--素描
本文用 Python 实现 PS 滤镜中的素描特效,具体的算法原理和效果可以参考之前的博客:http://blog.csdn.net/matrix_space/article/details/38687427from skimage import img_as_floatimport matplotlib.pyplot as pltfrom skimage import iofrom skim
2017-10-25 19:32:47 2329
原创 Python: PS 图像调整--饱和度调整
本文用 Python 实现 PS 图像调整中的饱和度调整算法,具体的算法原理和效果可以参考之前的博客:http://blog.csdn.net/matrix_space/article/details/22992961import matplotlib.pyplot as pltfrom skimage import iofile_name = 'D:/Visual Effects/PS Algo
2017-10-25 19:31:46 8659 1
原创 Python: PS 图像特效 — 模糊玻璃
今天介绍一种基于高斯滤波和邻域随机采样,生成一种毛玻璃的图像特效,简单来说,就是先对图像做高斯滤波模糊,然后对模糊后的图像,通过对邻域的随机采样来赋予当前的像素点,这样,生成的图像有有一定的随机扰动和模糊,看起来就像隔着一层毛玻璃在观察图像一样。# -*- coding: utf-8 -*-"""Created on Sun Aug 20 11:03:53 2017@author: shiyi
2017-10-25 19:30:32 2393
原创 Python: PS 滤镜--表面模糊
本文用 Python 实现 PS 滤镜中的表面模糊,具体的算法原理和效果可以参考之前的博客:http://blog.csdn.net/matrix_space/article/details/52818857import matplotlib.pyplot as pltfrom skimage import ioimport numpy as npimport numpy.matlibfile
2017-10-25 19:29:08 2100
原创 Python: PS 滤镜--旋转模糊
本文用 Python 实现 PS 滤镜中的选择模糊,具体的算法原理和效果可以参考之前的博客:http://blog.csdn.net/matrix_space/article/details/39211667from skimage import img_as_floatimport matplotlib.pyplot as pltfrom skimage import ioimport nu
2017-10-25 19:27:40 1271 1
机器学习 第六讲:Generative Learning Algorithm B
2015-03-06
机器学习 第五讲: Generative Learning Algorithm A
2015-03-06
机器学习 第四讲 Logistic Regression和广义线性模型
2015-02-07
常用算法程序集(C语言描述)
2011-09-01
Convolutional Neural Networks for Visual Recognition 7
2015-07-16
Convolutional Neural Networks for Visual Recognition 6
2015-07-16
Convolutional Neural Networks for Visual Recognition 8
2015-07-16
Convolutional Neural Networks for Visual Recognition 5
2015-07-16
Convolutional Neural Networks for Visual Recognition 4
2015-06-28
Convolutional Neural Networks for Visual Recognition 3
2015-06-28
Convolutional Neural Networks for Visual Recognition 2
2015-06-28
Convolutional Neural Networks for Visual Recognition 1
2015-06-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人