Matrix_11-CSDN博客

翻译机器学习: Python with Recurrent Neural Network

之前我们介绍了Recurrent neural network (RNN) 的原理:http://blog.csdn.net/matrix_space/article/details/53374040http://blog.csdn.net/matrix_space/article/details/53376870　　这里，我们构建一个简单的RNN网络，激励函数我们用sigmoid 函数，利用这个网

2016-12-06 14:31:14 1085

翻译机器学习：DeepDreaming with TensorFlow (三)

我们看到，利用TensorFlow 和训练好的Googlenet 可以生成多尺度的pattern，那些pattern看起来比起单一通道的pattern你要更好，但是有一个问题就是多尺度的pattern里高频分量太多，显得图像的噪点很多，为了解决这个问题，可以进一步的引入一个先验平滑函数，这样每次迭代的时候可以对图像进行模糊，去除高频分量，这样一般来说需要更多的迭代次数，另一种方式就是每次迭代中增强低

2016-12-01 13:29:18 2455

翻译机器学习：DeepDreaming with TensorFlow (二)

在前面一篇博客里，我们介绍了利用TensorFlow 和训练好的 Googlenet 来生成简单的单一通道的pattern，接下来，我们要进一步生成更为有趣的一些pattern，之前的简单的pattern都是基于单一通道，单一尺度的，现在我们来试试多尺度下生成的pattern# 这部分代码和之前单一通道的一样# boilerplate codefrom __future__ import pri

2016-12-01 11:43:43 1584

翻译机器学习: DeepDreaming with TensorFlow (一)

在TensorFlow 的官网上，有一个很有趣的教程，就是用 TensorFlow 以及训练好的深度卷积神经(GoogleNet)网络去生成一些有趣的pattern，通过这些pattern，可以更加深入的去了解神经网络到底学到了什么，这个教程有四个主要部分： 1：简单的单通道纹理pattern的生成； 2：利用tiled computation 生成高分辨率图像； 3：利用 Laplacia

2016-12-01 10:30:49 2572

翻译机器学习：深入理解LSTM网络 (二)

之前我们介绍了RNN 网络结构以及其所遇到的问题，RNN 结构对于关联度太长的时序问题可能无法处理，简单来说，RNN对于太久远的信息不能有效地储存，为了解决这个问题，有人提出了LSTM的网络结构，LSTM 网络结构最早是由 Hochreiter & Schmidhuber 在1997 年提出的，随着后来研究者的不断改进，LSTM网络在很多问题上都有非常好的表现，并且得到广泛的关注与应用。LS

2016-11-28 16:05:59 6263 1

翻译机器学习：深入理解 LSTM 网络 (一)

Recurrent Neural NetworkLong Short Term Memory Networks (LSTMs) 最近获得越来越多的关注，与传统的前向神经网络 (feedforward network)不同，LSTM 可以对之前的输入有选择的记忆，从而有助于判断当前的输入， LSTM的这一特点在处理时序相关的输入时，有着很大的优势。LSTM 由 Recurrent Neural Net

2016-11-28 14:06:17 15859

原创机器学习： Tensor Flow with CNN 做表情识别

我们利用 TensorFlow 构造 CNN 做表情识别，我们用的是FER-2013 这个数据库，这个数据库一共有 35887 张人脸图像，这里只是做一个简单到仿真实验，为了计算方便，我们用其中到 30000张图像做训练，5000张图像做测试集，我们建立一个3个convolution layer 以及 3个 pooling layer 和一个 FC layer 的CNN 来做训练。FER-2013

2016-11-13 14:09:11 14344 44

原创机器学习: Tensor Flow +CNN 做笑脸识别

Tensor Flow 是一个采用数据流图（data flow graphs），用于数值计算的开源软件库。节点（Nodes）在图中表示数学操作，图中的线（edges）则表示在节点间相互联系的多维数据数组，即张量（tensor）。这是谷歌开源的一个强大的做深度学习的软件库，提供了C++ 和 Python 接口，下面给出用Tensor Flow 建立CNN 网络做笑脸识别的一个简单用例。我们用到的数据

2016-11-02 14:20:17 10077 7

原创机器学习：scikit-learn 做笑脸识别 (SVM, KNN, Logisitc regression)

scikit-learn 是 Python 非常强大的一个做机器学习的包，今天介绍scikit-learn 里几个常用的分类器 SVM, KNN 和 logistic regression，用来做笑脸识别。这里用到的是GENKI4K 这个数据库，每张图像先做一个人脸检测与剪切，然后提取HOG特征。这个数据库有 4000 张图，分成4组，做一个 cross validation，取平均值作为最终的识

2016-10-29 12:02:57 5085

原创 Python: 文件操作与数据读取

文件及目录操作python中对文件、文件夹（文件操作函数）的操作需要涉及到os模块，主要用到的几个函数是，import os返回指定目录下的所有文件和目录名: os.listdir()重命名：os.rename（old， new）创建多级目录：os.makedirs（）创建单个目录：os.mkdir（）获取文件属性：os.stat（file）修改文件权限与时间戳：os.chmod（file

2016-10-29 10:37:19 2246

原创 Python: 图像处理的基本运算

Python 作为一种面向对象、直译式的计算机程序语言，在很多领域得到广泛应用。本文主要介绍 Python 在图像处理中的基本运算，借助 scikit-image 库，Python 在做图像处理的时候非常方便，对于习惯用MATLAB的人来说，可以非常快速的习惯Python的语法。熟悉了这些基本的运算，就可以做进一步复杂的图像处理了。import numpy as npfrom skima

2016-10-16 19:41:18 5794

原创 PS 滤镜算法— — 表面模糊

图像的表面模糊处理，其作用是在保留图像边缘的情况下，对图像的表面进行模糊处理。在对人物皮肤处理上，比高斯模糊更有效。因为高斯模糊在使人物皮肤光洁的同时，也将一些边缘特征如脸部的眉毛、嘴唇等给模糊了，不得不用蒙版小心的抹去这些地方的模糊部分。在处理手法上，表面模糊也与其它卷积处理手段不同，如高斯模糊等在处理图像时都是采用统一的卷积矩阵进行，而表面模糊却是每一个像素点都有自己的卷积矩阵，而且还是3（4）

2016-10-14 20:56:33 10534 4

原创机器学习： Softmax Classifier (三个隐含层)

程序实现 softmax classifier, 含有三个隐含层的情况。activation function 是 ReLU : f(x)=max(0,x)f(x)=max(0, x) f1=w1x+b1 f_{1}=w_{1}x+b_{1} h1=max(0,f1)h_{1}=max(0, f_{1})f2=w2h1+b2f_{2}=w_{2}h_{1}+b_{2}h2=max(

2016-09-21 20:23:57 2785

原创机器学习：Softmax Classifier (两个隐含层)

程序实现 softmax classifier, 含有两个隐含层的情况。activation function 是 ReLU : f(x)=max(0,x)f(x)=max(0, x) f1=w1x+b1 f_{1}=w_{1}x+b_{1} h1=max(0,f1)h_{1}=max(0, f_{1})f2=w2h1+b2f_{2}=w_{2}h_{1}+b_{2}h2=max(

2016-09-21 20:23:43 1711

原创机器学习 Softmax classifier (一个隐含层)

程序实现 softmax classifier, 含有一个隐含层的情况。activation function 是 ReLU : f(x)=max(0,x)f(x)=max(0, x) f1=w1x+b1 f_{1}=w_{1}x+b_{1} h1=max(0,f1)h_{1}=max(0, f_{1})f2=w2h1+b2f_{2}=w_{2}h_{1}+b_{2}y=ef2i∑

2016-09-21 20:23:20 1500

原创机器学习 Softmax classifier (无隐含层)

程序实现 Softmax classifer, 没有隐含层， f=wx+b f=wx+b y=efi∑jefj y=\frac{e^{f_{i}}}{\sum_{j}e^{f_{j}}} %% Softmax classifierfunction Out=Softmax_Classifier(train_x, train_y, opts)% setting

2016-09-21 20:22:46 1317

翻译 Python: scikit-image gamma and log 对比度调整

这个函数，主要用来做对比度调整，利用 gamma 曲线或者 log 函数曲线，gamma 函数的表达式： y=xγy=x^{\gamma}, 其中， xx 是输入的像素值，取值范围为 [0−1][0-1], yy 是输出的像素值，通过调整γ\gamma 值，改变图像的像素值的分布，进而改变图像的对比度。 log 函数的表达式: y=alog(1+x)y=a \text{log}(1+x),

2016-09-02 17:34:41 5060

翻译机器视觉: LBP-TOP

之前介绍过机器视觉中常用到的一种特征：LBP http://blog.csdn.net/matrix_space/article/details/50481641LBP可以有效地处理光照变化，在纹理分析，纹理识别方面被广泛应用。但是LBP 只能处理单张的二维图像，对于视频或者图像序列，如何用LBP来提取特征，捕捉视频序列的运动信息呢。今天我们就介绍一种称为 LBP-TOP 的特征，是芬兰

2016-08-13 16:08:34 11202 3

原创那些狗，那些人

奶奶家的那条母狗死了，在我回来的第二天早上，它游荡在故乡的街头，准备溜达溜达开始一天的生活时，被人从后面一棍子敲下去，死了。我没有见过它，或许以前见过，但只是几个月的光景，足以让我把它忘得干净。如果我见过它，如果那天早上它没有死，象往常一样在外面逛完一圈又回来的话，它看到我，一定会摇摇尾巴，算是对我的欢迎，我也会上前摸摸它的头，算是对它的问候。可惜，它死了，死在一个夏天的早上，留下五只刚出生半个月大

2016-08-06 15:59:52 1225 1

翻译机器学习 Hidden Markov Models 3

Viterbi Algorithm前面我们提到过，HMM的第二类问题是利用HMM模型和可观察序列寻找最有可能生成该观察序列的隐藏变量的序列。简单来说，第一类问题是通过模型计算生成观察序列的概率，而第二类问题通过观察序列计算最有可能生成该观察序列的的隐藏变量的序列。我们还是先来看如下一张图：我们希望找到生成该观察序列的概率最高的一个隐藏变量的序列。换句话说，我们想要最大化如下的式子：

2016-07-22 14:19:37 2219

翻译机器学习 Hidden Markov Models 2

Hidden Markov Models下面我们给出Hidden Markov Models(HMM)的定义，一个HMM包含以下几个要素： ∏=(πi)表示初始状态的向量。A={aij}状态转换矩阵，里面的元素表示概率：Pr(xki|xk−1j)B={bij}confusion矩阵，表示可观察变量与隐藏变量的转换概率：Pr(yi)|Pr(xj)\begin{equation*}\begin

2016-07-15 15:11:39 4718

翻译机器学习 Hidden Markov Models 1

Introduction通常，我们对发生在时间域上的事件希望可以找到合适的模式来描述。考虑下面一个简单的例子，比如有人利用海草来预测天气，民谣告诉我们说，湿漉漉的海草意味着会下雨，而干燥的海草意味着会天晴，而如果海草不是很湿也不是很干燥，比如潮湿的状态，那么我们恐怕很难断定天气会怎样，可能下雨也可能天晴，我们或许可以根据昨天的天气来进行判断，根据昨天的天气和今天海草的状态，或许可以有一个更好的

2016-07-09 10:02:03 5848

原创 OpenCV——PS滤镜算法之 Ellipsoid (凹陷)

// define head function#ifndef PS_ALGORITHM_H_INCLUDED#define PS_ALGORITHM_H_INCLUDED#include #include #include "cv.h"#include "highgui.h"#include "cxmat.hpp"#include "cxcore.hpp"#include "m

2016-07-02 09:05:56 4572

原创 OpenCV——PS滤镜算法之 Ellipsoid (凸出)

// define head function#ifndef PS_ALGORITHM_H_INCLUDED#define PS_ALGORITHM_H_INCLUDED#include #include #include "cv.h"#include "highgui.h"#include "cxmat.hpp"#include "cxcore.hpp"#include "m

2016-07-02 09:04:34 4881

原创伊斯坦布尔的流浪（三）

在圣索菲亚大教堂旁边不远处，有一个地下水宫，是奥斯曼帝国时期这个城市的地下蓄水池，水宫的入口并不显眼，在一条小马路的旁边，经过一个拱门，沿着一段幽暗的楼梯下去，就能看到一个硕大的地下水宫，粗壮的石柱一排排整整齐齐地矗立着。还有昏黄的灯光点缀其中，看起来有些阴森。这个地下水宫现在不在做蓄水池了，但是还是有水，在昏暗中可以看到水面折射的微光。据说里面至今还有鱼游曳其中。沿着长廊一路走下去，都是一排排粗壮

2016-06-25 09:54:57 4083

原创伊斯坦布尔的流浪（二）

伊斯坦布尔有很多的伊斯兰教徒，所以这座城市大大小小的清真寺很多，大多分布在老城区，在加拉太塔上，放眼望去，就能看到海峡另一边的老城区，零星散布的清真寺里耸立的的高塔。从加拉塔大桥可以穿过博斯普鲁斯海峡来到这座城市的老城区，桥上有很多人在钓鱼，风和日丽，阳光正暖。过了桥，就看到一座大大的清真寺矗立在眼前，后来才知道这就是有名的耶尼清真寺。整座寺庙由大理石垒砌而成，站在近前，只能抬头仰望，寺庙前有一群鸽

2016-06-25 09:54:26 4105

原创伊斯坦布尔的流浪（一）

飞机缓缓降落在阿塔图尔克国际机场的时候，正是当地的清晨，外面还是一片黑暗，只是机场航站楼灯火通明。在飞机上昏昏欲睡，半梦半醒中，度过了平生第一次的长途飞行。走下飞机，进入航站楼，从入境柜台通过检查，进入机场大厅，看着周遭那些高鼻梁，深眼窝，身材壮实的土耳其人，听着完全不知所云的土耳其语，有种时空错乱的感觉，就这样稀里糊涂地踏上了这片异国的土地。清晨的伊斯坦布尔还笼罩在一片茫茫夜幕下，只有沿途的路灯，

2016-06-25 09:53:52 4141 1

翻译机器学习: 神经网络中的Error函数

在神经网络中，我们经常会用到 back propagation 算法来训练神经网络，根据网络的loss 函数，对网络中的权值(weights)与偏移量(bias)求导，根据导数对权值与偏移量进行更新。本文总结一下神经网络中，常用的几种 loss 函数，以及该 loss 函数的导数。假设输出层的值为：f=wx+b f=wx+b ww 是权值， bb 是偏移量， xx 是上一个

2016-06-17 16:14:17 8803

翻译机器学习: 离散变量的概率分布

二元分布先介绍最简单的一种二元概率分布，比如抛硬币，只有两种可能。假设随机变量为xx，那么x∈{0,1}x \in \{0, 1 \}, x=1x=1 表示硬币是字朝上，x=0x=0 表示硬币是花朝上。p(x=1)=μp(x=1)=\mu 表示 x=1x=1 的概率为 μ\mu, 那么 p(x=0)=1−μp(x=0)=1-\mu, 其中，μ\mu 满足 0≤u≤1 0 \le u \le

2016-06-10 15:42:38 5695

翻译机器学习: 最小二乘与贝叶斯估计

在线性回归中，我们最常用到的是最小二乘法，给定一组样本 S={xi},i=1,2,...NS=\{ \mathbf{x}_{i} \}, i=1,2,...N 和目标值 t={t1,t2,...tN}\mathbf{t}=\{ t_{1}, t_{2},...t_{N}\}, 我们希望找到一种映射关系 y(x,w)=wTxy(\mathbf{x}, \mathbf{w})=\mathbf{w}^

2016-06-03 14:19:23 10912

原创台湾印象: 太平洋的风

离开垦丁，从枋寮火车站出发，搭乘自强号列车，沿着东铁线，一路向北，就可以来到台东重镇：花莲。枋寮火车站很小，有些简陋，候车与售票基本在一个大厅，车站外面也有一些卖吃的小摊，那天下着很大的雨，车站候车的人不多，旁边有个纪念品商店，里面摆放着一些明信片，还有和台铁有关的一些纪念品。枋寮是个小镇，整个小城笼罩在一层朦胧的雨雾当中，给人一种怀旧感。等了没多久，终于检票上车了。自强号算是台铁系统里的

2016-05-28 09:31:11 6461

翻译机器学习：最大似然估计与最大后验概率估计

在机器学习领域，贝叶斯概率是经常用到的一种模型，而贝叶斯估计中，我们经常会看到两种概率估计模型，一种是最大似然估计，即 Maximum likelihood，另外一种就是最大后验概率估计，即 Maximum posterior ，两种模型都是基于贝叶斯定理演化而来的。在介绍这两种模型之前，我们先来看一下贝叶斯定理:p(w|D)=p(D|w)p(w)p(D) p(\mathbf{w}|

2016-05-23 17:25:27 8478

原创再见，旧时光

这个城市的夏天很热，暮色四合的时候，空气中依然涌动着一股股燥热的气息，身处其中的人，仿佛置身于一个巨大的火炉之中，除了忍受烘烤，已经无处可逃了。走的时候，校园里还很热闹，毕业季离别带来的伤感气息还在酝酿之中，这是最后的狂欢，天空中忽然爆裂盛开出几朵绚烂的烟火，他们说，这是华丽的告别。挤上公交，才发现满满一车的人都是毕业生，窗外的霓虹灯凌乱地闪过，映照着一张张落寞，怅然的脸。再怎么洒脱，在往

2016-05-20 16:42:08 5933

翻译机器学习: Canonical Correlation Analysis 典型相关分析

Canonical Correlation Analysis(CCA)典型相关分析也是一种常用的降维算法。我们知道，PCA(Principal Component Analysis) 主分量分析将数据从高维映射到低维空间同时，保证了数据的分散性尽可能地大, 也就是数据的方差或者协方差尽可能大。而LDA(Linear Discriminant Analysis) 线性判别分析则利用了类标签，利用一种

2016-05-15 16:38:47 22396 2

翻译机器学习： Linear Discriminant Analysis 线性判别分析

Linear discriminant analysis (LDA) 线性分类分析也是机器学习中常用的一种降维算法，与 PCA 相比， LDA 是属于supervised 的一种降维算法。PCA考虑的是整个数据集在高维空间的分散性，PCA降维之后依然要让数据在低维空间尽可能地分散。而LDA考虑的是类与类之间的差别(用距离来衡量)。我们先来看二分类的LDA，给定一个训练集 D={xi∈Rd

2016-05-15 16:37:58 11948 2

翻译机器学习：特征脸算法 EigenFaces

人脸识别是机器学习和机器视觉领域非常重要的一个研究方向，而特征脸算法是人脸识别里非常经典的一个算法，EigenFaces 是基于PCA (principal component analysis) 即主分量分析的。一张尺寸为 w×h w \times h 的人脸图像 IiI_{i}可以看成是一个 D×1D \times 1 的列向量, x∈RD \mathbf{x} \in R^{D}，其中

2016-05-11 08:44:33 20731 6

翻译机器学习：Principal components analysis （主分量分析）

Principal components analysis 这一讲，我们简单介绍Principal Components Analysis(PCA)，这个方法可以用来确定特征空间的子空间，用一种更加紧凑的方式（更少的维数）来表示原来的特征空间。假设我们有一组训练集{x(i);i=1,...m}\{x^{(i)}; i=1,...m \}，含有m个训练样本，每一个训练样本x(i)∈Rnx^{(i)

2016-05-11 08:43:49 10670

翻译机器学习：高斯混合模型及EM算法

Mixtures of Gaussian这一讲，我们讨论利用EM (Expectation-Maximization)做概率密度的估计。假设我们有一组训练样本x(1),x(2),...x(m){x^{(1)}, x^{(2)},...x^{(m)}},因为是unsupervised的学习问题，所以我们没有任何y的信息。我们希望利用一个联合分布p(x(i),z(i))=p(x(i)|z(i)

2016-05-09 20:07:49 9108

原创 PS 图像滤镜— — USM 锐化

这个算法的原理很简单，就是先用高斯模糊获取图像的低频信息，然后用原图减去高斯模糊之后的图，得到图像的高频信息，再将原图与高频信息融合，进一步增强原图的高频信息，看起来，图像的边缘显得特别的sharp。clc;clear all;close all;addpath('E:\Visual Effects\PS Algorithm');Image=imread('4.jpg');Im

2016-04-24 15:14:09 12811 1

原创西藏印象:时光篇

拉萨是个悠闲的城市。你可以随便找个甜茶馆，花几块钱买上一壶甜茶，然后无所事事地坐上一整天。听着周围的人热烈的谈论着什么，大多数时候你无法听懂他们的语言，但是你会享受这样的氛围。阳光透过窗户照射进来，在油腻的木桌上反射出一层浅浅的光芒。周围人声鼎沸，但是都与你无关，在这里，你会感受到一种彻底的放松，时光在不知不觉的流逝着，你坐着坐着，猛然一看，时间已经划过了早晨，划过了中午，划过了黄昏。除了这种浓浓的

2016-04-16 20:33:40 5098