- 博客(23)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 使用python将自己的图片数据集准换成为cnn的数据集
在使用theano的cnn时，今天介绍一下关于如何将自己的数据集转换成像cnn的默认数据集mnist的形式在此本人遇到了一些坑，在此进行总结一下，声明在此使用的彩色图转灰度图进行的单通道的图像存储，对于多通道的图像随后进行总结主要流程是将图像数据读出将图像转换成numpy的数组形式将图像进行行的处理编程行向量的存储之后是将数据与标签进行合并存储存储在一个list中将
2016-04-29 13:47:05
16266
9
原创 python中使用pickle进行序列化
python的pickle模块实现了基本的数据序列和反序列化。通过pickle模块的序列化操作我们能够将程序中运行的对象信息保存到文件中去，永久存储；通过pickle模块的反序列化操作，我们能够从文件中创建上一次程序保存的对象。 基本接口： pickle.dump(obj, file, [,protocol]) 注解：将对象obj保存到文件file中去。 pr
2016-04-29 13:23:28
10410
原创 python中使用字符串前面加r
最近在使用python进行读取的文件时，总需要在路径中去除掉一些特殊意义的字符进行转义在网上搜了一下，在python中除了可以使用‘\’之外，我们也可以使用r加在所要处理的字符外面如下所示path_t =r"D:\worksapce_python\20160426_cp\training"这样就不用专门的去处理引号之中的特殊字符了关于r 的使用做简单的介绍在
2016-04-29 13:01:43
26050
原创 机器学习中的正则化简介
最近在看deeplearning 那本书，介绍了一些正则化的东西，下面就做一个简单的记录从深度学习的角度来进行解释我们在使用深度神经网络的时候，或者是在进行机器学习的损失函数的求解的时候总是会遇到需要增加一个正则化项的操作这个正则化的项目，在周志华的老师的书中曾经提到过，就是用来增加偏好的，也可以看做是对与求解的约束行为，但是正则化的作用还有很多，形式也是有很多1,在进行学
2016-04-20 23:15:10
1650
原创 虚拟机中的ubuntu（Linux系统）进行扩容
最近在电脑中安装有虚拟机，在虚拟机中使用Linux系统是很多朋友都经常会考虑的但是随着使用的时间，一些硬盘的资源被消耗的很大，我们就会考虑添加空间虚拟机中提供增加硬件的空间，今天就记录一下我的扩容的经历，如有不完善的随后补充，希望有高手看到不足 给以指正首先需要将虚拟机中的系统关机，首先在需要扩展的系统的硬盘处双击进入设置界面如图所示进行扩容（容量依据自
2016-04-17 16:55:36
3532
原创 使用caffe的convert_imageset生成lmdb文件
最近在看caffe的自带的例子时，才发现需要学习的真的很多其中在将我们的数据转换成lmdb的文件的时候遇到很多问题，现在总结一下，只是个人问题1.首先在一般是使用图片入手的需要将图片生成键值对的文本文件在生成的时候可以使用python的脚本或是shell脚本在次本人写了一个简单的不是很通用的例子，需要的可以去下载，不过要根据自得情况修改。在后面给出。在生成完成键值对的文本之
2016-04-16 21:41:46
6424
原创 caffe的mnist里的运行自编码的问题
今天在运行caffe中自编码的例子出现了这种光标闪动就是无法执行的情况。很是奇怪就在网上查找最后在caffe的git上找到了解答https://github.com/BVLC/caffe/issues/3037解释一下大概就是在运行layer { name: "data" type: "Data" top: "data" include
2016-04-16 20:35:59
1985
1
原创 python的工具包的安装简介
最近总是忘记之前安装搭建环境时候茶一堆的命令今天总结一下Python在安装工具包时的一些工具及网站python 模块的安装1。单文件的模块 可以直接拷贝到python的安装目录下面的lib文件夹下面2。多文件模块 一般带有setup.py的可以使用python setup.py install 在使用这种方法的安装时有时会依靠自己的平台的环境的而配置，比如在安装
2016-04-15 21:59:43
683
原创 弱监督学习
今天看到一个新名词弱监督学习，查了一下，原来是由来已久的知识，下面就科普一下吧弱监督学习文章给的定义是： 数据集的标签是不可靠的，如（x，y），y对于x的标记是不可靠的。这里的不可靠可以是标记不正确，多种标记，标记不充分，局部标记等。在实际应用中的学习问题往往以混合形式出现,如多标记多示例、半监督多标记、弱标记多标记等。针对监督信息不完整或不明确对象的学习问题统称为弱监督学习
2016-04-14 23:27:51
17456
原创 维数灾难
维度灾难是机器学习中的另一个重要问题，这个概念是贝尔曼（Bellman）在 1961 年首先提出的，它描述了以下事实：许多算法在低维空间表现很好，但输入为高维时，算法往往失效。在机器学习领域，这有更多的意义，随着样本维度的增加，正确泛化的难度会以指数级增加，这是因为样本数量固定时，覆盖的输入空间比例指数级减少。比如对于 100 维的布尔空间（样本取值只有 0 和 1），即使包含 1 万亿（
2016-04-14 23:11:57
4914
转载 Python语言进行机器学习的开源项目
用Python语言进行机器学习的开源项目 图1：在GitHub上用Python语言机器学习的项目，图中颜色所对应的Bob, Iepy, Nilearn, 和NuPIC拥有最高的价值。1. Scikit-learnwww.github.com/scikit-learn/scikit-learnScikit-learn 是基于
2016-04-14 00:48:08
1379
原创 win7 下anaconda 安装及安装包
今天在使用python2.7时，报了一个numpy的错误，以为不能用了就尝试安装一下anaconda ，遇到一个一问题I had the same problem today. I did the following to get this fixed:First, open a DOS prompt and admin rights. Then,
2016-04-12 22:55:53
5930
转载 Long-short time memory
Recurrent Neural Networks人类并不是每时每刻都从一片空白的大脑开始他们的思考。在你阅读这篇文章时候，你都是基于自己已经拥有的对先前所见词的理解来推断当前词的真实含义。我们不会将所有的东西都全部丢弃，然后用空白的大脑进行思考。我们的思想拥有持久性。传统的神经网络并不能做到这点，看起来也像是一种巨大的弊端。例如，假设你希望对电影中的每个时间点的时间类型进行分类。传统
2016-04-11 20:35:04
993
原创 on-line gradient descent
看到一个名为在线梯度下降的方法，之前没有遇到过，今天再次看到就搜索一下在线梯度下降的方法是考虑到在线学习的优化在线学习：online learning强调的是学习是实时的，流式的，每次训练不用使用全部样本，而是以之前训练好的模型为基础，每来一个样本就更新一次模型，这种方法叫做OGD（online gradient descent）。这样做的目的是快速地进行模型的更新，提升模型时
2016-04-11 10:44:42
6528
转载 据挖掘中所需的概率论与数理统计知识
据挖掘中所需的概率论与数理统计知识 （关键词：微积分、概率分布、期望、方差、协方差、数理统计简史、大数定律、中心极限定理、正态分布）导言：本文从微积分相关概念，梳理到概率论与数理统计中的相关知识，但本文之压轴戏在本文第4节（彻底颠覆以前读书时大学课本灌输给你的观念，一探正态分布之神秘芳踪，知晓其前后发明历史由来），相信，每一个学过概率论与数理统计的朋友都有必要了解
2016-04-10 17:58:37
3529
转载 随机采样方法整理与讲解（MCMC、Gibbs Sampling等）
本文是对参考资料中多篇关于sampling的内容进行总结+搬运，方便以后自己翻阅。其实参考资料中的资料写的比我好，大家可以看一下！好东西多分享！PRML的第11章也是sampling，有时间后面写到PRML的笔记中去：)背景随机模拟也可以叫做蒙特卡罗模拟(Monte Carlo Simulation)。这个方法的发展始于20世纪40年代，和原子弹制造的曼哈顿计划密切相关，当时的几个大牛，包
2016-04-08 18:02:03
2481
转载 深度学习之对抗样本问题
2006 年，Geoffrey Hinton 提出了深度学习。受益于大数据的出现和大规模计算能力的提升，深度学习已然成为最活跃的计算机研究领域之一。深度学习的多层非线性结构使其具备强大的特征表达能力和对复杂任务的建模能力。最近几年，深度学习的发展也带动了一系列的研究。尤其是在图像识别领域，在一些标准测试集上的试验表明，深度模型的识别能力已经可以达到人类的水平。但是，人们还是会产生一个疑问，对于一个
2016-04-07 22:19:52
2763
原创 稀疏表示与压缩感知
最近在看机器学习时，看到一章关于稀疏学习的，之前有了解过稀疏表示与压缩感知，但是两者之间的差异并不是很清楚，今天就总结一下吧稀疏表示 稀疏域模型(Sparse-Land Model)即信号的稀疏表示，它意欲用尽可能少的非0系数表示信号的主要信息，从而简化信号处理问题的求解过程。稀疏域模型可如表达式(1)所示，其中y∈R^n为待处理信号，A∈R^(n×m)为基函数字典，x∈R^m为稀疏表示向
2016-04-07 15:21:54
15070
6
原创 oracle使用数据导出与导入
最近突然需要在本地也建立一个与远端的服务器上相同的数据空间，就将服务器上的数据表导出来，导入到本地的数据空中下面总结一下在此操作中的问题遇到的问题命令的执行是在命令窗口下，不是sql的命令窗口下下面以Scott 用户为例： exp scott/tiger@orcl file=d:\scott_back owner=scott imp scott/tiger@orcl
2016-04-06 12:01:54
2266
原创 CAE(Convolutional Auto-Encode) 卷积自编码
最近复习一下之前看的深度学习的网络，在deeplearning-toolbox中看到一个CAE一时没想起来就看了一下官方的解释CAE(Convolutional Auto-Encode) 卷积自编码 ，对于这个深度学习的网络的的解释很少。下面谈一下自己的认识，算是总结吧CAE(Convolutional Auto-Encode) 卷积自编码 :一种卷积自编码器，其实现的过程与Aut
2016-04-05 19:05:00
32372
6
原创 增量学习
最近在看周老师的机器学习看到关于增量学习的概念，之前没有接触过就在网上查了查，现在总结一下增量学习(Incremental Learning)是指一个学习系统能不断地从新样本中学习新的知识，并能保存大部分以前已经学习到的知识。增量学习非常类似于人类自身的学习模式。因为人在成长过程中，每天学习和接收新的事物，学习是逐步进行的，而且，对已经学习到的知识，人类一般是不会遗忘的。
2016-04-04 19:37:07
22195
4
转载 矩阵奇异值分解(SVD)及其应用
前言： 上一次写了关于PCA与LDA的文章，PCA的实现一般有两种，一种是用特征值分解去实现的，一种是用奇异值分解去实现的。在上篇文章中便是基于特征值分解的一种解释。特征值和奇异值在大部分人的印象中，往往是停留在纯粹的数学计算中。而且线性代数或者矩阵论里面，也很少讲任何跟特征值与奇异值有关的应用背景。奇异值分解是一个有着很明显的物理意义的一种方法，它可以将一个比较复杂的矩阵用更小更简
2016-04-02 13:52:27
952
1
原创 HMM 与 CRF的区别
最近在看HMM 与CRF两者之间的区分，开始没有明白，搜集一些资料。HMM模型将标注看作马尔可夫链，一阶马尔可夫链式针对相邻标注的关系进行建模，其中每个标记对应一个概率函数。HMM是一种生成模型，定义了联 合概率分布 ，其中x和y分别表示观察序列和相对应的标注序列的随机变量。为了能够定义这种联合概率分布，生成模型需要枚举出所有可能的观察序列，这在实际运算过程中很困难，因为我们需要将观察序列
2016-04-01 16:33:25
17537
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人