DataScientistGuo-CSDN博客

原创 Caffe入门(2)-Caffe读取并转换图片数据

本教程用于从文件夹中读取训练数据（图片）并转换为caffe需要的mdb格式,随后将其用于后续的训练和测试。一、原始数据这里选用徐其华（denny402）收集的数据，共有500张图片，分为大巴车、恐龙、大象、鲜花和马五个类，每个类100张。网盘地址为-网盘地址。编号分别以3，4，5，6，7开头，各为一类。我从其中每类选出20张作为测试，其余80张作为训练。因此最终训练图片400张，测试图片1

2018-01-10 20:38:16 3901 1

原创 Caffe入门(1)-Ubuntu14.04下Caffe安装配置

一，安装前环境1.操作系统为：Ubuntu14.04 64bit2.处理器为：CPU二，安装依赖的库其中protobuf是用来定义layers的，leveldb是训练时存储图片数据的数据库，opencv是图像处理库，boost是通用C++库。sudo apt-get install libprotobuf-dev libleveldb-dev libsnap

2018-01-10 19:27:09 651

原创 Centos下Spark单机版（python）安装配置

Apache Spark是快速、易于使用的框架，允许你解决各种复杂的数据问题，无论是半结构化、结构化、流式、或者机器学习、数据科学。它已成为大数据方面最大的开源社区之一，拥有来自250多个组织的超过1000个贡献者。

2017-12-22 10:07:37 2148 1

翻译大数据入门-基础篇01-hadoop框架简介

声明：本文主要根据八斗学院孙国宇老师的Hadoop大数据实战手册进行的整理，仅限入门学习！第一章 hadoop简介Hadoop 是一个由 Apache 基金会所开发的开源分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储。解决了大数据（大到一台计算机无法进行存储，一台计算机无法在要求的时间内进行处理）的可靠存储和处理。适合处理非

2017-12-15 10:28:42 2505

转载 tensorflow文件数据读取机制剖析

在学习tensorflow的过程中，有很多小伙伴反映读取数据这一块很难理解。确实这一块官方的教程比较简略，网上也找不到什么合适的学习材料。今天这篇文章就以图片的形式，用最简单的语言，为大家详细解释一下tensorflow的数据读取机制，文章的最后还会给出实战代码以供参考。

2017-11-29 18:54:41 555

原创 Keras入门-预训练模型fine-tune（ResNet）

在深度学习的学习过程中，由于计算资源有限或者训练集较小，但我们又想获得较好较稳定的结果，那么一些已经训练好的模型会对我们有很大帮助，比如 Alex Net， google net, VGG net, ResNet等，那我们怎么对这些已经训练好的模型进行fine-tune来提高准确率呢？在这篇博客中，我们使用已经训练好的ResNet50网络模型，该模型基于imagenet数据集，实现了对1000种

2017-11-22 19:42:47 15599 17

转载 windows远程连接服务器中的jupyter notebook

windows远程连接服务器中的jupyter notebook

2017-11-20 17:27:59 2112

原创 Deeplearning-吴恩达-卷积神经网络-第一周作业02-Convolution Networks(tensorflow)

基于深度学习开源框架tensorflow实现的卷积神经网络，主要介绍基本的卷积操作，池化操作以及后续的优化。

2017-11-14 19:52:53 2212

原创 Deeplearning-吴恩达-卷积神经网络-第一周作业01-Convolution Networks(python)

基于Numpy实现的卷积神经网络，里面包括正向传播各个细节的实现以及反向传播梯度项的求取，对于想深入了解卷积神经网络原理的童鞋可以细细推导下。

2017-11-14 19:10:02 4452 2

原创 Deeplearning-吴恩达-卷积神经网络-第二周作业01-Convolution Networks(keras)

基于深度学习开源框架keras构建简单的卷积神经网络，对happy house图片数据进行识别（房门前安装的摄像头所拍摄的人物面部表情），我仿照LeNet-5的结构设计了自己的网络模型，并省略掉了Batch归一化，最终的训练准确率和预测准确率分别达到99%和95%。

2017-11-14 18:06:37 1280 2

原创 Deeplearning-吴恩达-卷积神经网络-第二周作业02-Residual Networks(keras)

本文为吴恩达老师deeplearning系列课程中卷积神经网络中的编程作业部分，以上代码均由本人编写，仅供参考！

2017-11-14 16:18:50 1194

原创深度学习与神经网络-吴恩达（Part2Week3）-超参数调试、Batch正则化和程序框架

一、前言通过前面的学习我们了解到神经网络的优化和改变会涉及到许多不同的超参数，例如：与神经网络结构相关的层数、每层节点数，与优化算法相关的学习效率以及Momentum、RMSprop、Adam中的指数权重项，学习效率衰减中的衰减系数，Mini-batch中的batch size等等。另外，这些所列举的超参数重要级别却是不一样的，学习效率一般是需要。那么对于超参数而言，我们要如何找到一套好的设定

2017-11-01 10:49:43 2149

原创深度学习与神经网络-吴恩达（Part1Week4）-深度神经网络编程实现（python）-基础篇

深度神经网络的编程实现，主要基于吴恩达老师的Deeplearning Course完成，编程语言为python。

2017-10-26 15:01:56 1474

原创深度学习与神经网络-吴恩达（Part1Week3）-单隐层神经网络编程实现（python）

一、

2017-10-23 20:39:25 3480 2

原创深度学习与神经网络-吴恩达（Part2Week2）-优化算法

一、Mini-batchti前面介绍的向量化方法能够让我们高效的处理m个样本数据，模型输入的也就是m个样本按列堆叠而成的矩阵X，同样地，输入数据的标签也是m个样本标签按列堆叠而成的矩阵Y。但是以全部海量数据作为输入的话，这样做的计算成本依然会很高。

2017-10-23 10:18:22 1071

原创深度学习与神经网络-吴恩达（Part1Week2）-Logistic Regression编程实现（python）

一、Logistic Regression 基本网络结构可以看到 Logistic Regression的网络结构相对比较简单，主要包括：输入层（用于单样本数据x1,x2,x3...的输入）和输出层（单个神经元），输入层和输出层之间是有权重连接的，这里相当于对输入数据做一个线性变换进而得到输出层的输入。值得注意的是，输出层是包含激活函数的，对于Logistic Regressi

2017-10-21 10:34:48 1030 6

原创深度学习与神经网络-吴恩达（Part2Week1）-神经网络的实用层面

一，神经网络的实用层面1.1 训练/开发/测试集超参数是与深度神经网络结构相关但我们事先无法确定的经验参数，包括层数，神经元数目，学习效率等，超参数的选择决定我们模型的性能，因此我们希望通过实验来确定这些参数，深度学习是一个高度迭代的过程。通常将数据集划分为三个部分，即训练集，验证集及测试集。通过训练集进行模型的训练，通过验证集或简单交叉验证集选择最好的模型，最

2017-10-17 15:52:13 823

BigBang的博客