yeler082-CSDN博客

原创 Tensorflow加载预训练模型和保存模型

使用tensorflow过程中，训练结束后我们需要用到模型文件。有时候，我们可能也需要用到别人训练好的模型，并在这个基础上再次训练。这时候我们需要掌握如何操作这些模型数据。1 Tensorflow模型文件我们在checkpoint_dir目录下保存的文件结构如下：|--checkpoint_dir| |--checkpoint| |--MyModel.meta...

2019-05-17 11:26:00 1553

转载神经网络训练时loss不下降的问题

当我们训练一个神经网络模型的时候，我们经常会遇到这样的一个头疼的问题，那就是，神经网络模型的loss值不下降，以致我们无法训练，或者无法得到一个效果较好的模型。导致训练时loss不下降的原因有很多，而且，更普遍的来说，loss不下降一般分为三种，即：训练集上loss不下降，验证集上loss不下降，和测试集上loss不下降。这里，首先默认各位都能理解过拟合和欠拟合的概念，如果有不清楚...

2019-05-16 22:27:57 50040 14

原创注入机制

#!/usr/bin/env python# encoding: utf-8'''@author: lele Ye@contact: 1750112338@qq.com@software: pycharm 2018.2@file: 4-3注入机制.py@time: 2018/10/12 21:45@desc:'''import tensorflow as tfimport ...

2019-05-16 21:58:27 226

原创学习率衰减

#!/usr/bin/env python# encoding: utf-8'''@author: lele Ye@contact: 1750112338@qq.com@software: pycharm 2018.2@file: 03学习率衰减.py@time: 2018/9/10 14:48@desc:'''import tensorflow as tfglobal_...

2019-05-16 21:47:53 253

原创 one_hot实验

#!/usr/bin/env python# encoding: utf-8'''@author: lele Ye@contact: 1750112338@qq.com@software: pycharm 2018.2@file: 02one_hot实验.py@time: 2018/9/8 21:59@desc:'''import tensorflow as tfCLASS...

2019-05-16 20:57:32 289

原创交叉熵实验

#!/usr/bin/env python# encoding: utf-8'''@author: lele Ye@contact: 1750112338@qq.com@software: pycharm 2018.2@file: 01交叉熵实验.py@time: 2018/9/8 21:50@desc:'''import tensorflow as tf# 定义标签数据...

2019-05-16 20:42:28 220

原创 Sigmoid函数与softmax函数

一、sigmoid函数函数：f(z) = 1 / (1 + exp( −z))导数：f(z)' =f(z)(1 −f(z))推导过程：函数图像：tensorflow实现:#!/usr/bin/env python# -*- coding: utf-8 -*- import tensorflow as tf input_data = tf.Var...

2019-05-09 20:41:43 1405

title: 数学公式神器Mathpix Snip—妈妈再也不用担心我不会写数学公式了！数学公式神器Mathpix Snip本文转载自机器之心—《最好用的文字与公式编辑器，这套数学笔记神器送给你》，原文链接点击这儿。在平时写博客或者写论文的时候，经常需要花些时间的就是嵌入数学公式。其实用 LaTex 表达式写数学公式还是挺麻烦的，至少一般人做不到手写速度。但是我们有 Mathpix Snip...

2019-05-06 10:49:29 17111 1

原创 L1，L2正则化

一、概括：L1和L2是正则化项，又叫做罚项，是为了限制模型的参数，防止模型过拟合而加在损失函数后面的一项。机器学习中，如果参数过多，模型过于复杂，容易造成过拟合（overfit）。即模型在训练样本数据上表现的很好，但在实际测试样本上表现的较差，不具备良好的泛化能力。为了避免过拟合，最常用的一种方法是使用使用正则化，例如 L1 和 L2 正则化。我们知道，正则化的目的是限制参数过多或者过大，...

2019-04-30 09:39:20 1125

原创车牌定位及识别课题

项目说明本项目(https://github.com/yeLer/ANPR)主要包含以下模块：车牌的定位基于opencv-python的定位方法，运行文件location/locate_v1.pytesting image1testing image2可以看出这种定位方法准确率不太理想。基于HyperLPR模型定位方法,运行文件location/loca...

2019-04-28 21:32:25 1408

原创 Faster-RCNN_TF实践及训练自己的数据集

1 代码位置，https://github.com/smallcorgi/Faster-RCNN_TF，具体依赖在该项目中明确有说明，这里在补充一下其它基本环境cuda 8.0、tensorflow-gpu==1.10.0、Python2.7首先我的使用的机器只安装了cuda 9.0，后来又重新配置了一个cuda 8.0，这里的配置方式参见https://blog.csdn.net/yeler...

2019-04-25 17:24:11 3760 3

原创【论文】ReNet: A Recurrent Neural Network Based Alternative to Convolutional Networks

论文地址：ReNet: A Recurrent Neural Network Based Alternative to Convolutional Networks1. 引言：　　本文尝试用基于四个方向的 RNN 来替换掉 CNN中的 convolutional layer（即：卷积+Pooling 的组合）。通过在前一层的 feature 上进行四个方向的扫描，完成特征学习的过程。与...

2019-04-12 21:26:52 5312 2

原创剑指offer面试题6：从尾到头打印链表

// 面试题6：从尾到头打印链表// 题目：输入一个链表的头结点，从尾到头反过来打印出每个结点的值。#include <stack>#include "List.h"//用桟结构实现链表的逆序打印void printListReversedOrder(ListNode *pHead){ std::stack<ListNode *> nodes; Lis...

2019-03-31 09:56:25 441

原创剑指offer面试题5：替换空格

// 面试题5：替换空格// 题目：请实现一个函数，把字符串中的每个空格替换成"%20"。例如输入“We are happy.”，// 则输出“We%20are%20happy.”。/*思路一：新建一个足够的大小的字符串空间，然后依次将字符拷贝，遇到空格进行三个字符的填充，接着重复执行前面的操作将整个字符串替换完毕。时间复杂度o(n),空间复杂度o(n).思路二：从头到尾扫描字符...

2019-03-26 17:34:24 382

原创剑指offer面试题3:数组中重复的数字

// 面试题3（一）：找出数组中重复的数字// 题目：在一个长度为n的数组里的所有数字都在0到n-1的范围内。数组中某些数字是重复的，但不知道有几个数字重复了，// 也不知道每个数字重复了几次。请找出数组中任意一个重复的数字。例如，如果输入长度为7的数组{2, 3, 1, 0, 2, 5, 3}，// 那么对应的输出是重复的数字2或者3。#include <iostream>...

2019-03-26 16:34:16 352

原创定义三个线程ID分别为ABC，每个线程打印10遍自己的线程ID，按ABCABC……的顺序进行打印输出。

# encoding:utf-8# 一个多线程的题：定义三个线程ID分别为ABC，每个线程打印10遍自己的线程ID，按ABCABC……的顺序进行打印输出。from threading import Thread, Lock# 由_acquire解锁执行后释放_release锁def _print(_id: str, _acquire: Lock, _release: Lock) -&...

2019-03-19 21:37:34 1063

原创 Xception

论文：Xception: Deep Learning with Depthwise Separable Convolutions论文链接：https://arxiv.org/abs/1610.02357算法详解：Xception是google继Inception后提出的对Inception v3的另一种改进，主要是采用depthwise separable convolutio...

2019-03-18 17:24:48 1505

原创剑指offer面试题4：二维数组中的查找

#include <iostream>#include <vector>#include <string>using namespace std;bool Find(const vector < vector <int> > vec, int rc, int number){ bool found = false; if ...

2019-03-15 21:21:16 322

原创求两个ip地址在子网掩码下是否为同一网段

#include <iostream>#include <string>#include <vector>#include <sstream>using namespace std;class IP{private: union { struct { unsigned char seg0; unsigned c...

2019-03-13 21:35:58 1137

原创 Anaconda多版本python环境管理

这里首先给一个conda的手册：conda手册1. 查看Python环境conda info --env可以看到所有python环境，前面有个‘*’的代表当前环境：可以看到我有四个python不同版本的环境，第一个由于是使用的andaconda2安装的，而当前的环境变量我设定的andaconda3的，所以名称这里没有显示，意思是不支持切换。2.创建Python环境c...

2019-02-26 11:37:11 808

原创神经网络实现猫的种类识别

神经网络实现猫的种类识别代码地址：https://github.com/yeLer/cat_kind实现的主要部分有简单的网络结构在猫的种类识别上的应用，测试准确率0.832使用resNet50在猫的种类识别上的应用，测试准确率0.866使用数据增强解决过拟合问题，并提高测试准确率，测试准确率0.999项目文件夹说明------cat_kind 项目文件名 |---...

2019-01-12 19:59:11 8150 13

原创马尔科夫随机场

1、介绍首先介绍一下什么是随机过程，随机过程就是描写叙述某个空间上粒子的随机运动过程的一种方法。它是一连串随机事件动态关系的定量描写叙述。随机过程与其他数学分支，如微分方程、复变函数等有密切联系。是自然科学、project科学及社会科学等领域研究随机现象的重要工具。如果将随机过程引入到马尔科夫模型便得到马尔科夫随机过程，它是指下一个时间点的值只与当前值有关系，与以前的值没有关系，即未来决定...

2019-01-08 11:22:06 2331 1

原创局部响应归一化LRN

LRN首次是在2012的AlexNet当中使用，其中的意图是对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元，增强了模型的泛化能力。下面是AlexNet论文中提及到的LRN简要解释一下论文内容：relus激活函数本身具有良好的特性，在输入的时候可能不需要归一化就能防止网络饱和，即网络可以连续训练下去。对于relus激活函数来讲，如果存在...

2019-01-05 21:43:52 1460 1

原创【论文】Fully Convolutional Networks

【解读】全卷积网络 Fully Convolutional Networks该论文包含了当下CNN的三个思潮不含全连接层(fc)的全卷积(fully conv)网络。可适应任意尺寸输入。增大数据尺寸的反卷积(deconv)层。能够输出精细的结果。结合不同深度层结果的跳级(skip)结构。同时确保鲁棒性和精确性。一些重点：损失函数...

2019-01-05 20:24:24 2252

原创 AlexNet

主要贡献：AlexNet将LeNet的思想发扬光大，把CNN的基本原理应用到了很深很宽的网络中。AlexNet主要使用到的新技术点如下。（1）成功使用ReLU作为CNN的激活函数，并验证其效果在较深的网络超过了Sigmoid，成功解决了Sigmoid在网络较深时的梯度弥散问题。虽然ReLU激活函数在很久之前就被提出了，但是直到AlexNet的出现才将其发扬光大。（2）训练时使用Dr...

2019-01-05 16:02:50 728

原创机器学习领域几种距离度量方法【3】

十三、堪培拉距离 (Canberra Distance)十四、布雷柯蒂斯距离(Bray Curtis Distance)十五、交叉熵(Cross Entropy)十六、相对熵(relative entropy)十七、js散度（Jensen-Shannon）十八、测地距离（Geodesic distance）堪培拉距离 (Canberra Distance)被认为是曼...

2019-01-04 22:23:12 5287

原创机器学习领域几种距离度量方法【2】

七、巴氏距离（Bhattacharyya Distance）八、余弦距离(Cosine Distance)九、汉明距离(Hamming Distance)十、杰卡德距离(Jaccard Distance)十一、相关距离(Correlation distance)十二、卡方距离(Chi-square measure)巴氏距离（Bhattacharyya Distance）...

2019-01-04 22:10:30 1955

原创机器学习领域几种距离度量方法【1】

一、欧氏距离(Euclidean Distance)二、曼哈顿距离(Manhattan Distance)三、切比雪夫距离 (Chebyshev Distance)四、闵可夫斯基距离(Minkowski Distance)五、标准化欧氏距离 (Standardized Euclidean Distance)六、马氏距离(Mahalanobis Distance)1 ...

2019-01-04 21:55:35 1007

原创神经网络当中的卷积

神经网络当中使用的卷积类型很多，主要有以下几种：1 任意填充无跨度卷积（arbitrary_padding_no_strides） 2 任意填充无跨度转置卷积（arbitrary_padding_no_strides_transposed） 3 扩张卷积（dilation）4 全填充无跨度卷积（full_padding_no_strides）...

2019-01-03 14:28:42 447

原创【03】caffe网络自定义输入层

通常的情况下，我们遇到的train_val.prototxt文件的输入层都是下面这样的：name: "CIFAR10_quick"layer { name: "cifar" type: "Data" top: "data" top: "label" include { phase: TRAIN } transform_param { # mirr...

2019-01-02 22:14:12 815 2

原创【02】caffe目录结构

caffe源代码是C++编写的，大量的使用了封装、继承和多态，代码结构严谨，所以很适合用来学习C++的语言特性。Caffe源问阅读路线最好是从src/calTe/proto/caffe.proto开始，了解基本数据结构内存对象和磁盘文件的一一映射关系（如何从磁盘文件加载一个数据结构到内存对象，以及如何将内存对象保存为磁盘文件，这中间的过程都是由ProtoBuffer 自动完成的。第二...

2019-01-02 21:01:45 349

原创 fcn代码实践【2】

FCN-16s网络的训练，由于没有对应的源代码，所以一切的东西都要我们自己来做，官方提供了其他dataset的源代码，我们可以依照这些内容生成相应的训练文件．我们可以先比较一下voc-fcn16s和voc-fcn32s 相对应的net.py(用来生成.prototxt文件)代码：其中颜色标注的是代码的不同部分。对比两者的network结构可以清楚的看到区别，想要获取network，...

2019-01-02 20:13:33 916 1

原创 FCN代码实践【1】

FCN 官方Github 地址：shelhamer/fcn.berkeleyvision.org我修改的fcn代码Github地址：https://github.com/yeLer/fcn论文地址：https://arxiv.org/abs/1411.4038这里说明一下这个文件和文件夹都是做什么的，data:是官方提供的四个数据集相关的文件，我们允许代码所下载的数据集都会放到...

2019-01-02 10:45:08 3194 7

原创计算机视觉当中的几个基本概念

1. 图像分割从图像中将某个特定区域与其他部分进行分离并提取出来的处理就是图像分割。因为图像分割处理实际上就是区分图像中的“前景目标”和“背景”，所以通常又称之为图像的二值化处理。图像分割在图像分析、图像识别、图像检测等方面占有非常重要的低位。在计算机视觉领域，图像分割（Segmentation）指的是将数字图像细分为多个图像子区域（像素的集合）（也被称作超像素）的过...

2019-01-01 21:39:35 4609 2

原创 pycharm远程连接服务器运行代码加调试

由于计算环境都在linux服务器上，本地电脑太烂，但是linux服务器上直接又无法使用pycharm这款工具。所以解决办法是利用windows中安装的pycharm远程连接linux服务器。1、设置远程连接配置依次打开这三个箭头的指向，打开配置面板。在配置面板中可以为你当前的连接起一个名称，这个名称是用于给你区分你连接的是哪台服务器的。下面依次有三个选项卡：connecti...

2018-11-07 10:51:17 128522 28

原创 caffe使用错误集锦

1、caffe编译错误undefined reference toTIFFIsTiled@LIBTIFF_4.0'/usr/lib/x86_64-linux-gnu/libopencv_highgui.so.2.4.9: undefined reference toTIFFIsTiled@LIBTIFF_4.0'今天编译caffe ,本来编译过无数次caffe了，基本坑都能解决的。但这次惹...

2018-10-26 16:35:17 1187

原创【2】用python简单处理图片：图像通道\几何变换\裁剪

一、图像通道1、彩色图像转灰度图from PIL import Imageimport matplotlib.pyplot as pltimport numpy as npimg = Image.open('./srcimg/lena.bmp')gray = np.array(img.convert('1'))plt.figure("beauty")plt.imshow(gr...

2018-10-24 14:03:21 1681

原创【1】用python简单处理图片：打开\显示\保存图像

一提到数字图像处理，可能大多数人就会想到matlab，但matlab也有自身的缺点：1、不开源，价格贵2、软件容量大。一般3G以上，高版本甚至达5G以上。3、只能做研究，不易转化成软件。因此，我们这里使用python这个脚本语言来进行数字图像处理。要使用python，必须先安装python，一般是2.7版本以上，不管是在windows系统，还是linux系统，安装都是非常简单的...

2018-10-24 10:40:31 1460

原创【1】caffe调参中的batch_size和iter_size

在caffe参数配置文件当中遇到这么一段：net: "models/h2_train.prototxt" #模型训练网络配置文件base_lr: 1e-6 #基础学习率lr_policy: "step" #学习率变化策略gamma: 0.1 #grama值，用于学习率变化iter_size: 10 stepsize: 10000 #用于学习率调整的步长，与lr...

2018-10-22 20:38:13 5277 1

原创【8】caffe的python接口学习：caffemodel中的参数及特征的抽取

如果用公式 y=f(wx+b)来表示整个运算过程的话，那么w和b就是我们需要训练的东西，w称为权值，在cnn中也可以叫做卷积核（filter），b是偏置项。f是激活函数，有sigmoid、relu等。x就是输入的数据。数据训练完成后，保存的caffemodel里面，实际上就是各层的w和b值。我们运行代码：deploy=root + 'mnist/deploy.prototxt'...

2018-10-22 20:21:48 497

软件过程与管理总结整理精华版

空空如也