【数学基础与最优化1.4】带约束的优化问题

条件极值 拉格朗日乘数法   现实问题中,有时会遇到对函数的自变量还有附加条件的极值问题。例如,求表面积为a2a^2a2而体积为最大的长方体的体积问题。设长方体的三棱长为x,y,zx,y,zx,y,z,则体积V=xyzV=xyzV=xyz,又因表面积为a2a^2a2,所以自变量x,y,zx,y,...

2019-02-18 10:01:06

阅读数 228

评论数 0

【深度学习笔记2.2.3】AlexNet训练17flowers

概述 本文介绍使用AlexNet做17flowers的分类任务,代码参考文献[1],数据集17flowers来自文献[2],预训练模型bvlc_alexnet.npy来自文献[4]。 实验1:finetune最后一个全连接层 调参实验总结如下: 初始学习率不能大于0.0001,否则训练loss将...

2019-02-25 19:34:05

阅读数 175

评论数 0

【深度学习笔记2.2.1】AlexNet

概述   2012年,Hinton的学生Alex Krizhevsky提出的深度卷积神经网络模型AlexNet获得了2012年ILSVRC比赛分类项目的冠军。AlexNet是在LeNet的基础上发展起来的,AlexNet首次引入了Dropout层来处理过拟合以及使用ReLU替代sigmoid来作为...

2019-02-25 19:22:17

阅读数 41

评论数 0

【TensorFlow笔记2.1】tf.nn.conv2d,tf.nn.max_pool

tf.nn.conv2d函数解析 tf.nn.conv2d(input, filter, strides, padding, use_cudnn_on_gpu=None, name=None) 除去name参数用以指定该操作的name,与方法有关的一共五个参数: 第一个参数input:指需要...

2019-02-25 18:55:32

阅读数 94

评论数 0

【TensorFlow笔记1.3】TFRecords文件读写

概述   除了典型的CSV文件存储方式外,TensorFlow还有专门的文件存储格式:TFRecords文件。 TFRecords文件创建   TFRecords文件一般用来存储特征值和其对应的标签。TFRecords文件中存储的内容是用通过 tf.train.Example 来创建的,我们...

2019-02-25 18:55:21

阅读数 42

评论数 0

【TensorFlow笔记1.2】TensorFlow队列和CSV文件读写

tensorflow队列   在tensorflow中可以使用FIFOQueue、RandomShuffleQueue等方式创建一个队列[1]。 代码示例1: import tensorflow as tf with tf.Session() as sess: q = tf....

2019-02-25 18:54:59

阅读数 71

评论数 0

【TensorFlow笔记1.1】各种函数的使用

numpy随机数 参考资料[2] np.random.randn(d0, d1, …, dn),从标准正太分布中产生shape为(d0, d1, …, dn)的随机数组 np.random.rand(d0, d1, …, dn),从区间为[0, 1)的均匀分布中产生shape为(d0, d1, …...

2019-02-18 10:12:22

阅读数 34

评论数 0

【数学基础与最优化1.5】二次规划

二次规划   二次规划(QP)是求解一类特殊的数学优化问题的过程,它是一个线性约束的二次优化问题,即多个变量的二次函数在这些变量上受线性约束的优化(最小化或最大化)问题。二次规划是一类特殊的非线性规划。 参考文献 https://zh.wikipedia.org/wiki/二次规划 https:/...

2019-02-18 10:02:19

阅读数 64

评论数 0

【数学基础与最优化1.3】对偶问题

对偶问题   对偶是个神奇的东西,从文学角度而言,对偶和对仗属于一种修辞手法,即用字数相等,语义对称的方法来表征想法或抒发情感。“凡心所向,素履所往,生如逆旅,一苇以航”或者“棋逢对手,将遇良才”都可看成是一种对偶[1]。   但是,我们这里是要阐述在数学问题上的对偶问题,它是优化问题中非常重要的...

2019-02-18 10:00:03

阅读数 72

评论数 0

【数学基础与最优化1.2】线性规划与非线性规划

线性规划   在数学中,线性规划(Linear Programming,简称LP)特指目标函数和约束条件皆为线性的最优化问题[1]。   线性规划是最优化问题中的一个重要领域。很多最优化问题算法都可以分解为线性规划子问题,然后逐一求解。在线性规划的历史发展过程中所衍伸出的诸多概念,建立了最优化理论...

2019-02-18 09:58:52

阅读数 66

评论数 0

【数学基础与最优化1.1】基本概念、导数、梯度

基本概念 假设A是条件,B是结论 (1)由A可以推出B,由B可以推出A,则A是B的充分必要条件( A=BA=BA=B ),或者说A的充分必要条件是B。 (2)由A可以推出B,由B不可以推出A,则A是B的充分不必要条件( A⊆BA \subseteq BA⊆B ) (3)由A不可以推出B,由B可以推...

2019-02-18 09:57:39

阅读数 57

评论数 0

【机器学习笔记2.6】用Softmax回归做mnist手写体识别

MNIST是什么 MNIST是一个手写数字数据集,它有60000个训练样本集和10000个测试样本集。可以将MNIST手写体识别看做是深度学习的HelloWorld。 MNIST数据集官方网址:http://yann.lecun.com/exdb/mnist/ 从官网下载的MNIST数据集是...

2019-02-18 09:45:47

阅读数 87

评论数 0

【机器学习笔记2.5】用Softmax回归做二分类(Tensorflow实现)

Softmax回归和逻辑回归的区别   在本节中,我们介绍Softmax回归模型,该模型是logistic回归模型在多分类问题上的推广,在多分类问题中,类标签yyy可以取两个以上的值[1]。当类别数k=2k=2k=2时,softmax 回归退化为 logistic 回归。 Softmax回归 ...

2019-02-18 09:45:35

阅读数 217

评论数 0

【机器学习笔记2.4】用逻辑回归做二分类(TensorFlow实现)

概述 相关理论介绍可参阅【机器学习笔记2.1】线性模型之逻辑回归 代码示例 import tensorflow as tf import numpy as np import matplotlib.pyplot as plt def plotDataMat(dataMat, l...

2019-02-18 09:45:24

阅读数 185

评论数 0

【机器学习笔记1.1】线性回归之正规方程求解

线性回归概述## 我们先考虑最简单的一种情况,即输入属性的数目只有一个,线性回归试图学得[1] (1)f(xi)=wxi+b,使得f(xi)≈yif(x_i) = w x_i + b,使得f(x_i) \approx y_i \tag{1}f(xi​)=wxi​+b,使得f(xi​)≈yi​(...

2019-02-18 09:44:59

阅读数 43

评论数 0

【机器学习笔记1.4】用tensorflow矩阵思想做线性回归

先生成样本数据 参照【tensorflow ML笔记1.1】,这里用矩阵的思想对其进行改进。另外这里将生成的数据保存成txt文件,在后面都将使用这个文件里的样本数据来分析比较批量梯度下降和随机梯度下降的区别。 【例1】 import tensorflow as tf import numpy as...

2019-02-17 16:39:58

阅读数 50

评论数 0

【深度学习笔记3.2 正则化】Dropout

关于dropout的理解与总结: dropout是什么?参考文献[1] dropout会让train变差,让test变好。一般的如果在train-set上表现好,在test-set上表现差,用dropout才有效果。使用dropout是为了避免过拟合。(来自网友) 下图来自文献[3]   上图...

2019-02-17 16:16:12

阅读数 77

评论数 0

【深度学习笔记3.1 正则化】权重衰减(weight decay)

权重衰减是什么?参考有关文献 这里参考文献[1]整理成如下代码:(详见文献[5]regularization/WeightDecay.py) import numpy as np import tensorflow as tf from matplotlib import pyplot as p...

2019-02-17 16:15:12

阅读数 200

评论数 0

【深度学习笔记2.3】VGG

vgg16_1 代码示例如下(详见文献[2]vgg16_1.py): import numpy as np import cv2 import tensorflow as tf from datetime import datetime import matplotlib.pyplot...

2019-02-17 16:14:45

阅读数 36

评论数 0

【深度学习笔记2.2.2】AlexNet训练mnist

算法优化思路即方法 AlexNet Tensorflow 实现 代码示例如下(详见文献[2]AlexNet1.py): import numpy as np import cv2 import tensorflow as tf from tensorflow.examples.tuto...

2019-02-17 16:12:44

阅读数 53

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭