- 博客(30)
- 问答 (1)
- 收藏
- 关注
RSS订阅
原创 常用文本编辑表达式
这个符号，代表开始写表达式——注意，去掉中间的空格dW[l]dW^{[l]}dW[l] 写作——$ dW^{[l]} $中间的{}是用来包围表达式的，即^后面跟的都是{}里面的内容，而不是单独的一个元素几个例子：分数：\frac{1}{w} 1w \frac{1}{w} w1偏导数：\partial ∂\partial ∂数学字母：\mathcal{J} J\mathcal{...
2019-07-29 11:00:04
217
原创 Deep Leaning 学习笔记之组织机器学习项目（2.4）——端对端学习
1 端对端学习1.1 概念简单地说，我们有一些数据处理系统，或者是由多个阶段组成的学习系统，端到端的深度学习做的，就是它可以捕获所有的阶段，并且，通常可以将其替代为单个神经网络，也就是说运行速度更快。1.2 例子正常学习，是一步步进行学习。比如，通过一张手的X光图片，先学习每个骨节的长度，再学习手的平均长度，然后推断人的年龄。input X ——> 每个骨节长度 ——> ...
2019-08-30 00:00:30
226
原创 Deep Leaning 学习笔记之组织机器学习项目（2.3）—— 迁移学习&多任务学习
1 迁移学习1.1 概念深度学习中最有力的方法之一，是有时你可以把在一个任务中神经网络 学习到的东西，应用到另一个任务中去。 比如，你可以让神经网络 学习去识别物体，比如猫，然后用学习到的 （一部分）知识 来帮助你更好地识别X射线的结果。 这就是所谓的迁移学习。1.2 步骤比如说X,Y是猫分类器的输入与输出。将猫分类器迁移为放射结果诊断。迁移学习，指的是，取出这个神经网络的最后一层，...
2019-08-29 22:30:27
237
原创 Deep Leaning 学习笔记之组织机器学习项目（2.2）—— 不匹配的培训和开发/测试集
2 不匹配的培训和开发/测试集2.1 不同分布上的训练和测试假设：网图20W数据，用户上传1W数据option1：随机打乱，然后分配。Train：205000，Dev：2500，Test：2500这样不好。因为在dev和test set中，大量的数据还是源于网图，并不是我们想要的对于用户上传的预测结果，这样会扰乱我们对模型优化的方向。option2：将20w网图和5000用户上传图作为...
2019-08-22 11:26:18
208
原创 Deep Leaning 学习笔记之组织机器学习项目（2.1）—— 误差分析
1 误差分析1.1 进行误差分析——列表格在开发集中进行将被分错的图片挑出来其中100张（可以更多）建立一个如下表格：行：图片的序号，以及每个因素所占百分比。列：影响误分类的因素，如狗，错误的分成猫；豹子，错误分成猫；下雨天，错误分成带猫的。。。根据百分比来看，哪一项所占百分比更高，那么这一项就更指的进行修改。1.2 清理标记错误的数据建议：如果要清理错误标签，那么...
2019-08-22 11:26:08
151
原创 Deep Leaning 学习笔记之组织机器学习项目（1.2）—— 机器学习与人类性能对比
1 性能对比1.1 概念贝叶斯误差：最小真实误差。绿色的虚线则为贝叶斯误差。紫色曲线：代表精确度，随着训练时间的上涨，无限接近贝叶斯误差（最小误差）1.2 避免方差、偏差左侧，训练集和人类误差（约等于贝叶斯误差）相差7%，所以有很大的提升空间，就应该大力减少偏差（训练更大的神经网络，更长训练时间等，更好的优化算法如adam等）右侧，训练集和人类误差已经相差无几，可修正误差为0.5%，...
2019-08-22 09:20:08
171
原创 Deep Leaning 学习笔记之改善神经网络的超参数（3.3）—— TensorFlow入门运行实例
1 TensorFlow框架有许多机器学习的框架，可以减少代码量，并且能够自动执行例如梯度下降函数等，加快程序的运行速度，TensorFlow就是众多框架中的一种1.1 TensorFlow步骤在TensorFlow中编写和运行程序的步骤如下:创建尚未执行/计算的张量(变量)——variables写出这些张量之间的运算。初始化你的张量。创建一个会话。运行会话。这将运行上面所写...
2019-08-10 12:20:59
706
原创 Deep Leaning 学习笔记之改善神经网络的超参数（3.2）—— 批量初始化Batch norm及Softmaxr
1 批量初始化1.1 定义除了对X能够进行均值归一，对各个隐藏层也可以初始化，即对Z统一初始化1.2 方法2 Softmax2.1 定义计算action的时候，不使用sigmoid等激活函数，而是用如下图的公式代替t=ez[l]t = e^{z^{[l]}}t=ez[l]a[L]=g[L](z[L])=t∑tLa^{[L]} = g^{[L]}(z^{[L]}) = \frac...
2019-08-09 15:20:53
251
原创 Deep Leaning 学习笔记之改善神经网络的超参数（3.1）—— 超参数调试
1 优化过程本期我们学习的两个主要内容是 使用随机取样 而不是在网格中定点搜索 或者使用区域定位的搜索过程 但是除此以外 还有很多超参数探寻的方法1.1 随机抽样如果你有两个超参数 假设是超参数1和超参数2 人们经常会像这样 在一个网格中对点进行取样 然后系统化地尝试这些点所代表的值1.2 区域定位搜索比如在这个二维的例子中 你抽取了这些点 也许你发现这个点能产生最好的结果 并且旁边的...
2019-08-09 09:56:22
721
原创 Deep Leaning 学习笔记之改善神经网络的超参数（2.2）——优化算法的运行速度（实例）
1 步骤1.1 步骤概念将样本随机打乱（确保X和Y一起打乱，保证X与lableY仍然相对应）permutation = list(np.random.permutation(m))shuffled_X = X[:, permutation]shuffled_Y = Y[:, permutation].reshape((1,m))划分小批量...
2019-08-07 11:56:17
860
原创 Deep Leaning 学习笔记之改善神经网络的超参数（2.1）—— 优化算法速度（小批量、动量、均方根、adam优化算法）
1.小批量梯度下降mini-batch1.1 概念小批量梯度下降，顾名思义，指的是：假如有一个训练集，大小为1,000,000，每次运行梯度下降，都需要整体遍历一遍数据集之后才能够运行一步。小批量梯度下降，则将这一百万个样本，分成多份，每1000个样本（可以是其他数字）成为一个小批量。每次运行一个小批量样本时，梯度更新一次。那么，遍历整体一百万个样本时，梯度会更新1000次，即走1000...
2019-07-31 16:41:14
555
原创 Deep Leaning 学习笔记之改善神经网络的超参数（1.4）—— 正则、dropout、梯度检验实例
1 正则化1.1 L2正则化函数def compute_cost_with_regularization(A3, Y, parameters, lambd): m = Y.shape[1] W1 = parameters["W1"] W2 = parameters["W2"] W3 = parameters["W3"] cross_entrop...
2019-07-30 14:59:49
230
原创 Deep Leaning 常用要点总结
1 初始化1.1 初始化方法1.1.1零初始化一般来说，初始化所有的权值为零会导致网络不对称。这意味着每一层中的每一个神经元都将学习相同的东西，就像训练一个神经网络，每一层都有n[l]=1n[l]=1n[l]=1，而这个网络并不比逻辑回归等线性分类器更强大。需要记住的是：1.权值W[l]W[l]W[l]应随机初始化以打破对称性。2.b[l]b[l]b[l]可以初始化为0，因为已经有了...
2019-07-30 10:20:51
187
原创 Deep Leaning 学习笔记之改善神经网络的超参数（1.3）——梯度检验
1 梯度检验1.1 介绍梯度检验是用来检查反向传播中，梯度下降的方向是否正确，可以帮助你找出反向传播代码中的错误1.2 方法采用双侧梯度检验例如g(θ)=f(θ)=θ3g(θ) = f(θ)=θ^3g(θ)=f(θ)=θ3检验：f(θ+E)−f(θ−E)2E≈g(θ)\frac{f(θ+E)-f(θ-E)}{2E} ≈ g(θ)2Ef(θ+E)−f(θ−E)≈g(θ)1.3 使用...
2019-07-29 14:51:50
191
原创 Deep Leaning 学习笔记之改善神经网络的超参数（1.2）—— 正则归一初始化及函数
1.正则化方法1.1 几种常用的正则化方法L1正则化：L2正则化：从作业里面找，现在先不写1.2 反向随机失活技术(inverted dropout technique) - 总的来说，比如，一个神经网络有3层，一层有10个units ，那么反向随机失活技术，就是为每一层的10个单元都抛硬币，比如设置，每一个units都有0.5的几率保留下来，否则会消除。当随机消除之后，会得到一个比原...
2019-07-29 11:09:49
172
原创 Deep Leaning 学习笔记之改善神经网络的超参数（1.1）—— 训练集及偏差方差
1.训练集1.1 训练集的组成训练集一般分为三部分：训练集——交叉验证集（开发集dev set）——测试集作用：训练集 ：用来进行模型的训练交叉验证集 ：用来将训练好的模型进行验证，来判断哪个模型性能更加良好测试集 ： 当前两个步骤进行长时间运行后，通过测试集对结果中最好的模型进行评估，这样可以在评估算法时不引入偏差...
2019-07-18 11:24:39
129
原创 Deep Leaning 学习笔记之神经网络（5 小结）—— 常用神经网络函数
常用函数：2层神经网络def initialize_parameters(n_x, n_h, n_y): ... return parameters def linear_activation_forward(A_prev, W, b, activation): ... return A, cachedef compute_cost(AL, Y): ....
2019-07-04 16:05:16
403
原创 Deep Leaning 学习笔记之神经网络（4）—— 多隐藏层神经网络
1 预备函数1.1 初始化参数# GRADED FUNCTION: initialize_parameters_deepdef initialize_parameters_deep(layer_dims): """ Arguments: layer_dims -- python array (list) containing the dimensions of ea...
2019-07-03 17:04:10
3715
1
原创 Deep Leaning 学习笔记之神经网络（3）—— 构建一个单隐藏层神经网络（区分花儿作业）
1.神经网络1.1数据样式1.2 单隐藏层神经网络1.3 神经网络相关函数For one example x(i)x^{(i)}x(i):(1)z[1](i)=W[1]x(i)+b[1]z^{[1] (i)} = W^{[1]} x^{(i)} + b^{[1]}\tag{1}z[1](i)=W[1]x(i)+b[1](1)(2)a[1](i)=tanh(z[1](i))a^...
2019-06-27 18:22:27
302
原创 Deep Leaning 学习笔记之神经网络（2）—— 神经网络中的梯度下降
假设：我们的神经网络：nx 个输入，即n ^ [0]个输入n1 个hidden Layern2 个output那么对应有参数：W ^ [1] , b ^ [1] ,W ^ [2] , b ^ [2]对应参数的维度：W ^ [1] ：n1 * n0W ^ [2] ：n2 * n1b ^ [1] : n1 * 1b ^ [2] : n2 * 1costFunction...
2019-06-27 11:05:18
349
原创 Deep Leaning 学习笔记之神经网络（1）—— 激活函数对比及导数
图1 为平常所说的sigmoid函数，但是不常用，一般只用于二元分类的一些神经网络。为什么呢，因为有一个在结构上基本上相同的函数：tanh函数，能够做到完美替代，且运算速率要比sigmoid函数快的多。图2 为 tanh函数，拥有sigmoid移位并比例放大之后的效果，在运行速率及运行效果上都比sigmoid好，因此也有许多人使用图3 为 常说的 ReLU函数，即线性整流函数，是神经网络中...
2019-06-27 10:31:04
873
原创 Deep Leaning 学习笔记（6）—— DeepLearning中学习算法的一般架构
一般架构构建学习算法的一般架构，包括:初始化参数计算成本函数及其梯度使用优化算法(梯度下降)按照正确的顺序将上面的三个函数集合到一个主模型函数中。常用的包packageimport numpy as npimport matplotlib.pyplot as pltimport h5pyimport scipyfrom PIL import Imagefrom scipy ...
2019-06-24 23:47:37
174
原创 Deep Leaning 学习笔记（5）—— DeepLearning中常用的python实现函数
EXP函数np.exp(x)Sigmoid函数def sigmoid(x): """ x -- A scalar or numpy array of any size Return: s -- sigmoid(x) """ ### START CODE HERE ### (≈ 1 line of code) s = 1/(1+np.e...
2019-06-24 23:25:48
709
原创 Deep Leaning 学习笔记（4）—— python numpy常用点
数组x = np.array([1, 2, 3])print (x.shape)输出为(3,)因此记住如果要用 x = np.array([1, 2, 3]) 来创建数组，记得要reshape即x = np.array([1, 2, 3]).reshape(1,3)输出为(1,3)...
2019-06-19 11:38:25
190
原创 Deep Leaning 学习笔记（3）—— 计算图导数计算逻辑回归
计算图导数通过两组特征，x1,x2以及对应的w1,w2，还有偏差b，调整这些参数来减少最终预测的损失L(a,y)代码实现逻辑回归大致流程
2019-06-14 16:42:34
295
原创 Deep Leaning 学习笔记（2）—— 逻辑回归及梯度下降
逻辑回归及梯度下降逻辑回归：逻辑回归一般用到 逻辑回归函数、代价函数、梯度下降。 已上为逻辑回归函数（不是代价函数）。代价函数又称为CostFunction，为误差函数 LostFunction 的 1/m 。梯度下降：Repeat:其中，又可以直接写作...
2019-06-14 15:27:44
295
原创 Deep Leaning 学习笔记（1）——常用符号表达式
以input为图片为例：图片像素为6464，则一张图片可以分为三元素图，红绿蓝。总体像素点为 6464*3=12288将用X表示input的像素点，则X∈R(12288)，并且该图像是否为猫（预测），y∈{0,1}表示（X,y）为训练集的一个样本。由此，训练集有m个样本，则总体的input X 为...
2019-05-29 17:05:54
350
原创 Machine-Learning（一）：线性回归 linear regression
文章目录线性回归——模型简介线性回归——算法公式线性回归——算法目标线性回归——使用简介线性回归——模型简介线性回归一般用于趋势预估等，如房价预测问题。其结构为：输入，计算，输出预测值。线性回归——算法公式函数表达式：代价函数：梯度：线性回归——算法目标通过给定训练集 X 及标签 y ，得到一组最优化θ，使得代价J(θ)最小。通过最小的θ，预测之后的数据趋势。例如房价预测等...
2019-03-04 17:31:20
260
原创 Machine-Learning（二）：逻辑回归 Logistic Regression
文章目录逻辑回归——模型简介逻辑回归——算法公式逻辑回归——算法目标逻辑回归——使用简介逻辑回归——模型简介不同于线性回归，逻辑回归常常用于分类问题，算法的输出值或者说预测值一直介于0和1，因此逻辑回归是一种分类算法（classification y = 0 or 1）。逻辑回归——算法公式逻辑回归代价函数：梯度下降：逻辑回归——算法目标给定:训练集 X ∈R(m*n)...
2019-03-04 16:20:37
891
空空如也
两个jsp传递参数的问题。
2016-12-19
TA创建的收藏夹 TA关注的收藏夹
TA关注的人