晴天下的大头娃娃

混淆矩阵如果以0.5为阈值的话，混淆矩阵如右上所示随着阈值不同可以取的很多个混淆矩阵有没有一种方法能把所有的混淆矩阵表示在同一个二维矩阵中呢？ROC曲线横纵坐标求值表示见上图阈值不断右移不断得到新的点，直到阈值取到最大的值此时得到所有混淆矩阵的点，把这些点连起来就是ROC曲线曲线越靠近左上角，效果越好，B优于A怎样用用数值表示效果好？用AUC表示，就是曲线和横轴的面积对于N分类，宏观意义上求AUC就是对每个进行上面的计算，微观意义上只找到真是的概率

问题：特别深的网络是很难训练的，因为存在梯度消失和梯度爆炸的问题远跳连接：可以从某一网络层获取激活，然后迅速反馈给另外一层，甚至是神经网络的更深层，可以利用跳远链接构建能够训练...

参考图像：假设纵轴维b，横轴维w目的：减小纵轴方向的学习，加快heng'zho

机器学习包括有监督学习(supervised learning)无监督学习(unsupervised learning)半监督学习（semi-supervised learning）在有监督学习中，数据是有标注的，以(x, t)的形式出现，其中x是输入数据，t是标注.正确的t标注是ground truth， 错误的标记则不是。（也有人将所有标注数据都叫做ground truth）由模型函数的数据则是由(x, y)的形式出现的。其中x为之前的输入数据，y为模型预测的值。标注会和模型预测的结果作比较。

Pytorch动态Tensorflow 就是最典型的静态计算模块.用 Tensorflow 是先搭建好这样一个计算系统, 一旦搭建好了, 就不能改动了(也有例外, 比如dynamic_rnn(), 但是总体来说他还是运用了一个静态思维), 所有的计算都会在这种图中流动,有时候 RNN 的 time step 不会一样, 或者在 training 和 testing 的时候,batch_size和time_step也不一样, 这时就需要动态计算动态RNN##########...

常见的神经网络格式有普通的前向传播神经网络 , 有分析图片的 CNN 卷积神经网络 , 有分析序列化数据, 比如语音的 RNN 循环神经网络 ,这些神经网络都是用来输入数据, 得到想要的结果，这些神经网络能很好的将数据与结果通过某种关系联系起来.生成网络不是用来把数据对应上结果, 而是用来”凭空”捏造结果, 这就是生成网络. GAN 就是其中的一种形式.”凭空”并不是什么都没有的空盒子, 而是一些随机数.就是用没有意义的随机数来生成有有意义的作品,新手画家用随机...

神经网络的作用我们使用表格来存储每一个状态 state和在这个 state 每个行为 action 所拥有的 Q 值.神经网络可以将状态和动作当成神经网络的输入, 然后经过神经网络分析后得到动作的 Q 值, 这样我们就没必要在表格中记录而是直接使用神经网络生成 Q 值.还有一种形式的是只输入状态值, 输出所有的动作值, 然后按照 Q learning 的原则, 直接选择拥有最大值的动作当做下一步要做的动作.我们可以想象, 神经网络接受外部的信息, 相当于眼睛鼻子耳朵收集信息, 然后通过大

自编码目的取出原图片中的最具代表性的信息, 缩减输入信息量, 再把缩减过后的信息放进神经网络学习. 使学习变得简单轻松.作用通过将原数据白色的X 压缩, 解压 成黑色的X, 然后通过对比黑白 X ,求出预测误差, 进行反向传递, 逐步提升自编码的准确性.训练好的自编码中间这一部分就是能总结原数据的精髓.可以看出,我们只用到了输入数据 X, 并没有用到 X 对应的数据标签, 所以自编码也是一种非监督学习. 到了真正使用自编码的时候. 通常只会用到自编码前半部分.前半部分也叫

RNN弊端把之前的记忆都累积起来, 一起分析.每次 RNN 运算完之后都会产生一个对于当前状态的描述 , state. 我们用简写 S( t) 代替,然后这个 RNN开始分析 x(t+1) , 他会根据 x(t+1)产生s(t+1), 不过此时 y(t+1) 是由 s(t) 和 s(t+1) 共同创造的. 所以我们通常看到的 RNN 也可以表达成这种样子.LSTMLSTM 是 long-short term memory 的简称, 中文叫做 长短期记忆. 是当下最流行的 RNN 形.

卷积和神经网络神经网络是由一连串的神经层组成,每一层神经层里面有很多神经元. 神经元是神经网络识别事物的关键.每一种神经网络都会有输入输出值, 当输入值是图片的时候, 实际上输入神经网络的并不是那些色彩缤纷的图案,而是一堆堆的数字.当神经网络需要处理这么多输入信息的时候, 也就是卷积神经网络就可以发挥它的优势的时候了.卷积神经网络拆开来看. “卷积” 和 “神经网络”.卷积也就是说神经网络不再是对每个像素的输入信息做处理了,而是图片上每一小块像素区域进行处理,这种做法加强了图片信

批训练要点Torch 中提供了一种帮助整理数据结构的好东西, 叫做DataLoader,能用它来包装自己的数据, 进行批训练. 而且批训练可以有很多种途径DataLoaderDataLoader是 torch 给你用来包装你的数据的工具.所以要将自己的 (numpy array 或其他) 数据形式装换成 Tensor, 然后再放进这个包装器中.使用DataLoader的好处帮你有效地迭代数据, 举例import torchimport torch.util...

快速搭建网络目的：更简单的方式搭建同样的回归神经网络.之前写神经网络时用到的步骤. 我们用net1代表这种方式搭建的神经网络.class Net(torch.nn.Module): def __init__(self, n_feature, n_hidden, n_output): super(Net, self).__init__() self.hidden = torch.nn.Linear(n_feature, n_hidden) ..

问题描述绿色点逐渐学习红色点建立数据集创建一些假数据来模拟真实的情况. 比如两个二次分布的数据, 不过均值都不一样.import torchimport matplotlib.pyplot as plt# 假数据n_data = torch.ones(100, 2) # 数据的基本形态x0 = torch.normal(2*n_data, 1) # 类型0 x data (tensor), shape=(100, 2)y0 = torch.zero

代码1：建立数据集import torchimport matplotlib.pyplot as pltx = torch.unsqueeze(torch.linspace(-1, 1, 100), dim=1) # x data (tensor), shape=(100, 1)y = x.pow(2) + 0.2*torch.rand(x.size()) # noisy y data (tensor), shape=(100, 1)# 画图plt.sc

变量 (Variable)定义：Torch 中的 Variable 是一个存放会变化的值的地理位置. 里面的值会不停的变化.就像一个裝鸡蛋的篮子, 鸡蛋数会不停变动. Torch 的 Tensor 就是篮子里的鸡蛋.如果用一个 Variable 进行计算, 那返回的也是一个同类型的 Variable.import torchfrom torch.autograd import Variable # torch 中 Variable 模块# 先生鸡蛋tensor = torch.

用 Numpy 还是 Torch¶Torch 自称为神经网络界的 Numpy, 因为他能将 torch 产生的 tensor 放在 GPU 中加速运算 (前提是你有合适的 GPU),就像 Numpy 会把 array 放在 CPU 中加速运算. 所以神经网络的话, 当然是用 Torch 的 tensor 形式数据最好torch 做的和 numpy 能很好的兼容. 比如这样就能自由地转换 numpy array 和 torch tensorimport torchimport nump..

Pytorch优点PyTorch是PyTorch在 Python 上的衍生. PyTorch是一个使用PyTorch语言的神经网络库, 很好用,使用PyTorch 的公司.著名的 Facebook, twitter 等都在使用它, 这就说明 PyTorch 的确是好用的, 而且是值得推广.PyTorch 最大优点就是建立的神经网络是动态的, 对比静态的 Tensorflow, 能更有效地处理一些问题,比如说 RNN 变化时间长度的输出.Tensorflow ...

初步理解预先准备好非常多吃糖的学习数据, 然后将这些数据一次次放入这套人工神经网络系统中, 糖的信号会通过这套系统传递到手.然后通过对比这次信号传递后, 手的动作是不是”讨糖”动作, 来修改人工神经网络当中的神经元强度. 这种修改在专业术语中叫做”误差反向传递”, 也可以看作是再一次将传过来的信号传回去, 看看这个负责传递信号神经元对于”讨糖”的动作到底有没有贡献, 让它好好反思与改正, 争取下次做出更好的贡献.Optimization优化问题大学里面学习过的求导求微分. 因为这就是传说中”

消融实验类似于“控制变量法”。假设在某目标检测系统中，使用了A，B，C，取得了不错的效果，但是这个时候你并不知道这不错的效果是由于A，B，C中哪一个起的作用，于是你保留A，B，移除C进行实验来看一下C在整个系统中所起的作用。...

torch 做的和 numpy 能很好的兼容. 自由转换 numpy array 和 torch tensor :import torchimport numpy as npnp_data = np.arange(6).reshape((2, 3))torch_data = torch.from_numpy(np_data)tensor2array = torch_data.numpy()print( '\nnumpy array:', np_data, # [.

1、optimizer.zero_grad(),loss.backward()和optimizer.step()三个函数在用pytorch训练模型时，通常会在遍历epochs的过程中依次用到optimizer.zero_grad(),loss.backward()和optimizer.step()三个函数，如下所示：model = MyModel()criterion = nn.CrossEntropyLoss()optimizer = torch.optim.SGD(model.parame

学习笔记参考链接https://www.jianshu.com/p/aebcaf8af76e随机梯度下降（SGD）随机梯度下降（SGD）的优化算法在科研和工程的很多领域里都是极其核心的。很多理论或工程问题都可以转化为对目标函数进行最小化的数学问题。按吴恩达老师所说的，梯度下降（Gradient Descent）就好比一个人想从高山上奔跑到山谷最低点，用最快的方式（steepest）奔向最低的位置（minimum）。参考链接：https://distill.pub/2017/momen