![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
人工神经网络
Claroja
这个作者很懒,什么都没留下…
展开
-
Recurrent Neural Networks
传统的神经网络不能进行连续的思考.想象一下你想对电影里每一个点发生的不同的事件进行分类.对于传统的神经网络来说是不能从过去的事情推断未来的事情. RNN(Recurrent neural networks)解决了这个问题.RNN的神经元自己建立了一个自己的回路,使得信息可以保存. 在上图中AA有一个输入xtx_t和一个输出hth_t。一个RNN可以被想象成相同网络的多层拷贝. RNN被翻译 2017-06-05 15:53:26 · 599 阅读 · 0 评论 -
深度学习理论
人工神经网络Backpropagation原创 2017-06-05 13:08:59 · 2826 阅读 · 0 评论 -
Backpropagation
本文介绍了以反向传播(backpropagation)算法为基础的多层神经网络,下面的例子是三层的神经网络,其中两个输入,一个输出. 每一个神经元(neuron)由两个单元(unit)构成.第一个单元增加了产出的权重(weights)系数和输入信号.第二个单元实现了非线性函数,我们称之为神经元激活(neuron activation)函数.信号e是增加的输出信号,y=f(e)是非线性元素的输翻译 2017-06-05 13:06:43 · 488 阅读 · 0 评论 -
卷积含义
1.卷积含义以及边缘检测应用1.1“*”是卷积的意思(convolution) 3x3的过滤器filter(核kernel)对6x6的矩阵进行卷积,可以形成4x4的矩阵,因为它横向可以移动4次,纵向可以移动4次。 每一步卷积是对应位置相乘并相加。 横向第一次卷积 横向第二次卷积 纵向第一次横向第一次卷积 纵向第4次横向第4次卷积1.2边缘检测实例...原创 2018-10-06 10:43:08 · 510 阅读 · 0 评论 -
spacy model
CLASS torch.nn.MSELoss(size_average=None, reduce=None, reduction='mean')计算输入X和输出Y的均方误差.参数描述reduction(string,optional),默认为平均值loss = nn.MSELoss()input = torch.randn(3, 5, requires_grad=...原创 2018-12-31 09:36:17 · 2835 阅读 · 0 评论 -
pyTorch api
pytorch api torch.nn.MSELoss原创 2018-12-31 09:37:04 · 722 阅读 · 0 评论 -
pytorch torch.triu
CLASS torch.optim.SGD(params, lr=<required parameter>, momentum=0, dampening=0, weight_decay=0, nesterov=False)SGD梯度下降参数描述params可迭代的参数lr(float)学习速率momentum(float)weight_d...原创 2018-12-31 09:38:59 · 2997 阅读 · 0 评论 -
pytorch transformers
神经网络层的基础类,我们构建的神经网络类要继承这个类.模块可以包含其他模块.方法描述add_module(name, module)插入一个子模块apply(fn)buffers(recurse=True)返回模块的bufferschildren()Returns an iterator over immediate children module...原创 2018-12-31 09:39:39 · 1233 阅读 · 0 评论 -
pytorch torch.optim.Optimizer
线性层实现了y=xAT+by=xA^T+by=xAT+b参数描述in_features输入节点数out_features输出节点数bias如果为假,将不会有b。默认为真参考文献:https://pytorch.org/docs/stable/nn.html#linear-layers...原创 2018-12-31 09:40:28 · 3862 阅读 · 0 评论 -
pytorch torch.nn.Embedding
CLASS torch.optim.Optimizer(params, defaults)优化器的基础类参数描述params(iterable)Tensor或者dictdefaults(dict)优化器的选项方法描述add_param_group(param_group)添加一个参数组load_state_dict(state_d...原创 2018-12-31 09:41:09 · 1075 阅读 · 0 评论 -
2.9 logistic 回归中的梯度下降法
原创 2018-12-31 09:42:58 · 441 阅读 · 0 评论 -
2.10 m 个样本的梯度下降
原创 2018-12-31 09:43:34 · 426 阅读 · 0 评论 -
2.12 向量化的更多例子
原创 2018-12-31 09:48:48 · 225 阅读 · 0 评论 -
2.13 向量化 logistic 回归
原创 2018-12-31 09:49:30 · 168 阅读 · 0 评论 -
2.14 向量化 logistic 回归的梯度输出
原创 2018-12-31 09:50:31 · 183 阅读 · 0 评论 -
2.18 logistic 损失函数的解释
原创 2018-12-31 09:52:42 · 1368 阅读 · 0 评论 -
3.1 神经网络概览
原创 2018-12-31 09:53:48 · 232 阅读 · 0 评论 -
3.2 神经网络表示
原创 2018-12-31 09:54:31 · 174 阅读 · 0 评论 -
3.3 计算神经网络的输出
原创 2018-12-31 09:55:28 · 357 阅读 · 0 评论 -
3.4 多个例子中的向量化
原创 2018-12-31 09:56:14 · 268 阅读 · 0 评论 -
3.5 向量化实现的解释
原创 2018-12-31 09:57:04 · 211 阅读 · 0 评论 -
3.6 激活函数
原创 2018-12-31 09:58:10 · 165 阅读 · 0 评论 -
3.7 为什么需要非线性激活函数?
linear activation function 线性激活函数又称identity activation function 恒等激活函数如果是线性激活函数,那么神经网络只是输入的线性组合。所以隐藏层不能用线性激活函数。只有一种情况可以使用线性激活函数,那就是输出层是连续性变量比如房价信息(可以使用relu激活,因为房价都是正数)。...原创 2018-12-31 09:58:41 · 575 阅读 · 0 评论 -
3.8 激活函数的导数
原创 2018-12-31 09:59:13 · 509 阅读 · 0 评论 -
3.9 神经网络的梯度下降法
原创 2018-12-31 09:59:46 · 203 阅读 · 0 评论 -
3.10 神经网络的梯度下降法-推导
原创 2018-12-31 10:00:15 · 878 阅读 · 0 评论 -
3.11 随机初始化
逻辑回归中可以将参数初始化为0,但是神经网络却不行。偏置b可以初始为0,w却不行。当把w初始化为0的时候,隐藏单元进行的计算是一样的,所以多个隐藏单元会变得没有意义。w可以初始化为很小的值。因为在计算激活函数时,w在很小的时候,梯度会很大。学习速度回很快。...原创 2018-12-31 10:00:44 · 196 阅读 · 0 评论 -
4.1 深层神经网络
逻辑回归是一个浅层模型 shallow有些函数只有非常深层的神经网络能够学习,而浅一些的模型通常无法学习。我们通常先用逻辑回归拟合,然后不停增加隐藏层,然后保留交叉验证结果。...原创 2018-12-31 10:01:16 · 161 阅读 · 0 评论 -
4.2 前向和反向传播
原创 2018-12-31 10:01:51 · 161 阅读 · 0 评论 -
4.3 深层网络中的前向传播
原创 2018-12-31 10:02:24 · 214 阅读 · 0 评论 -
4.4 核对矩阵的维数
神经网络中常用的debug方法是算一遍矩阵的维数原创 2018-12-31 10:02:55 · 428 阅读 · 0 评论 -
4.5 为什么使用深层表示
原创 2018-12-31 10:03:27 · 295 阅读 · 0 评论 -
4.6 搭建深层神经网络块
原创 2018-12-31 10:04:01 · 266 阅读 · 0 评论 -
4.7 参数 VS 超参数
超参数:学习速率迭代次数隐藏层数隐藏神经元激活函数其他参数momentummini batch 大小规则化参数超参数是控制参数的,在机器学习中最好正规的称调参,为调超参。调参基本都是凭借经验,也就是说我们要一直试试试,最终获得最合适的数值。...原创 2018-12-31 10:04:28 · 211 阅读 · 0 评论 -
1.1 训练_开发_测试集
在最初的时候我们会有一个idea,别如有多少个隐藏层,有几个单元等等,然后尝试并运行这些代码,然后不断的调整。自然语言,计算机视觉,语音,结构化数据(结构化数据无所不包,广告,电商,物流,计算机安全)机器学习之初,常见的做法是将所有的数据三七分,或者6分训练集,2分验证集和2分测试集来划分验证集就是检验哪种算法更有效,因此验证集要足够大才能评估,比如有2个或10个算法,迅速判断出哪种算法更有...原创 2018-12-31 10:06:30 · 207 阅读 · 0 评论 -
1.2 偏差_方差
拟合度低 是高bias过度你和 是高variance训练集误差和验证集误差训练集和测试集 准确率相同时高的偏差原创 2018-12-31 10:07:09 · 206 阅读 · 0 评论 -
1.3 机器学习基础
首先是降低bias,至少要使模型拟合训练集,通过扩大更大的神经网络实现然后是降低variance,采用更多的数据然后不断的尝试训练一个大型的神经网络基本没有坏处,只不过就是训练的时间会增加...原创 2018-12-31 10:07:36 · 154 阅读 · 0 评论 -
1.4 正则化
原创 2018-12-31 10:08:01 · 178 阅读 · 0 评论 -
1.5 为什么正则化可以减少过拟合?
当lambda设置过大的时候,w约等于0,也就是相当于我们将w设置为0,这样的话就消除了隐藏单元。这样会将模型从高方差状态编程高偏差状态。原创 2018-12-31 10:08:27 · 222 阅读 · 0 评论 -
1.6 Dropout 正则化
过度拟合的另外一个方法dropout原创 2018-12-31 10:08:57 · 162 阅读 · 0 评论