深度学习
文章平均质量分 85
Savannah913
这个作者很懒,什么都没留下…
展开
-
class Model(nn.Module)
定义模型的运算过程:forward(向前传播的过程)继承类:nn.Module。初始化所有层:_init_模型改写与解释_哔哩哔哩_bilibili。对于上述激活函数,也可以采取如下形式写。原创 2022-10-29 11:09:18 · 1993 阅读 · 0 评论 -
GCN-GAN基础知识部分
如上图所示,一开始蓝色部分(Memory Cell)中存的是c,从z输入处理后是g(z)后经过input gate,得到g(z)f(zi),f(zi)是1就让g(z)通过,是0就不让这个g(z)通过,到达memory cell时,有forget gate决定要不要忘记之前的信息c,即cf(z),f(z)取0,1决定信息c要不要留下,即得到如上图所示c`的式子,经过进一步处理得到h(c`)由output gate的f(z)决定要不要将其输出。G和D构成一个动态的“博弈过程”,最终的均衡点为纳什均衡点。原创 2022-10-19 10:52:42 · 1433 阅读 · 0 评论 -
神经网络模型优化器
SGD是最基本的一种方法,先初始化参数,计算梯度,往梯度的反方向走一步到达,因为拐点的方向L是增加的,所以要往它的反方向走一步,继续计算处的梯度,再往其反方向走,每一个time_step都是计算梯度之后往其反方向走一步。 和SGD一样,一开始都要初始化参数,不同的是设置一个movement即=0,计算处的梯度,取其反方向作为需要更新的方向,movement计算更新的步长更新▽L(),同时=+。 加入moment的好处就在于,即使当前步骤的梯度为0,由于前一项的移动会累加到下一步原创 2022-07-02 11:05:59 · 602 阅读 · 0 评论 -
预测房价:回归问题
分类问题与回归问题都是机器学习常见的问题,分类问题的目标是预测数据点对应的单一离散标签,而回归问题预测的是连续值而不是离散的标签,eg:根据气象数据预测明天的气温。 采用20世纪70年代,波士顿房屋价格数据集,共506个样本,训练样本404个,预测样本102个,每个样本都有13个特征,人均犯罪率、房地产税率、住宅房间数等。 显然,不同特征的数据差距很大,对数据的学习可能会有一定的困难,所以需要进行数据标准化,即,输入数据的每个特征(列)都减去平均值,除以标准差,这样得原创 2022-07-01 23:01:42 · 1216 阅读 · 0 评论 -
深度学习笔记二(梯度)
训练神经网络,尤其是深度学习所面临的一个问题就是梯度消失与梯度爆炸,即梯度有时非常大(小),甚至以指数级别的速度,可以通过更好地选择随机初始化权重来避免这个问题。 假设我的网络每层只有两个隐藏单元,每层的激活函数采用 g(z) = z 这种线性激活函数,且,那么将会输出,显然每层的输出,即作为值 假设每个权重矩阵带入上述之后可以得到,最后计算的结果就等于,对于比较深的神经网络,将会很大,指数级爆炸式增长。同样地,如果将1.5换为0.5,那么激活函数将会以指数级别递减。原创 2022-06-27 20:33:05 · 527 阅读 · 0 评论 -
新闻分类——单标签多分类
目录准备数据加载数据编码数据独热编码准备数据实现构建网络构建网络模型编译验证方法训练数据绘制训练损失和验证损失 绘制训练精度和验证精度编辑 处理标签和损失的另一种方法中间维度足够大的重要性总结编码数据独热编码 简单来说,to_categorical就是将类别向量转换为二进制(只有0和1)的矩阵类型表示。(1条消息) keras中to_categorical函数解析_文科升的博客-CSDN博客_to_categoricalhttps://blog.csdn.net/moyu123原创 2022-06-25 22:50:26 · 561 阅读 · 0 评论 -
深度学习笔记一(实践相关)
目录训练、验证、测试集(Train/Dev/Test sets)验证集和测试集没有测试集偏差和方差(Bias/Variance) 高偏差——欠拟合高方差——过度拟合 适度拟合 编辑 训练集误差和验证集误差(Train set error and Dev set error)最优误差分析优化模型(机器学习基础)处理偏差处理方差需要注意正则化L1,L2正则化逻辑回归的损失函数增加L1正则化:L2正则化时最常见的正则原创 2022-06-25 15:43:49 · 1173 阅读 · 0 评论 -
Keras基本使用(二)
Convolution2D进行二维卷积操作,MaxPooling2D:二维的最大池化,Flatten:将数据扁平化一个一维数据显然利用CNN进行图像处理的结果非常好。 IMDB数据,50000条严重两级分化的评论,测试集和训练集各占一半,其中,train_data和test_data这两个变量都是评论组成的列表,每条评论是单词索引组成的列表,train_labels和test_labels都是0,1组成的列表,其中0代表负面,1代表正面。即第一条评论以及其标签。将某条评论迅速原创 2022-06-24 09:43:21 · 681 阅读 · 0 评论 -
Keras---基本使用(一)
Keras 的核心数据结构是 model,一种组织网络层的方式。最简单的模型是 Sequential 顺序模型,它由多个网络层线性堆叠。对于更复杂的结构,你应该使用 Keras 函数式 API,它允许构建任意的神经网络图。构造数据numpy.random.normalnumpy.random.normal(loc=0.0, scale=1.0, size=None)loc:均值,scale:标准差。(正态分布)使用 Sequential() 搭建模型引用(5条消息) ker原创 2022-06-22 19:51:17 · 4932 阅读 · 1 评论