神经网络
文章平均质量分 93
孤单中颤抖
这个作者很懒,什么都没留下…
展开
-
【神经网络】Transformer小结
目录Transformer介绍Tansformer具有两个突出的贡献:自注意力机制自注意力机制模块多头注意力机制Transformer介绍Tansformer具有两个突出的贡献:1.自注意力机制,允许网络捕获序列元素之间的“长期”信息和依赖关系;2.在无监督的大数据集上进行预训练,然后用小样本数据集微调到目标任务。自注意力机制自注意力机制估计预测任务中所有实体两两之间的相关性;自注意力层通过聚合来自完整输入序列的全局信息更新序列的每个组成部分。自注意力机制模块自注意力机制是如何将序列中的每原创 2021-03-31 09:50:24 · 4637 阅读 · 0 评论 -
【神经网络】二、softmax回归(多输出的单层神经网络)
目录1.分类问题2.softmax回归模型(1)模型定义(2)softmax函数(3)交叉熵损失函数3.代码实现二级目录1.分类问题根据上一章,我们知道线性回归模型用于解决连续值预测问题。而解决离散值的预测,例如:图像分类等。就需要使用诸如softmax回归的分类模型。2.softmax回归模型(1)模型定义(2)softmax函数(3)交叉熵损失函数3.代码实现二级目录...原创 2021-02-21 11:09:13 · 959 阅读 · 1 评论 -
【神经网络】一、线性回归(单输出的单层神经网络)
目录1.线性回归问题2.线性回归模型(1)模型定义(2)模型训练①训练数据②损失函数③优化函数(3)模型测试3.代码实现(1)Pytorch代码实现(2)Tensorflow代码实现1.线性回归问题什么是线性回归?简单举个例子,给定一个直线方程 y=kx+by=kx+by=kx+b 和位于该直线上的两点(x1,y1)(x_1,y_1)(x1,y1)、(x2,y2)(x_2,y_2)(x2,y2)。问x=x3x=x_3x=x3时,y=y3=?y=y_3=?y=y3=? 根据中学知识,先利用已知原创 2021-02-20 21:32:39 · 2287 阅读 · 0 评论