深度学习
文章平均质量分 76
笔记理解
方云华
这个作者很懒,什么都没留下…
展开
-
第七节:Bert实战-文字序列分类任务
现有一个酒店相关的数据集jiudian.txt,内容大致如下图。1表示好评,0表示差评。现有训练集和测试集,要区分测试集中评价的好坏。包含文件如下:bert-base-chinese:bert模型的一种,是Bert模型针对中文的一个版本,有十二个编码器层。model_save:模型内容保存地址。model_utils:将数据,模型和训练的方法包装在一个文件夹中,调用方便,main函数精简。jiudian.txt:数据集文本。原创 2024-01-31 09:42:10 · 426 阅读 · 0 评论 -
第六节:自注意力机制与Bert
图片可以用矩阵表示,那么对于文字,我们可以采用向量。原创 2024-01-30 14:45:40 · 1129 阅读 · 1 评论 -
第五节:食物分类实战
有11类食物,以图片形式存放在指定路径。其中有带标签的数据,也有不带标签的数据。现在要让计算机识别图片并为其归类。可见,自己训练的模型只有0.1左右的准确率,要想提高精确度,还需要借助久经校验的模型与更多的数据。对于上述的数据,有超过一半是无标签的,而我们要想获得准确的。通过固定随机种子,保证代码可重复性。原创 2024-01-23 11:01:27 · 472 阅读 · 1 评论 -
第四节:图像分类任务
图像应该是一个三维矩阵张量,分别由长度宽度和深度,其中深度代表色彩通道,比如黑白图片的深度为1,而在RGB色彩模式下,图像的深度为3。对于6*6->4*4的图,这套卷积核大小为3*3*3.又因为最终得到的特征图为1*4*4卷积核只有一个,所以参数量为1*3*3*3=27。如下图,对于四个数据,我们只选择其中一个最大值,2*4*4的特征图大小变为了2*2*2。padding=2则特征图应该扩展为228*228,228*228的特征图可以容纳5*5的卷积核一共224个,所以特征图为224*224。原创 2024-01-21 16:02:26 · 1503 阅读 · 1 评论 -
第三节:基础的回归实战-新冠感染人数预测
例如y为32*1的张量,每一个数据都包含了一个[],形如:[[1], [2], [3], [4], ......, [32]]。squeeze(1)表示去掉一维,最后得到的结果为[1, 2, 3, 4, ..., 32]数据类包含三个函数:__init__()、__getitem__()、__len__()。现在有前两天的情况,要求估计第三天的情况。__init__()函数中定义了神经网络的方法、激活函数与参数等内容。b.模型类(Model):模型类定义了神经网络框架模型,并引入激活函数,构建全连接网络。原创 2024-01-19 11:13:44 · 490 阅读 · 0 评论 -
第二节:神经网络基础代码
torch.normal是按照正态分布生成的随机数,其参数为(EX, DX, (row, col)),如上述代码,生成一个按照均值为0, 方差为1的标准正态分布生成一个随机的data_num*len(w)的矩阵。如上例,每调用一次data_provider,就返回两个数据,这两个数据是继承之前结果的:第一次调用返回内容对应的下标为0-15,第二次则为16-31,以此类推。初始化w_0, b_0,w_0为一个服从正态分布的向量,b_0为一个数值。最后,对处理前后的值打印并比较,打印结果如下。原创 2024-01-18 19:24:53 · 1287 阅读 · 1 评论 -
第一节:深度神经网络
神经元类似人的大脑神经,对于一个事件人会从不同角度分析,并且每个角度都有各自的权重。深度神经网络中的神经元也是类似wij代表xj在第i个神经元上的权重,b表示该神经元的偏置值。称为前向过程,而经过前向过程后,需要使用第0节中涉及到的梯度下降算法(Gradient Descent)进行梯度回传,也叫反向传播过程。对每一个公式中的参数分别求偏导,以w为例,w不断减去学习率与偏导数的积使其尽可能达到取得梯度的点。其中,b为本层偏置值,ci(i=1, 2, 3)为ri(i=1, 2, 3)对应的权重。原创 2024-01-14 11:00:09 · 353 阅读 · 0 评论 -
第零节:机器学习与深度学习
为使得w不断趋向于0,每次让w减去学习率与L关于w的偏导的乘积,b同理。最终找到w,b为0的点。不宜过小,时间过长,关于学习率的取值可以参考论文。给定两个列表如x_data=[1.0, 2.0, 3.0],y_data=[2.0, 3.0, 4.0]。MSE应当尽可能小,不断手动调整权重w(w的步长应适当)以找寻最符合的w与b。输出:回归(填空)/分类(选择)/结构化输出(简答)w*,b*为让L最小的w与b,此处L即指均方误差。其中,w为权重(weight),b为偏置值。输入:向量/矩阵(图片)/序列。原创 2024-01-13 09:06:16 · 381 阅读 · 1 评论