- 博客(10)
- 收藏
- 关注
RSS订阅原创 深度学习笔记_7.2_Bert实战
对于embedding层来说，分别是linear（21128，768），linear（2，768），linear（512，768），然后是bert layers，多头注意力那里是3个linear（768，768），然后是残差归一化，也是linear（768，768），然后是多层感知机（mlp）/ 前馈神经网络（FFN），分别是linear（768，768*4），linear（768*4，768），然后是pooler output 是1个768，然后是分类头，这些加起来就是参数。开头是cls，结尾是sep。
2025-03-10 14:16:18
408
原创 深度学习笔记_7.1_自然语言处理与Bert
2025/3/8 20:24于图书馆一楼296号位。前文中我们学习了分类，特征，自监督与无监督，今天我们来讲自然语言处理(NLP)。首先自然而言的，我们怎么用数据来表示文字呢，怎么让模型知道我们输入的是一个“我”字呢，怎么让模型知道“我”字所表达的意思呢。首先可以想到，用一个向量来表示一句话，也就是独热编码，如上图所示，让位置来表示汉字，哪一个位置表示哪一个汉字，这个位置是1，就表示这句话有这个字，但是有很大的缺点，太长了，而且不表示含义。
2025-03-09 18:10:34
594
原创 深度学习笔记_6.1深度学习与特征
还有一种方法，我们可以把一张图的黑白版本当作x，彩色版本，当作y， 给一张黑白图片，让还原出彩色图片长什么样子，这样情况下也能让模型学习特征提取的能力，如果模型没有特征提取的能力，模型怎么能知道，这玩意应该是什么颜色呢，如上图，下面就是这个模型的架构，就是卷卷卷卷卷卷卷，没别的。如图，假如我用梵高的《星月夜》，放进编码器里面，可以提取出梵高的画风，然后用我现场拍的房子图片，提取出房子的排布，形状，分离出来，然后一结合，就有了梵高画风的房子。chatgpt里面的p就是预训练，g和t以后讲。
2025-03-07 21:07:07
641
原创 深度学习笔记_5.1图像分类实战_食物分类_代码详解
第四章中我们讲了分类的模型原理和卷积神经网络，第五章我们上实战项目，搞定一个食物分类。首先安装cv2库，timm库，中间省略（记得退梯子，挂梯子安不上）下面是所需的库。
2025-03-06 17:21:47
664
原创 深度学习笔记_2.1训练集，验证集和测试集的区别
验证集：你在培养了一段时间这些学生（模型）之后，他们都有了或高或低的算法能力，然后期末测试，你把验证集放到oj，限时模拟acm来测试他们的水平，最后根据期末分数，你挑选出几个水平最高的学生（模型）组成队伍，去acm现场打比赛。打个比方，你是一名acm集训老师，你手里有许多算法题（样本数据）你把这些算法题随机划分成训练集，验证集，测试集，你带的有一个班30个想去打acm的大学生 ，他们的基础为0，但是有不同的天赋。2025/3/6 10:15于图书馆一楼77号位。测试集：就是acm现场赛。
2025-03-06 10:24:36
204
原创 深度学习笔记_4.2AlexNet与ResNet
（0）Conv2d(3, 64, kernel_size=(11, 11), stride=(4, 4), padding=(2, 2))：这玩意就是一层卷积，有5个参数，分别是输入特征图数量、输出特征图数量、卷积核大小、步长、padding。如上图所示，左右两边是一样的效果，但是右边只用了一个3*3的卷积核，卷了两次，左边5*5=25个参数量，右边3*3=9个参数量。，这里的pool（3，2）意思是，3*3个格子pool一次，每次走2步，然后经过第二个卷积。说人话，就是在每一次的x之后，使其加上f(x)
2025-03-05 14:26:12
370
原创 深度学习笔记_4.1卷积神经网络详解
在深度学习界有两把神器，一把是linear，另一把是卷积，前文中我们学到了第一把，今天学第二把：卷积，深度学习界基本上都是靠这两个完成的，要么就是他们的变体。如果从数据领域来看，回归和分类的区别基本上就在这里：回归就是找一条线，预测数据走向，模拟已有的数据分布，分类相当于找一条分界线，用于把这两个类别分开来的线。分类和回归，流程上没有任何区别，取数据，做模型，训练流程也没有分别，唯一的区别是模型，模型的输入不再是一组向量，而是一个图片，输出也不再是一个值，而是一个类别。
2025-03-05 10:43:00
1553
原创 深度学习笔记_3.1回归
模型也是通过类实现,包括两个重要方法init(初始化)和forward(前向)：init(初始化)：即搭建模型框架;forward(前向)：规定数据如何通过模型此处定义我的模型继承于nn库的Module类，是 PyTorch 中所有神经网络模块的基类def __init__(self,InDim):#此处对我们的模型进行初始化，因为模型的输出维度为1，也就是输出一个数，故无需定义，输入维度定为InDimself.fc1=nn.Linear(InDim,64)#此处定义第一层的输入和输出维度。
2025-03-04 10:36:51
924
原创 3.2模型优化升级
主要是用于降维，用线性变换将原始的高维数据转换为一组新的、相互正交的低维特征向量，这些新的特征向量被称为主成分，其核心思想是找到数据中方差最大的方向，将数据投影到这些方向上，使得投影后的数据能够尽可能地保留原始数据的信息，同时实现数据维度的降低。首先，我们通过一系列的x，选取一个大致的模型，计算得到的预测值y‘，然后计算出这个x对应的真实值y与预测y’的差loss，去反调整模型，不断的训练模型使其不断接近真实的自然规则。左边3，右边4，则w=3*4=12，b=4(右边的数量)，则总参数为12+4=16个。
2025-03-03 17:41:32
1156
原创 校园网连接后，浏览器打不开登录界面可能的一种解决方法
如图为edge浏览器，昨天校园网还是能正常连接并弹出登录界面，但是今天校园网连接后，打开edge浏览器却始终弹不出登录界面，就算打开收藏夹里登录界面的网址也一直转圈圈，但是手机却可以正常弹出并连接，然而在尝试网上说的各种改ip和dns的方法后，也没有效果。那么有没有一种可能，你的情况和我一样，是昨天晚上用浏览器的vpn插件没有关。...
2022-04-15 13:08:41
13225
17
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人