- 博客(24)
- 收藏
- 关注
RSS订阅原创 增量学习 incremental learning
目前增量学习方法通常隐式地要求任务性质差异不能太大，当任务的性质和难度差异太大时，大部分增量学习方法的性能都会严重下降，甚至低于简单的基线模型。相较而言，增量学习策略可以仅针对新增数据进行持续更新，避免重复训练整个数据集，降低计算复杂度，提高模型泛化能力，达到平衡模型性能和效率的效果。其中一点是增量学习通常需要引入额外的超参数来平衡模型的稳定性和可塑性，这些超参数通常在验证集被优化，但本质上违反了增量学习不能获取未来数据的因果律，从而能导致人们作出过于乐观的结论，在真实的生产环境中常常无法重现实验结果。
2024-04-17 20:17:53
273
原创 相关概念辨析
具体来说，LwF算法先得到旧模型在新任务上的预测值，在损失函数中引入新模型输出的蒸馏损失，然后用微调的方法在新任务上训练模型，从而避免新任务的训练过分调整旧模型的参数而导致新模型在旧任务上的性能下降。增量学习和持续学习continual learning ，终身学习 lifelong learning 概念大致是等价的，他们都是在连续的数据流中训练模型，随着时间推移，更多的数据逐渐可用，同时旧数据可能由于存储限制或隐私保护等原因逐渐不可用，并且学习任务的类型和数量没有预定义（例如分类任务中的类别数）
2024-04-17 14:46:04
734
原创 数据分布自适应方法
加州大学伯克利分校的Tzeng等人提出深度领域混淆（Deep Domain Confusion DDC）解决深度网络的自适应问题。DDC遵循上述讨论的基本思路，在ImageNet数据集上训练AlexNet网络进行自适应学习。DDC固定Alexnet前7层，在第8层加入自适应度量。自适应度量普遍采用MMD准则。一般在倒数第二层进行适配，即在分类器前一层加入自适应层可以达到最好效果。
2024-03-25 21:11:19
104
原创 迁移学习基本概念
样本权重迁移法：由于迁移学习中样本维度和数量通常都是非常大的，因此直接针对源域分布和目标域分布进行估计是不可行的。为达到迁移目的，我们通过有针对性的从源域中筛选处部分样本，使得筛选出的样本所形成的概率分布能够与目标域数据的概率分布相似，之后再使用传统机器学习进行建模。在迁移学习中，源域与目标域的数据通常来自不同的数据分布，这使得在源域上训练好的模型很难直接在目标域数据上取得好的效果。因此，如何衡量并降低两个领域之间的分布差异从而使得源域上的模型可以更好的泛化到目标域成为迁移学习领域的核心问题。
2024-03-25 20:41:12
212
原创 注意力机制
同时，不支持并行计算，训练起来很慢，每个词向量对应的导数依赖后续的词的导数，这样递归求导是梯度消失的主要原因。关键的操作是计算encoder和decoder state之间的关联性的权重，得到attention 的分布，从而对当前输出位置得到比较重要的输入位置的权重，在预测输出时相应的会占较大的比重。RNN本身的梯度消失问题，对于较长的句子，很难希望讲输入的序列转化为定长的向量而保留所有的有效信息，所以随着所需翻译句子的长度的增加，这种结构的效果会显著下降。
2023-12-12 16:36:52
48
原创 #copulas包python实现。利用极大似然法估计ABCD四个序列的建立D-Vine copula函数，并利用A和D的联合分布，计算A+D的估计区间。
【代码】#copulas包python实现。利用极大似然法估计ABCD四个序列的建立D-Vine copula函数，并利用A和D的联合分布，计算A+D的估计区间。
2023-12-10 22:36:04
342
1
原创 tensorflow+自编码器
自编码器包括编码器和解码器，编码器提供按规则编码的功能，解码器将编码器的输出扩展为与编码器输入具有相同的维度的输出。在这个过程中，自编码器通过数据重组进行机器学习。与前面自编码器不同的是，卷积自编码器使用卷积层代替全连接层，目的是降低输入特征的维度，使得速度更快，准确率更高。
2023-11-28 14:46:10
53
原创 tensorflow与卷积神经网络
每个卷积层（convolutional layer）中都存在多个卷积单元，这些卷积单元的优化依赖反向传播算法，目的是通过迭代输入提取更复杂的特征。卷积神经网络有卷积层与池化层以及全连接层组成。
2023-11-28 14:06:59
18
原创 kernel_initializer=‘he_normal‘
kernel_initializer=he_normal 指的是在初始化神经网络权重时使用的方法。he_normal 是一种用于初始化权重的方法，其中权重的初始值是从均值为 0，标准差为 sqrt(2 / fan_in) 的正态分布中随机抽取的。这种初始化方法通常被用于 ReLU 激活函数的网络中。
2023-11-28 11:23:51
245
原创 CNN与VIT
最后将得到的向量序列输入Transformer层，该层利用自注意力机制来远程依赖性并学习有意义的视觉特征。滤波器卷积后，形成特征图，表示所学习的特征在不同空间未知的存在。resnet通过跳跃连接解决了深度网络中梯度消失的问题，允许网络学习残差函数，resnet结构能够训练更深层次的网络，显著提高性能。池化层：减少特征图的空间维度，减少所需的计算量和过度拟合的风险。全连接层处理卷积层和池化层提取的特征，并将它们映射到所需的输出空间。这些层配置堆叠起来，以创建能够学习视觉数据的分层表示的深层复杂网络。
2023-11-26 13:53:04
93
1
原创 强制教学teacher forcing
强制教学（teacher forcing），在训练中我们可以将标签序列（训练集的真实输出序列）在上一个时间步的标签作为解码器在当前时间步的输入。
2023-11-24 11:11:23
47
1
原创 卷积神经网络中“通道”概念
在真实数据中，卷积维度可能会更高，比如彩色图像在高和宽维度外还有RGB3个颜色通道。假设彩色图像的高和宽分别为h和w（像素），那么它可以表示为一个3*h*w的多维数组。我们将大小为3的这一维称为通道（channel）。多输入通道/多输出通道。
2023-11-23 22:27:01
135
原创 残差网络(residual network)\稠密连接卷积网络（densenet）
与卷积层类似，通过滑动窗口概念，对一个滑动窗口内部实施某种规约操作，起到缩减输入特征尺寸的作用。常见的池化层有最大池化层nn.maxpool 和平均池化层nn.avgpool ，分别在滑动窗口内部进行最大化操作和求平均操作。卷积原属于信号处理的一种运算，可以提取信号的主要成分信息，去除噪声干扰。后引入CNN之中，作为输入中提取特征的基本操作。存在补零（zero padding） 和跨步（stride）概念。CNN中完整的卷积是对于两个4维张量进行操作。,而不是直接学习hx。
2023-11-23 21:05:16
123
原创 生成网络（generative adversarial network, gan)
允许更高的学习率，降低对初始化 的强依赖，作为一种正则化形式，减少嘞对dropout的依赖。在此处我们引入批归一化，其类似于中间函数，或当均值和方差在训练中随时间变化时用于归一化中间数据的层。微步幅卷积，工作方式与卷积操作相反，简单来说，尝试计算出如何将输入向量映射到更高的维度。在之前的例子中，数据在进入网络之前做的归一化处理，无法保证中间层获得是归一化的输入。批归一化在训练、验证、测试期间的表现不同。训练期间，均值和方差在批数据上进行计算。验证和测试时，使用的是全局值。
2023-11-23 16:21:59
59
原创 序列数据与文本的深度学习
递归神经网络的及其不同的实现，例如长短期记忆网络LSTM以及门控循环单元gated recurrent unit GRU，它们为大多数深度学习模型提供文本和序列化数据，为序列化数据使用一维卷积。(1)实现一个rnn模型。
2023-11-23 16:01:06
47
原创 深入了解神经网络
计算成本较低，因为只是判断了阈值，并未计算任何类似于sigmoid，tanh函数计算的内容。在python ，通过将父类的名字作为参数传入来创建子类，init方法相当于python的构造器，super方法将子类的参数传给父类，父类一般为nn.module。问题在于sigmoid函数输出值为0或1时，前一层的梯度几乎为0，使得权重不能调整，因此会产生无效神经元。上述代码即为：接受一个大小为10的张量的输入，并在应用线性变换后输出一个大小为5维的张量。relu:把所有负值取做0，正值保持不变。
2023-11-23 15:27:27
21
原创 OperationalError: (1130, “DESKTOP-FJKISOS‘ is not allowed to connect to this MySQL server“)
通过pymysql 连接本地数据库报错打开MySQLmysql -u root -p 查看localhost权限use mysql; select host,user from user; 授予root@localhost权限update user set host = '%' where user ='root';flush privileges;通过pymysql 建立连接import pymysql conn = pymysql.connect(hos
2022-03-04 13:41:55
765
转载 ERROR 2003 (HY000): Can‘t connect to MySQL server on ‘192.168..‘ (10013)
更改Ubuntu MySQL文件sudo nano /etc/mysql/mysql.conf.d/mysqld.cnf找到 bind - address 这一行，如下图所示。改成如下默认情况下， bind - address 的值为 127.0.0.1 ，所以只能监听本地连接。我们需要将这个值改为远程连接 ip 可访问，可使用通配符 ip 地址 *， ::， 0.0.0.0 ，当然也可以是单独的固定 ip，这样就仅允许指定 ip 连接，更加安全。保存并退出然后重启mysq..
2022-02-19 20:27:13
604
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人