深度学习tricks（一）——shuffle——同时打乱两个数组，保持原先的对应关系仍然存在

最新推荐文章于 2023-01-31 20:36:02 发布
最新推荐文章于 2023-01-31 20:36:02 发布
阅读量4.8k 收藏 16
点赞数 1
分类专栏： 深度学习 文章标签： 打乱数组 shuffle
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34447388/article/details/83277451
版权

自己做数据处理，因为数据比较复杂的关系（我自己也不太熟练），不太方便借助框架封装好了的包

在做到需要打乱数据这一步的时候，遇到了如何打乱数组，使得原始输入与label的对应关系仍然存在

https://stackoverflow.com/questions/4601373/better-way-to-shuffle-two-numpy-arrays-in-unison

以上是StackOverflow上的类似问题的解析

这里记录一个我觉得用起来方便快捷的方法

X = np.array([[1., 0.], [2., 1.], [0., 0.]])
y = np.array([0, 1, 2])
from sklearn.utils import shuffle
X, y = shuffle(X, y, random_state=0)

 

寻找如意
关注
专栏目录
深度学习系列资料总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
07-17 2万+
说明本系列深度学习资料集合包含机器学习、深度学习等各系列教程，主要以计算机视觉资料为主，包括图像识别、分类、检测、分割等，内容参考Github及网络资源，仅供个人学习。深度学习定义一般是指通过训练多层网络结构对未知数据进行分类或回归深度学习分类有监督学习方法——深度前馈网络、卷积神经网络、循环神经网络等；无监督学习方法——深度信念网、深度玻尔兹曼机，深度自编码器等。手写机器学习笔记github机器学习算法公式推导以及numpy实现github人工智能相关术语link。..................
深度学习论文: Bag of Tricks with Quantized Convolutional Neural Networks for image classification
mingo_敏
08-10 140
本文对首先对PTQ量化的有效方法进行了系统地改进和优化，并在实践中建立了一个黄金准则。遵循这个准则，8位量化的模型可以达到与全精度模型相当的准确性，而无需额外的训练。此外提出了一种简单高效的量化感知训练策略，在较低精度的设置中进一步提高了准确性。最后，作者证明了量化可以与剪枝策略结合使用，并提出了一个多阶段微调的流程将它们连接在一起。
[python] numpy 三行代码打乱训练数据（保持label和data的对应关系不变）
u013084616的专栏
01-21 6721
需求 我有两个数组（ ndarray ）：train_datasets 和 train_labels。其中，train_datasets 的每一行和 train_labels 是一一对应的。现在我要将数组打乱并用于训练，打乱后要求两者的行与行之间必须保持原来的对应关系。 实现 一般的实现思路，应该是先将 train_datasets（或 train_labels ）打乱，并记录被打乱的行号，...
NumPy使用numpy.random.shuffle()函数对两个数组同时洗牌
Blueekyyy
04-12 1242
Python代码： import numpy as np a = np.array([[0,0],[1,1],[2,2]]) b = np.array([0,1,2]) randomize = np.arange(len(a)) #创建一个整数序列 np.random.shuffle(randomize) #打乱整数序列 a = a[randomize] #用做两个数组的索引 b = b[randomize] 输出： [[2 2] [0 0] [1 1]] [2 0 1] ...
一同打乱X和Y的方法
张帅的博客
05-09 1011
相当于打乱索引，然后按索引返回打乱顺序的X和Y p = np.random.permutation(range(len(X))) X,Y = X[p],Y[p]
同时打乱两个数组，并保持一一对应关系不变
知识搬运者
01-08 1480
方法一：（推荐） 此方法直接传入两个数据一起打乱。 import numpy as np from sklearn.utils import shuffle x = np.array([[1., 0.], [2., 1.], [0., 0.]]) y = np.array([0, 1, 2]) x, y = shuffle(x, y, random_state=0) print(x) print(y) # 输出 [[0. ...
python中将两组数据放在一起按照某一固定顺序shuffle
u014180553的博客
11-27 6643
有的时候需要将两组数据，比如特征和标签放在一起随机打乱， 但是又想记录这种打乱的顺序，那么该怎么做呢？下面是一个很好的方法：b = [1, 2,3, 4, 5,6 , 7,8 ,9] a = ['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h','i'] c = list(zip(a, b)) print(c) random.Random(100).shuffle(c)
深度学习tricks——学习率策略
Peach_____的博客
01-31 558
【代码】深度学习tricks——学习率策略。
基于深度学习的小样本分类识别方案总结
热门推荐
herosunly的博客
01-17 7万+
1. 方案一 1.1 算法方案解析 1.1.1 赛题理解 1.1.2 模型选择：尽量使用与数据匹配的SOTA模型 1.1.3 TIM模型介绍 1.1.4 TIM模型-训练 1.1.5 TIM模型-推理 1.1.6 改进思路考虑 1.1.7 基于预训练模型的小样本分类 1.2 下阶段优化思路 2. 方案二 2.1 算法方案解析 2.1.1 赛题理解 2.1.2 数据分析 2.1.3 算法思路 2.1.4 数据预处理 2.1.5 损失函数 2.1.6 其他Tricks 2.2 总结 2.3 展望 3. 方案三
深度学习简明教程系列 —— 经典模型（合集）
编程之路
09-11 6321
本教程是深度学习简明教程系列的第二部分，旨在提取最精炼且必备的深度学习知识点，供读者快速学习及本人查阅复习所用，大多内容是本人结合个人理解补充细节整合而成，参考链接放在文章最后。 第一章AlexNet 1.1 结构与参数 AlexNet的网络结构如下图所示： AlexNet网络结构图 网络参数如下： 卷积层：5层 全连接层：3层 深度：8层 参数个数：60M 神经元个数：650k 分类数目：1000类 1.2 网络细节 1.2.1 分组卷积 由于当时的显卡容量问题...
python 利用numpy同时打乱列表的顺序，同时打乱数据和标签的顺序
python学习者的博客
09-26 2250
可用于网络训练打乱训练数据个标签，不改变对应关系 方法一： np.random.shuffle （无返回值，直接打乱原列表） state = np.random.get_state() np.random.shuffle(train) np.random.set_state(state) np.random.shuffle(label) 方法二： 返回一个打乱的序列，可将其用于以同一顺序打乱不同列表 ''' 遇到问题没人解答？小编创建了一个Python学习交流QQ群：778463939 寻找有志同道合的小
用 sklearn.utils.shuffle 来打乱样本顺序
cocofisher的博客
04-16 8304
直接举例说明： import sklearn X = np.array([[1, 2], [3, 4], [5, 6]]) Y = np.array([[1], [2], [3]]) print(X) print(Y) [[1 2] [3 4] [5 6]] [[1] [2] [3]] x, y = sklearn.utils.shuffle(X, Y) print(x) print(...
如何在Pytorch中对Tensor进行shuffle
qq_31049727的博客
04-27 1万+
今天在训练网络的时候，考虑做一个实验需要将pytorch里面的某个Tensor沿着特征维度进行shuffle，之前考虑的是直接使用shuffle函数（random.shuffle），但是发现random.shuffle函数会导致Tensor里面数据被重复提取，进而导致输出跟输入分布发生变化。 a = torch.randint(0, 2, (3, 3)) print(a) random.shuffle(a) print(a) 因此，经过查找资料后，总结pytorch的tensor可以利用如下.
python-实用操作-同序shuffle-按相同顺序打乱两个数组
qq_17753903的博客
08-29 1万+
应用场景： 在网络训练过程中，将训练数据随机打乱能够过的更好的训练效果； 训练的images 和 labels 需要按照相同的顺序打乱，以保证image--label的对应关系； 这时候可以考虑numpy.random.get_state() , numpy.random.set_state() 这组函数； 两个函数说明如下： https://docs.scipy.org/doc/num...
Pytorch使用shuffle打乱数据
永远的小白虾的博客
07-18 1万+
这个东西算是我被这个shuffle坑了的一个总结吧！ 首先我得告诉你一件事，那就是pytorch中的tensor，如果直接使用random.shuffle打乱数据，或者使用下面的方式，自己定义直接写。 def Shuffle(self, x, y,random=None, int=int): if random is None: random = self.random for i in range(len(x)):
Python机器学习一维/多维数据集顺序打乱
疯狂学习GIS的博客
02-28 1794
1 为什么要打乱数据集   在机器学习中，如果不进行数据集的打乱，则可能导致模型在训练过程中出现“偏见”的情况，降低其泛化能力，从而降低训练精度。例如，如果我们做深度学习的分类，其中初始数据的前80%都是第一类，后20%都是第二类，那么如果我们不打乱数据，模型在前面大部分数据中训练出来的结果都是第一类（即形成了惯性，模型认为这些数据只对应着第一类）；而到后20%数据进行训练时，所得结果也往往全都为第一类；所以要打乱。 2 如何打乱   首先引入random。 import random 2.1 数据特征与
多维数据和标签一起打乱 shuffle
阿豪
10-28 278
原文链接: 多维数据和标签一起打乱 shuffle ...
python中以相同顺序shuffle两个list
keep forward, go, go, go
06-03 1万+
  通常做机器学习问题时，需要准备训练数据，通常会把样本数据和标签存放于2个list中，比如train_x = [x1,x2,...,xN][x1,x2,...,xN][\mathbf{x}_1,\mathbf{x}_2,...,\mathbf{x}_N]，train_y = [y1,y2,...,yN][y1,y2,...,yN][y_1,y_2,...,y_N]. 有时候是需要将数据shuff...
Python机器学习——如何shuffle一个数据集（ndarray类型）
11-26 1万+
稍微比较麻烦的是实现特征向量与类别标签的同步shuffle。如果这里数据集既包含特征向量又包括标签值，可直接调用np.random.shuffle()方法：>>> np.random.shuffle(training_data) >>> X = training_data[:, :-1] >>> y = trianing_data[:, -1]如果已对数据集的特征向量与类别标签列进行分离，这里提供两
深度学习tricks
最新发布
04-30
深度学习tricks是指在深度学习模型训练过程中使用的一些技巧和策略，旨在提高模型的性能和训练效果。以下是一些常用的深度学习tricks： 1. 数据增强（Data Augmentation）：通过对原始数据进行随机变换和扩充，生成更多的训练样本，以增加模型的泛化能力。 2. 批归一化（Batch Normalization）：在每个小批量数据上进行归一化操作，有助于加速模型的收敛速度，提高模型的稳定性和泛化能力。 3. 学习率调整（Learning Rate Schedule）：根据训练的进程动态地调整学习率，例如使用学习率衰减或者学习率预热等策略，以提高模型的收敛性能。 4. 正则化（Regularization）：通过添加正则化项，如L1正则化或L2正则化，限制模型的复杂度，防止过拟合。 5. 提前停止（Early Stopping）：在训练过程中监控验证集上的性能指标，当性能不再提升时停止训练，以避免过拟合。 6. 参数初始化（Parameter Initialization）：合适的参数初始化可以帮助模型更快地收敛和更好地泛化，常用的初始化方法包括Xavier初始化和He初始化等。 7. 梯度裁剪（Gradient Clipping）：限制梯度的范围，防止梯度爆炸或梯度消失问题，提高模型的稳定性。 8. 集成学习（Ensemble Learning）：通过结合多个模型的预测结果，可以提高模型的泛化能力和鲁棒性。 9. 迁移学习（Transfer Learning）：利用已经训练好的模型在新任务上进行微调，可以加快模型的训练速度和提高模型的性能。 10. 深度网络结构设计：合理设计网络结构，包括层数、宽度、卷积核大小等，可以提高模型的表达能力和学习能力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值