- 博客(23)
- 收藏
- 关注
RSS订阅原创 Ubuntu18.04安装MySQL数据库
1、ubuntu18.04系统下安装mysql的注意事项注意：在Ubuntu18.04系统下，采用sudo apt install mysql-server命令的方式默认安装的是MySQL5.7，MySQL5.7版本最高只适配到Ubuntu17.04，不支持Ubuntu18.04。MySQL8.0可适配到Ubuntu18.04，故如果系统使用的Ubuntu18.04，只能安装MySQL8.0，而且加密方式需要选择5.x的加密，因为有兼容性问题，如果你已经执行了上边的命令，安装了MySQL5.7，需要先卸载
2021-08-20 18:29:43
2000
原创 Pytorch学习——Tensor张量相关操作
Tensor类型与numpy类型、list类型数据的相互转化Pytorch中Tensor的数据类型Tensor的数据类型及转化——int、long、double、float、half等快速创建Tensor一览表torch.empty和torch.zeros的区别torch.Tensor和torch.tensor的区别随机抽样类函数——torch.randomtorch.tensor.new_ones()返回一个与size大小相同的用1填充的张量torch.rand_like生成相同维度
2021-07-19 09:18:37
314
原创 模型训练中——模型不收敛或训练失败的原因
训练过程中模型不收敛，应该怎么做，原因有哪些？分以下几步走：(1)要保证训练的次数够多，若训练次数够多没收敛，则进行(2)(2)考虑采取措施解决一、数据与标签(1)没有对数据进行预处理。数据分类标注是否准确？数据是否干净？(2)没有对数据进行归一化。不同评价指标往往具有不同的量纲和量纲单位，这样的情况会影响到数据分析的结果，为了消除指标之间的量纲影响，需要进行数据标准化处理，以解决数据指标之间的可比性。大部分神经网络流程都假设输入输出是在0附近的分布，从权值初始化到激活函数、从训
2021-07-18 21:38:43
14165
原创 Pytorch学习——常用优化器区别和优缺点
使用import torch.optim as optimoptimizer = optim.Adam(net.parameters(), lr=eval(LR_G))典型的梯度下降法GD(gradient descent)介绍：梯度下降法(gradient descent)是求解无约束最优化问题的一种常用方法，有实现简单的优点。梯度下降法是迭代算法，每一步需要求解目标函数的梯度向量。特点：标准下降时在权值更新前汇总所有样例得到的标准梯度，随机下降则是通过考察每次训练实例来更新。批量梯度下
2021-07-18 20:57:23
1359
原创 Pytorch学习——LSTM与LSTMCell
nn.LSTM()该模块一次构造完若干层的LSTM。构造方法model = nn.LSTM(2, 2, 10, batch_first=True)"""参数说明： - feature_len:特征的维度 - hidden_len:隐藏层的个数 - layer_num:每个时间步所对应的模型层数 - batch_first:用来指示数据应该以什么形式来给，默认为False，数据形状(seq_len,batch,feature_len)；否则形状为(batch,seq_len
2021-07-14 21:30:16
2411
原创 Python学习——四种字符串格式化
链接：https://blog.csdn.net/qq_27825451/article/details/105652244
2021-07-14 14:47:46
77
原创 Python数据可视化－－matplotlib使用
可视化数据－matplotlib图表的类型和基本组成图表的常用设置（１） 基本绘图plot函数（２）设置画布（３）设置坐标轴（４）添加文本标签（５）设置标题和图例（６）添加注释（７）调整图表与画布边缘距离（９）坐标轴的其他属性上述部分属性代码实现常用图表的绘制（１）多折线图代码实现（２）热力图代码实现图表的类型和基本组成图表类型图表的基本组成 画布：图表其他元素的容器 图表标题：用来概括图表内容的文字，常用功能有设置字体颜色、字号和字体颜色等 绘图区：显示图形的矩形区域，可以改变
2021-07-12 18:43:00
232
原创 Python数据处理－－pandas使用
数据结构实现方式：Series和DataFrameSeriesDataFrame布尔值数组和函数应用数据清洗Pandas本身是建立在NumPy之上的，故NumPy中的一维数组都可转化为SeriesSeries创建可通过列表或数组直接创建 a、s1 = Series([1,2,3]) b、s2 = Series([1,2,3], index=['a', 'b', 'c']) c、s3 = Series(d1), d1={'a':1, 'b':2, 'c':3} d、s3.i
2021-07-10 20:18:35
133
原创 Pytorch模型训练技巧－－seed
模型训练中的随机种子设置作用：固定住深度模型训练的过程，使得每次从头开始训练模型初始化方式和数据读取方式保持一致使用：seed = 1np.random.seed(seed)torch.manual_seed(seed)torch.backends.cudnn.deterministic = True # 保证每次卷积算法返回结果一样torch.backends.cudnn.benchmark = False # 保证每次cudnn使用的都是同一种算法，而不是自行选择最优算法
2021-07-07 11:05:50
1783
原创 python数据预处理
将图片按比例分在多个文件夹(7:3分成训练集和测试集)目录结构目的!：将image_region文件夹下面的01-12文件夹中的图像按比例分成训练集和测试集格式要求：train文件夹中有文件夹为01-12，test文件夹中一样，其中的图片数据量不同分之前目录结构分之后目录结构实现代码：import osimport randomimport shutilfrom shutil import copy2category = ['01', '02', '03', '04',
2021-06-20 16:20:47
123
原创 Pytorch模型训练技巧--warmup
学习率pytorch中的学习率调节策略实际中学习率调节策略代码实现pytorch中的学习率调节策略（1）等间隔调整学习率 StepLR（2）按需调整学习率 MultiStepLR（3）指数衰减调整学习率 ExponentialLR（4）余弦退火调整学习率 CosineAnnealingLR（5）自适应调整学习率 ReduceLROnPlateau（6）自定义调整学习率 LambdaLR实际中学习率调节策略在顶会论文和知名比赛中，作者一般都不会直接使用上述学习率调整策略，而是先预热模型（wa
2021-06-16 13:24:22
1686
转载 pandas之read_csv 与 to_csv 参数详解
转载：https://blog.csdn.net/u010801439/article/details/80033341
2021-05-26 14:43:42
137
转载 Python+ opencv:将长视频均匀的切成短视频
转载：https://blog.csdn.net/weixin_45654744/article/details/105676660#commentBox==注意：==这种方式切割出来的短视频，没有音轨信息，因为生成的短视频是由多张采样图片拼接起来的。
2021-05-26 13:06:06
368
1
原创 NLP文本生成任务中的评价指标
1、BLEU 是最早提出的机器翻译评价指标，是所有文本评价指标的源头，怎么吹都不为过。这也是现在机器翻译评价的事实标准，有标准的 perl 测评脚本，这样大家用起来就不会有什么实现上的偏差；Python 实现也很多，我记得 NLTK 工具箱里就有。BLEU 的大意是比较候选译文和参考译文里的 n-gram（实践中从 unigram 取到 4-gram） 重合程度，重合程度越高就认为译文质量越高。选不同长度的 n-gram 是因为，unigram 的准确率可以用于衡量单词翻译的准确性，更高阶的 n-gram
2021-05-16 18:13:45
863
原创 解决Transformer中的时空复杂度
Longformer：超越RoBERTa，为长文档而生的预训练模型https://blog.csdn.net/xixiaoyaoww/article/details/107398795
2021-05-08 01:05:43
395
原创 Pytorch中的masked_fill()函数
masked_fill()函数主要用在transformer的attention机制中，在时序任务中，主要是用来mask掉当前时刻后面时刻的序列信息。此时的mask主要实现时序上的mask。>>>a=torch.tensor([1,0,2,3])>>>a.masked_fill(mask = torch.ByteTensor([1,1,0,0]), value=torch.tensor(-1e9))>>>a>>>tenso
2021-05-07 12:05:22
4678
原创 Pytorch中保存&加载模型
Pytorch中保存&加载模型一、保存和加载模型1.保存模型2.加载模型二、CPU/GPU保存和加载模型1、GPU上训练，CPU保存模型三、加载和保存Checkpoint(断点续传)一、保存和加载模型1.保存模型pytorch中保存模型的有两种方式：1、保存整个模型：即包括神经网络的的结构信息和模型参数信息，save的对象是网络net。后缀一般命名为.pkl。2、保存模型参数：即仅保存模型的可训练参数信息，save的对象是网络参数字典net.state_dict()。后缀一般命名为 .pt
2021-05-07 10:39:21
581
原创 Pytorch中的nn.DataParallel()
多GPU训练与BN归一化的关系？nn.DataParallel()BN归一化nn.DataParallel()当有多个GPU资源，且使用nn.DataParallel()，把模型同时放在多个GPU上时，需要注意：输入：在执行forward()函数时，输入到模型中的batch会被分配到不同的GPU上并行进行计算，拆分维度默认为第一维度（dim=0），例如：输入数据为（24,2,32,32），GPU数量为3，则每个GPU上都会有一个forward()函数，且数据为（8,2,32,32），三个forwar
2021-05-06 15:38:10
471
原创 读写文件
Python中读写各种后缀名文件的包使用小卡片json包的使用pandas包的使用json包的使用1、加载.json文件，并将读取到的字符串转化为字典：with open(json_path, 'r') as f_str: train_dict = json.load(f_str)2、将字典写入到.json文件中：with open(path, 'w') as outf: json.dump(pre_dict, outf)注意：只有字符串才能写入文件，所以此处
2021-05-03 21:26:27
78
原创 Python中list的用法小卡片
Python中list的用法小卡片一、基本操作二、列表脚本操作符三、列表的常用方法四、Python中能操作列表的内置函数五、Python中列表的反转List是python中的一种高级数据类型，其中可以存储不同的数据类型，其值可变，且可重复。一、基本操作值访问：li[idx]、li[idx:idy]更新列表：li[idx]=0、li.append(val)、li.insert(idx,val)删除列表：del li[idx]、li.pop()、li.remove(val)二、列表脚本操作符1
2021-05-02 11:21:09
222
原创 Pytorch中的DataLoader()函数
DataLoader函数1.DataLoader(object)的参数dataset(Dataset): 传入的数据集batch_size(int, optional): 每个batch有多少个样本shuffle(bool, optional): 在每个epoch开始的时候，对数据进行重新排序sampler(Sampler, optional): 自定义从数据集中取样本的策略，如果指定这个参数，那么shuffle必须为Falsebatch_sampler(Sampler, optional):
2021-04-27 16:05:52
1510
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人