- 博客(161)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Ubuntu 20.04 Server 使用命令行设置 IP 地址
按照对应的配置进行修改IP地址和网关。修改之前，把原来的文件备份。2、运行命令使其生效。
2024-01-29 19:47:47
1356
转载 Linux shell中2＞&1的含义解释 （全网最全，看完就懂）
参考：https://unix.stackexchange.com/questions/89386/what-is-symbol-and-in-unix-linuxhttps://superuser.com/questions/335396/what-is-the-difference-between-and-in-bash原文链接：https://blog.csdn.net/zhaominpro/article/details/82630528...
2022-04-15 10:54:48
358
原创 Linux安装GPU版本的pytorch
1. 各种版本的pytorch安装包： https://download.pytorch.org/whl/torch_stable.html实验在用的是： cu80/torch-0.4.1-cp35-cp35m-linux_x86_64.whl注意：https://pypi.org/ 中不是GPU版本的2. pytorch版本与cuda版本的对应关系CUDAToolkit版本 可用PyTorch版本 7.5 0.4.1 ，0.3.0， 0.2.0，0.1.12-0.1.6
2022-03-24 11:10:44
3610
原创 将标签转化为one-hot
import torch'''场景设定：有3个样本，5个类别分类器输出的预测结果为，shape为(3,5)标签值是整数序列:[2,0,3],表示第一个样本属于类别2，第二个样本属于类别0，第三个样本属于类别3现需要将标签转化为one-hot形式'''label = torch.Tensor([[2],[0],[3]]).long() #将label列表转化为列矩阵oh = torch.zeros(3,5).scatter_(1,label,1) #第一个参数表示按第1维度，即按列进行.
2022-03-23 11:47:19
1992
原创 Pytorch模型在GPU上训练的参数在CPU上移植
希望将训练好的模型加载到新的网络上。如上面题目所描述的，PyTorch在加载之前保存的模型参数的时候，遇到了问题。Unexpected key(s) in state_dict: "module.features. ...".，Expected ".features....". 直接原因是key值名字不对应。 表明了加载过程中，期望获得的key值为feature...，而不是module.features....。这是由模型保存过程中导致的，模型应该是在DataParallel模式下面，也就是..
2022-03-02 10:27:37
2133
原创 pyecharts官网
官网地址：pyecharts - A Python Echarts Plotting Library built with love.简介???? 概况Echarts是一个由百度开源的数据可视化，凭借着良好的交互性，精巧的图表设计，得到了众多开发者的认可。而 Python 是一门富有表达力的语言，很适合用于数据处理。当数据分析遇上数据可视化时，pyecharts诞生了。✨ 特性简洁的 API 设计，使用如丝滑般流畅，支持链式调用 囊括了 30+ 种常见图表，应有尽有 支持主流 Not
2022-01-10 15:15:29
5243
转载 gcc国内镜像
官方下载慢http://gcc.gnu.org/install/gcc的国内大学镜像:http://mirror.hust.edu.cn/gnu/gcc/http://mirrors.nju.edu.cn/gnu/gcc/http://mirrors.ustc.edu.cn/gnu/gcc/https://mirrors.tuna.tsinghua.edu.cn/gnu/gcc/国内知名镜像站点http://mirrors.163.com/http://mirrors.
2022-01-10 09:24:51
1313
原创 python可视化
1. 库import seaborn as sns2.使用方法：sns.heatmap(pd.DataFrame(np.round(a,2)), annot=True, vmax=vmax,vmin = vmin, xticklabels= True, yticklabels= True, square=True, cmap="YlGnBu")参数说明：seaborn.heatmap — seaborn 0.11.2 documentation3. 关闭科学计算法sns.heat.
2021-10-12 08:54:46
1337
转载 Latex 表格技巧 - 合并单元格
简介Latex的表格功能非常强大，但是在初学的过程中可能遇到很多棘手的问题，这里给出了如何合并单元格的几种做法，重点是合并多行多列的做法合并一行多列单元格合并1行多列可以使用\multicolumn{cols}{pos}{text}来实现\documentclass[a4paper,12pt]{report}\usepackage[UTF8,nopunct]{ctex}\begin{document}\begin{table} \centering \begin{tabular
2021-09-17 21:36:54
10067
转载 PyTorch中torch.nn.functional.pad函数使用详解
从上面的例子看出，之后后三个维度发生了扩增，因为我们输入的padding长度为6，只能影响后三个维度。原文：https://blog.csdn.net/qq_34914551/article/details/102940377
2021-09-02 19:15:44
263
转载 Pytorch中nn.Conv2d的dilation
No padding, no stride, dilation（Blue maps are inputs, and cyan maps are outputs）————————————————原文链接：https://blog.csdn.net/sunmingyang1987/article/details/115472959
2021-09-02 18:23:07
335
原创 Pytorch中BatchNorm中running_mean和running_var的计算方法
以下的过程中都是在train模式下进行的，并且没有进行损失计算和梯度更新，但这个过程中running_mean和running_var会进行更新，所以也验证了running_mean和running_var只受模型的模式（train模型或eval模型)的影响，与是否进行反向传播(loss.backward)和梯度更新(optimiter.step)没有关系。实验一：1. 标准库函数的参数设置为 torch.nn.BatchNorm1d(linear1_features,momentum=0.1..
2021-08-28 21:51:43
8616
1
原创 pytorch中BatchNorm的在eval模型下的使用与验证
结论：1.前提在train模式下，nn.BatchNormxd中的参数track_running_stats必须为True, 这样才能保存训练时的统计参数： running_mean，running_var； 以及训练时的学习参数： weight，bias（其中weight,bias是缩放系数，在训练时weigth和bias是可训练的参数） 。2. nn.BatchNormxd在eval模式下计算过程如下：使用在训练模式下保存的统计参数running_mean，running_var作为mea.
2021-08-28 15:35:12
3736
原创 torch中train,eval实际对是model.training的控制
模型在默认情况下是train模型，所以model.training为True 模型在eval情况下，model.training为False#-*- coding:utf-8 -*-#Author LJB Create on 2021/8/27# -*- coding: utf-8 -*-import torchfrom torch.autograd import Variableimport torch.optim as optimx = Variable(torch.FloatTen
2021-08-27 22:15:20
1547
原创 torch中的BatchNorm LayerNorm InstanceNorm使用方法
1. torch中标准normalization函数与自定义函数的对比，以说明标准库函数的使用方法。同时，代码中对4维数据和3维数据进行了对比。#-*- coding:utf-8 -*-#Author LJB Create on 2021/8/27import torchimport torch.nn as nnimport numpy as np#对于4维数据[batchsize,channel,H,W],其中[H,W]表示一个实例的二维特征维度#LayerNorm: axis=
2021-08-27 21:06:00
3244
2
原创 机器学习4维数据直观模型
一个batch的数据，形状为[batchsize,channels,H,W]1.模型一：2.模型二https://github.com/switchablenorms/Switchable-Normalizationbatchsize=N, channels = C3、模型三https://blog.csdn.net/shanglianlm/article/details/85075706...
2021-08-27 15:15:20
385
原创 在pytorch中的卷积操作
卷积操作：# 1. 卷积核的输入通道数与输入数据的通道数保持一致，所以卷积核的对应通道与输入数据的对应通道进行卷积操作，以卷积核conv_i为例：# 2. 卷积核conv_i的对应通道与输入数据对应通道 进行 对应位置元素 的乘法，即用乘法操作“*”，得到一个与卷积核形状一样的矩阵M# 3. 将第2步中卷积结果矩阵M中的所有元素相加，得到卷积核conv_i在当前通道的卷积结果：标量su_i# 4. 卷积核conv_i的所有通道的卷积结果su_i相加之后得到该卷积核conv_i对输入数据的最终卷积结.
2021-08-27 14:50:15
1204
原创 pytorch使用GPU上的方法与心得
方法和心得都写在代码注释里了！以下的代码中有两个，CPU版本是只能在CPU上运行，没有问题，但在GPU上会出现数据位置不一致的问题；GPU版本在CPU上和GPU上运行都没有问题。import torchimport torch.nn as nn'''把模型放到指定机器上的方法非常简单，以下创建的模型在CPU和GPU上都可以运行，有GPU的时候就会用GPU：假定我们创建一个模型my_model，然后1. 第一步创建device Device = torch.device("cud
2021-08-26 16:58:12
989
1
原创 torch.nn.Dropout()细节记录
说明：1.在model.train()模式下Dropout层是有效的，在model.eval()模式下，Dropout层是无效的。2.torch.nn.Dropout是采用的inverted版本，为了“保持期望不变”而进行了rescale(缩放），缩放比例是1/(1-p)，p是的丢弃比率。Furthermore, the outputs are scaled by a factor of :math:`\frac{1}{1-p}` duringtraining. This mean...
2021-08-25 19:58:55
2186
1
原创 tensorflow中的reduce_sum
1.默认所有元素求和，得到一个值，如sum_d1，keepdims=True时，如sum_d1_2.在指定维上求和，如sum_d2在第1维上求和（对于两维数据，第1维即列上求和）；如sum_d3在第0维上求和（对于两维数据，第0维即行上求和）3.reduce_mean道理是一样的，但是求均值的import tensorflow as tfd = tf.constant([[1,2,3],[4,5,6]])sum_d1 = tf.reduce_sum(d)sum_d1_ =...
2021-08-18 22:52:17
298
原创 tensorflow中两种矩阵相乘：matmul与*
一、矩阵对应位置元素相乘：*所以要求相乘的两个矩阵必须形状相同。a = tf.constant([[1,2],[3,4]])b = tf.constant([[10,20],[30,40]])c =a *bwith tf.Session() as sess: print(sess.run(c))二、矩阵乘法：tf.matmul()两个矩阵乘法 C = tf.matmul(A,B)A的形状为m*n,B的形状为n*k,所以C的形状为m*k.a = t...
2021-08-18 22:31:08
994
转载 Pytorch常用张量操作以及归一化算法实现
本篇文章将要总结下Pytorch常用的一些张量操作，并说明其作用，接着使用这些操作实现归一化操作的算法，如BN,GN,LN,IN等！常用的张量操作cat对数据沿着某一维度进行拼接，cat后的总维度数不变，需要注意两个张量进行cat时某一维的维数要相同，否则会报错！import torchx = torch.randn(2,3)y = torch.randn(1,3)torch.cat((x, y), 0) # 维度为(3, 3)z = torch.randn(1, 4)tor
2021-08-17 10:17:10
2950
原创 损失函数：交叉熵、KLDivLoss、标签平滑（LabelSmoothing）
https://blog.csdn.net/qq_36533552/article/details/104034759KLDivLoss作用： 用于连续分布的距离度量；并且对离散采用的连续输出空间分布进行回归通常很有用；用label_smoothing就采用这个；公式： 公式理解： p(x)是真实分布，q（x）是拟合分布；实际计算时；通常p（x）作为target，只是概率分布；而xn则是把输............
2021-08-15 17:43:26
7982
1
原创 Anaconda环境离线迁移移植（可行有效）
项目场景：使用Anaconda进行环境离线迁移在使用Python进行程序开发时，避免不了使用各类的Python包，以最大限度地通过复用模块来减少我们手动编写的代码量，使我们能够更加专注于主体业务逻辑相关的核心代码。谈到Python包的管理以及Python版本的管理，Anaconda是截至目前使用最广泛、最便捷的工具软件之一。特别是在对已有的Python库进行离线迁移的时候，使用Anaconda所带来的便捷性极大地降低了Python环境迁移的时间和人力成本，基本上可以做到使用很简单的若干行命令即可。这里的离
2021-08-15 10:53:38
20276
6
原创 神经网络训练常见坑
神经网络已经持续训练了 12 个小时。它看起来很好：梯度在变化，损失也在下降。但是预测结果出来了：全部都是零值，全部都是背景，什么也检测不到。我质问我的计算机：“我做错了什么？”，它却无法回答。如果你的模型正在输出垃圾（比如预测所有输出的平均值，或者它的精确度真的很低），那么你从哪里开始检查呢？无法训练神经网络的原因有很多。在经历了许多次调试之后，我发现有一些检查是经常做的。这张列表汇总了我的经验以及最好的想法，希望对读者也有所帮助。〇. 使用指南许多事情都可能出错。但其中有些事情相比于
2021-08-15 00:08:42
2818
转载 在GPU上运行pytorch创建的模型
前言深度学习涉及很多向量或多矩阵运算，如矩阵相乘、矩阵相加、矩阵-向量乘法等。深层模型的算法，如BP，Auto-Encoder，CNN等，都可以写成矩阵运算的形式，无须写成循环运算。然而，在单核CPU上执行时，矩阵运算会被展开成循环的形式，本质上还是串行执行。GPU（Graphic Process Units，图形处理器）的众核体系结构包含几千个流处理器，可将矩阵运算并行化执行，大幅缩短计算时间。随着NVIDIA、AMD等公司不断推进其GPU的大规模并行架构，面向通用计算的GPU已成为加速可并行应用程序
2021-08-14 16:29:51
785
原创 远程文件传输rsync-断点续传及增量传输
下面以实例来说明： # rsync -vazu -progress cnangel@10.1.6.160:~/works/ ~/works v：详细提示 a：以archive模式操作，复制目录、符号连接，等价于 -rlptgoD 。 z：压缩 u：只进行更新，防止本地新文件被重写，注意两者机器的时钟的同时 -progress：指显示 以上命令是保持客户机10.1.6.160上的$HOME/works目录和当前机器的$HOME/works目录同步。这经常是我们所说的镜像同步就是
2021-08-14 16:19:42
4063
转载 【论文阅读】对CNN进行序列分类的理解或者说是使用指南
论文：A Sensitivity Analysis of (and Practitioners’ Guide to) ConvolutionalNeural Networks for Sentence Classification2016年的论文，中国人的论文，作者写得很认真，每次实验的都非常详细（如交叉验证，实验多次等），这篇博客略去了对实验细节的介绍，只阐述结果。Abstract近年来，CNN已被证明可用于序列分类，并且能获得很好的效果（strong performance）。但要真正在实践
2021-08-13 09:46:11
676
原创 理解 pytorch 的 CrossEntropyLoss
简介为了更好地理解 pytorch 的 CrossEntropyLoss，于是打算进行简单的实现。官方文档：https://pytorch.org/docs/stable/nn.html?highlight=crossentropyloss#torch.nn.CrossEntropyLoss官网 loss 的公式：x 的维度是 (batch_size, C)class 的维度是 (batch_size)(这里的 C 是分类的个数）import numpy as n..
2021-08-09 17:13:51
479
转载 torch.nn.Conv1d及一维卷积详解
近日在搞wavenet，期间遇到了一维卷积，在这里对一维卷积以及其pytorch中的API进行总结，方便下次使用之前对二维卷积是比较熟悉的，在初次接触一维卷积的时候，我以为是一个一维的卷积核在一条线上做卷积，但是这种理解是错的，一维卷积不代表卷积核只有一维，也不代表被卷积的feature也是一维。一维的意思是说卷积的方向是一维的。下边首先看一个简单的一维卷积的例子（batchsize是1，也只有一个kernel）：输入：一个长度为35的序列，序列中的每个元素有256维特征，故输入可以看作(3
2021-08-07 17:25:41
3386
转载 Transformer架构解析
1.输入部分包含:（1）源文本嵌入层及其位置编码器（2）目标文本嵌入层及其位置编码器文本嵌入层的作用无论是源文本嵌入还是目标文本嵌入，都是为了将文本中词汇的数字表示转变为向量表示, 希望在这样的高维空间捕捉词汇间的关系.位置编码器的作用因为在Transformer的编码器结构中, 并没有针对词汇位置信息的处理，因此需要在Embedding层后加入位置编码器，将词汇位置不同可能会产生不同语义的信息加入到词嵌入张量中, 以弥补位置信息的缺失.2.编码器部分：（1）掩码张.
2021-08-07 09:02:26
2563
原创 torch.index_fill的理解
通过按index中给定的顺序 选择索引，用val值填充 自己（自张量）的元素。dim（int）–索引所依据的维度index（LongTensor）–要填充的自张量的索引val（浮点数）–要填充的值import torcha = torch.randn(4, 3)print(a)# tensor([[-1.7189, 0.9798, -0.0428],# [ 0.7184, -0.2824, -1.0289],# [ 1.2858, 0.8423,
2021-08-05 22:24:35
1347
1
转载 PyTorch中的contiguous
本文讲解了pytorch中contiguous的含义、定义、实现，以及contiguous存在的原因，非contiguous时的解决办法。并对比了numpy中的contiguous。contiguous本身是形容词，表示连续的，关于contiguous，PyTorch 提供了is_contiguous、contiguous(形容词动用)两个方法 ，分别用于判定Tensor是否是contiguous的，以及保证Tensor是contiguous的。PyTorch中的is_contiguous是...
2021-08-05 20:53:03
329
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人