- 博客(27)
- 收藏
- 关注
RSS订阅原创 window和linux文件路径问题
window：window因为采用的doc系统中使用了' / '，所以文件路径默认使用了' \ '。在处理window数据时如果采用 ‘ \ ’连接，最好在字符串前加 ‘r’，以此来避免转义字符出现，linux：使用 ' / '连接即可，例如 /home/uan/test.txt。../../ 父目录的父目录。更好的写法,使用 '/'进行连接。或者使用os中的join进行连接。./ 当前目录下。../ 父目录。
2023-05-08 10:53:39
824
原创 vscode配置python环境，coderunner无法输出中文
首先点击vscode的 文件/首选项/设置进入搜素设置搜素 code-runner: ExecutorMap。1，利用anaconda安装python环境，记得添加环境变量。3，code runner插件无法再输入栏输出中文，保存后即可，出现该现象应该和window编码格式有关。2，vscode建立工作区并选择python解释器。
2023-04-29 13:45:09
360
原创 交叉熵和相对熵（KL散度）
P表示样本的真实分布，Q表示模型所预测的分布，那么KL散度就可以计算两个分布的差异，也就是Loss损失值。Q的分布越接近P（Q分布越拟合P），那么散度值越小，即损失值越小。有时会将KL散度称为KL距离，但它并不满足距离的性质：不对称；不满足三角不等式。...
2022-08-04 11:23:16
489
原创 linux 快速删除大量小文件（数十万级别）
当我们在linux系统中要删除数万或者数十万甚至数百万的文件时使用rm -rf *就不太好用，因为要等待很长一段时间。
2022-08-03 10:16:17
4795
原创 详解PyTorch中加载数据的方法--Dataset、Dataloader、Sampler、collate_fn等
PyTorch中对于数据集的处理有三个非常重要的类：、、，它们均是 包下的模块（类）。它们的关系可以这样理解：总的来说，定义了整个数据集，提供了取数据的机制，最后由取完成取数据的任务。本篇以一个最简单的例子为例，比如有一个文件夹（data-folder）中存储训练的数据（一共30张图片：0.png 到 29.png），他们对应的标签被写在了一个labels.txt文件中，第n行对应n-1.png的标签，是一个三分类问题，即0、1和2三种标签（虚构的数据集，不具有任何意义）。目录结构如下：另一个
2022-07-05 11:43:46
3117
原创 文本生成评价指标
文本生成目前的一大瓶颈是如何客观，准确的评价机器生成文本的质量。一个好的评价指标（或者设置合理的损失函数）不仅能够高效的指导模型拟合数据分布，还能够客观的让人评估文本生成模型的质量，从而进一步推动text generation 商业化能力。然而由于语言天生的复杂性和目前技术限制，我们目前还没有一个完美的评价指标。本文就三方面对文本生成的评价指标介绍： 介绍了以BLEU为代表的基于统计的文本评价指标 就 data to text 和 image caption 进一步介绍了其特有的评价
2022-04-29 16:09:37
1496
原创 c++ 优先队列（priority_queue）
优先队列的本质是堆，但它具有队列的所有操作特性，与普通队列不同的地方就是出队的时候按照优先级顺序出队，这个优先级即最大堆或最小堆的规则（即大的为top优先出队或小的为top优先出队），在队列的基础上加了个堆排序。以O(log n) 的效率查找一个队列中的最大值或者最小值，其中是最大值还是最小值是根据创建的优先队列的性质来决定的。priority_queue的使用#include<queue>//头文件//使用的语法priority_queue<Type, Contain
2022-04-25 21:02:14
1416
原创 c++ map容器
1. map简介：map是STL的一个关联容器，它提供一对一（其中第一个可以称为关键字，每个关键字只能在map中出现一次，第二个可能称为该关键字的值）的数据 处理能力，由于这个特性，它完成有可能在我们处理一对一数据的时候，在编程上提供快速通道。map内部自建一颗红黑树(一 种非严格意义上的平衡二叉树)，这颗树具有对数据自动排序的功能，所以在map内部所有的数据都是有序的，后边我们会见识到有序的好处。map可以根据key值快速查找记录，复杂度在log(n)级别，如果有1000个记录，最多查找10次，1
2022-04-24 14:48:15
3196
1
原创 Transformer 使用 LayerNorm 不用 BatchNorm的原因
首先， Norm最开始被提出的时候是为了解决ICS(internal covariate shift，内部协变量转移)问题，但后来的研究发现，Norm起作用的本质是它平滑了Loss,保证了梯度下降过程中的稳定。Batch Normalization 1.1 背景 Batch Normalization（以下简称BN）的方法最早由Ioffe&Szegedy在2015年提出，主要用于解决在深度学习中产生的ICS（Internal Covariate Shift）的问题。若模型输入层..
2022-03-05 16:01:10
4352
原创 CondaValueError : prefix already exists: /**/anaconda3
condavalueerror : prefix already exists
2022-02-18 16:34:08
3307
原创 git 初始化仓库，将本地仓库备份github
git将本地代码同步备份至github git initgit remote add origin git@github.com:git add.git commit -m 'test'git push 第一个问题：warning: push.default is unset; its implicit value is changing inGit 2.0 from 'matching'...
2021-11-23 10:51:55
1163
原创 pytorch指定gpu序号不起作用
import osos.environ['CUDA_VISIBLE_DEVICES'] = '1'要放在 import torch 的前面TensorFlow 同理
2021-11-06 12:35:00
668
原创 conda安装的cudatoolkit, cudnn与在主机上安装的cuda, cudnn有何关系？
conda安装的cudatoolkit, cudnn与在主机上安装的cuda, cudnn有何关系？在conda创建的虚拟环境中安装tensorflow-gpu后，会自动安装cudatoolkit和cudnn。在这个虚拟环境中使用tensorflow时，如果涉及到GPU的计算，是不是会自动使用虚拟环境中安装的cudatoolkit和cudnn？与主机中安装的cuda及cudnn无关？回答anaconda 的 cudatoolkit 不包含完整安装cuda的全部文件，只是包含了用于 tensorf
2021-11-03 16:59:23
1524
原创 bert 的输出格式详解
输出是一个元组类型的数据 ，包含四部分，last hidden stateshape是(batch_size, sequence_length, hidden_size)，hidden_size=768,它是模型最后一层输出的隐藏状态pooler_output：shape是(batch_size, hidden_size)，这是序列的第一个token(classification token)的最后一层的隐藏状态，它是由线性层和Tanh激活函数进一步处理的，这个输出不是对输入的语义内容的一个很好的.
2021-11-03 16:53:29
17316
6
原创 vscode pytorch无法自动补全、无提示
文件->首选项->设置->搜索Python language server, 选项修改为pylint
2021-10-13 14:42:36
1000
原创 allennlp 版本关系
allennlp=1.1.0rc3 可以匹配 torch=1.6.0 allennlp=1.0.0rc1 可以匹配 torch=1.3.1 allennlp=0.9.0 可以匹配 torch=1.2.0
2021-05-26 21:03:36
1579
原创 非root用户解决/lib64/libstdc++.so.6: version `CXXABI_1.3.8‘ ，升级gcc
原因： 集群gcc版本低，不包含CXXABI_1.3.8解决方法：在自己的用户目录下安装gcc,修改环境变量1：下载gcc wget http://ftp.gnu.org/gnu/gcc/gcc-9.2.0/gcc-9.2.0.tar.gz解压:tar –zxvf gcc-9.2.0.tar.gzcd gcc-9.2.0./contrib/download_prerequisites //执行脚本自动下载、安装依赖包网络不好的话离线下载依赖参考https://blog.csdn...
2021-05-23 14:42:24
1614
原创 qkv softmax
Query，Key，Value的概念取自于信息检索系统，举个简单的搜索的例子来说。当你在某电商平台搜索某件商品（年轻女士冬季穿的红色薄款羽绒服）时，你在搜索引擎上输入的内容便是Query，然后搜索引擎根据Query为你匹配Key（例如商品的种类，颜色，描述等），然后根据Query和Key的相似度得到匹配的内容（Value)。我们知道概率有两个性质：1）预测的概率为非负数；2）各种预测结果概率之和等于1。softmax就是将在负无穷到正无穷上的预测结果按照这两步转换为概率的。1）将预测结果.
2021-05-17 10:09:46
254
原创 pytorch nn.conv1d nn.conv2d 代码分析与使用
https://www.jianshu.com/p/45a26d278473本文主要介绍PyTorch中的nn.Conv1d和nn.Conv2d方法，并给出相应代码示例，加深理解。一维卷积nn.Conv1d一般来说，一维卷积nn.Conv1d用于文本数据，只对宽度进行卷积，对高度不卷积。通常，输入大小为word_embedding_dim * max_length，其中，word_embedding_dim为词向量的维度，max_length为句子的最大长度。卷积核窗口在句子长度的方向上滑动，进
2021-05-15 14:34:35
2469
原创 Chrome 下载文件出现已禁止
原因：IE的安全设定问题解决方法：win+s搜索Internet选项 -> 安全 -> 自定义级别 -> 其他 -> 加载应用程序和不安全文件 -> 提示(推荐)上面的勾选上 然后点确定 -> 确定就搞定了。...
2021-05-15 10:43:31
9871
1
原创 vscode 配置管理github项目
1 在GitHub 主页头像 ->settings -> ssh and gpg keys 中添加本地ssh密钥 c:\users\.ssh\rsa.pub 实现在vscode中免密登录2 git bash 中配置用户名和邮箱git config --global user.name "用户名"git config --global user.email "用户邮箱"（邮箱和注册github时邮箱相同）ssh git@github.com 验证是否可以免密登录（如果不连接一次..
2021-05-04 19:45:29
556
原创 Linux paddle2.0.2环境配置
pip 安装paddle2.0.2 python -m pip install paddlepaddle-gpu==2.0.2.post110 -f https://paddlepaddle.org.cn/whl/mkl/stable.html 安装cuda11.0 conda search cuda 搜索可用cuda版本 conda install cudatoolkit=11.0 安装cudnn8.1.0 conda search cudnn 确...
2021-04-19 16:17:26
502
原创 c++ vector容器
本文从以下几个方面介绍vector用法1，初始化 定义空的vector vector<T>v1 T为数据类型 定义固定长度的vector vector<T>v2(n) 定义一个vector的副本 vector<T>v3(v2) 定义固定长度的vector vector<T>v4(n,i) 长度为n且元素都为i ...
2020-07-08 20:32:15
273
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人