qq_38148600的博客

json.decoder.JSONDecodeError: Invalid control character at: line 1 column 9604653

GPT2评测代码

如果json数据中文显示有问题，变成 \uXXX 的形式，原因是中文已经变为unicode编码了，而解码默认是以ASCII解的，中文不在ASCII编码中，所以无法显示，加上ensure_ascii=False可以防止变为unicode编码。

[转载]关于Pretrain、Fine-tuning - 别再闹了 - 博客园这两种tricks的意思其实就是字面意思，pre-train(预训练)和fine -tuning(微调)关于为什么可以直接使用别人的模型：这位博主写了几种fine-tuning的方法：这位答主在这篇中给出了一个关于fine-tuning非常practical的例子:fine-tuning:利用已有模型训练其他数据集 - 知乎

ython的zhconv库提供了基于MediaWiki词汇表的最大正向匹配简繁体转换，pyhton2和python3都支持，可以满足简单的转换需求。以下总结了zhconv从安装到使用的方法（python3）。

用了新的数据集进行训练：百万级别的文本。同时模型规模也变大很多，参数量变为15亿（BERT_LARGE参数量3.4亿）。规模变大这么多的情况下，作者发现和BERT相比优势不大，所以选择了另一个观点作为切入点——Zero-shot（简单来说就是，训练好一个模型，在任何一个场景都能直接使用，泛化性很好）。GPT-2的架构非常非常大，参数量也非常多。非常神奇的事情发生了，GPT-2在完全没有训练数据。

torch.nn.Parameter是继承自torch.Tensor的子类，其主要作用是作为nn.Module中的可训练参数使用。它与torch.Tensor的区别就是nn.Parameter会自动被认为是module的可训练参数，即加入到parameter()这个迭代器中去；而module中非nn.Parameter()的普通tensor是不在parameter中的。

看见网上的代码特别垃圾，经过不断整理，整理出最简单明白的版本

AttributeError: module 'tokenization' has no attribute 'FullTokenizer'

深入浅出了解GCN原理（公式+代码）

彻底解决 OSError: [WinError 127] 找不到指定的程序。 - Java教程 - 找一找教程网

pycharm创建torch-gpu虚拟环境（手动、requirements.txt、requirements.yml）

grid-crf是在pystruct里面的一个针对网格图的crf，但是官方代码只能运用在python3.6且很难将其融入深度学习当中。网上几乎没有相关资料，没有办法，我经过不断调试源码，在这里对其进行总结X, Y = generate_crosses_explicit(n_samples=10, noise=12)#使用内置的数据集生成函数自动生成crf = GridCRF(neighborhood=8)#声明grid-crf类，但是这里只是声明了一个结构而已，里面大部分的内容是基于下面

File "D:\anaconda\lib\site-packages\pystruct\models\crf.py", line 5, in <module> from .utils import loss_augment_unariesModuleNotFoundError: No module named 'pystruct.models.utils'在models包里面少了utils文件

>>> import torch>>> torch.__version__'1.9.0+cu102'>>> torch.cuda.is_available()True说明安装成功

第一步：卸载安装的pytorchcmd-》输入pip uninstall torch第二步：寻找匹配的pytorch安装官网选择https://pytorch.org/get-started/locally/复制代码pip3 install torch==1.9.0+cu102 torchvision==0.10.0+cu102 torchaudio===0.9.0 -f https://download.pytorch.org/whl/torch_stable.html.

根据前两天失败的经历，我痛定思痛决定换电脑来装pytorchgpu。为了成为祖国的科研力量，这点小小的挫折没有什么。第一步：gpu-z检测网上百度gpu-z，下载。参考链接https://blog.csdn.net/m0_37870649/article/details/105356540?utm_medium=distribute.pc_relevant.none-task-blog-2~default~baidujs_utm_term~default-0.base&spm=.

经过这几天不断的失败，我发现很多安装pytorch的教程都不是很完整，我在这里总结了一下，安装pytorch gpu的失败过程。这章的主要内容是讲安装cuda。我按照很多文章安装，都不行，我总结了一下我的问题，安装cuda的预备工作。1.检查电脑gpu版本。请参考教程https://segmentfault.com/a/1190000023355171任务管理器-》性能-》GPU查看我这里显示我的版本HD Graphic 5302.查询NVIDIA这里可以发现并.

通过研究代码的运行，发现pytorch_transformers和之前使用的tensorflow版的有很大不同。所以这里总结一下。这篇文章的目的是说明如何使用pytorch_transformers中的bert（1024）来编码词向量。第一步安装transformerspip install pytorch_transformers第二步下载必要的预训练文件链接：https://pan.baidu.com/s/1JYqzX1dPum9YwcgBTzpX9g提取码：w0md...

将from transformers import BertTokenizer改为from pytorch_transformers import BertTokenizer

该函数的什么意思参考https://blog.csdn.net/m0_45478865/article/details/104455978输入的参数列表包括:input_size 输入数据的特征维数，通常就是embedding_dim(词向量的维度)hidden_size　LSTM中隐层的维度num_layers　循环神经网络的层数bias　用不用偏置，default=Truebatch_first 这个要注意，通常我们输入的数据shape=(batch_size,seq_length

我对torch.cat做了以下实验不知道为什么模型代码会出现dim=2我推测可能是tensor变量维度低了于是我做了下面实验果然是这样

已知parameters代表每个神经网络的参数矩阵，lr代表学习率。torch.optim.Adam是什么意思呢这个算法来自https://arxiv.org/abs/1412.6980以下黄色字体来自该文章的摘要Adam，一种基于低阶矩的自适应估计的随机目标函数一阶梯度优化算法。该方法易于实现，计算效率高，内存要求低，对梯度的对角线重新缩放具有不变性，并且非常适用于数据和/或参数较大的问题。该方法也适用于非平稳目标和具有非常嘈杂和/或稀疏梯度的问题。超参数具有直观的解释，通常几乎不需要调整

今天读到一行代码parameters = filter(lambda x: x.requires_grad, parameters)#过滤之前讲过parameters是存储神经网络中间产数矩阵的变量。lambda x: x.requires_grad，parameters是什么意思呢查询到网页https://www.cnblogs.com/evening/archive/2012/03/29/2423554.html看个例子：g = lambda x:x+1下面是代码运行

在代码调试的时候出现一个新的类torch.nn.Parameter。这个类的对象呈现一种奇怪的数据结构。v就是这个类的对象，其下面有T、data两个tensor变量，但是当我点开T的时候，如下图：无限套娃就诞生了。链接https://zhuanlan.zhihu.com/p/119305088给出了解释，他说是权重和偏置，总之是网络模型的参数，我先使用该链接下的代码。import torchclass Net(torch.nn.Module): # 继承to..

经过上一篇博客的思考，我发现我一直用的是pytorch-cpu版本现在我要换成pytorch-gpu，但是我又害怕这两版本不兼容，因为我已经在pytorch-cpu上做了很多功课了，万一一不小心把现在的pytorch-cpu删掉了，无法复现，那不是完蛋了于是我打算先查询pytorch-cpu版本cmd上输入import torchprint(torch.__version__)详情请看https://blog.csdn.net/weixin_29191761/article/det

代码运行报错AssertionError: Torch not compiled with CUDA enabled但是根据cuda安装显示cuda是安装成功的这是怎么回事我先进入百度翻译AssertionError:Torch未在启用CUDA的情况下编译CUDA未被启用？查到一篇博客https://www.codeleading.com/article/34623902176/上面说原来我当前版本pytorch无法使用显卡。。。问题解决...