Talk Is Cheap

【代码】调用detr-resnet-50进行目标检测。

建议还是找一个网络好的机器，跑通CPU版本，不建议自己去找到所需文件下载的本地。里有相关下载好的文件，

torch和torchvision都要安装gpu版本，或者两个都是cpu版本，

建议去下面链接下载后本地安装。

已经是python list类型，

【代码】使用 torch.utils.data 的 DataLoader。

【代码】PyTorch 使用多GPU。

PyTorch默认用CPU，改默认用GPU，

在这里可以下载cuda11.8版本的不同版本的torch都有。

举例：conda install pytorch0.18.0 torchaudio==2.3.0 pytorch-cuda=11.8 -c pytorch -c nvidiaconda install pytorch0.18.0 torchaudio==2.3.0 pytorch-cuda=12.1 -c pytorch -c nvidiaconda install pytorch0.18.0 torchaudio==2.3.0 cpuonly -c pytorch。

命令行，有哪些cuda。

【代码】pytorch 检查GPU可用。

【代码】huggingface/transformers 用Trainer 和 不用Trainer。

【代码】huggingface/transformers 确保模型利用GPU。

huggingface/transformers 会自动加载 能对应上的 参数。

【代码】AutoModelForSequenceClassification 得到embedding。

用于文本分类，正确率高2-4%

【代码】报错：Module ‘accuracy‘ doesn‘t exist on the Hugging Face Hub。

【代码】huggingface/transformers tokenizer报错 list index out of range。

【代码】huggingface/transformers TFAutoModelForSeq2SeqLM 输出 embedding。

文章贡献：减少对GPU内存的占用，从而能让GPU容纳更大的模型参数。

torch==1.10.0 版本可以。问题所在：pytorch版本不对，

问题所在：pytorch和cuda版本不匹配。

https://www.deepspeed.ai/2022/09/09/zero-inference.html原理：

则tokenizer返回的。则tokenizer返回的。

huggingface/transformers 的 tokenizer 报的错，报错原因，数据里有None值。

python代码 自动下载模型实现和参数。如果你的网络环境较差，下载模型参数可能会花费较长时间甚至失败。此时可以先将模型下载到本地，然后从本地加载。参考 https://github.com/THUDM/ChatGLM-6B 的README。以chatglm-6b为例，然后运行。先安装Git LFS。

LARGE_NUM = 1e9 def _contrastive_loss_forward(self, hidden1: torch.Tensor, hidden2: torch.Tensor, hidden_norm: bool = True, ...

https://github.com/lucidrains/routing-transformer/blob/master/routing_transformer/routing_transformer.py

# a = a + 4 * 5import torcha = torch.tensor([1,2,3])a.data.add_(torch.tensor(4),torch.tensor(5))print(a) # tensor([21, 22, 23])

# a = a + 4 / 2import torcha = torch.tensor([1,2,3])a.addcdiv(torch.tensor(4),torch.tensor(2))print(a) # tensor([1, 2, 3]) # 值不加a.data.addcdiv_(torch.tensor(4),torch.tensor(2))print(a) # tensor([3, 4, 5]) # 值加a = a.addcdiv(torch.tensor(4),torch.t

要先禁用nouveau保证lsmod |grep nouveau不显示信息

import torchtensor = torch.Tensor([[[1,1],[2,2],[3,3]],[[4,4],[5,5],[6,6]]])print(tensor.shape)print(tensor)pad_tensor = torch.constant_pad_nd(tensor,(0,0,0,2))print(pad_tensor.shape)print(pad_tensor)print结果：torch.Size([2, 3, 2])tensor([[[1., 1.]

label为[batch_size, num_class]logits为[batch_size, num_class]每个label为比如[0,0,1,0,0,0,1,0,1,0]，就是10类有3类正确不能用tf.nn.softmax_cross_entropy_with_logitsPytorch使用torch.nn.BCElossTensorflow使用tf.losses.sigmo...

https://github.com/pcyin/tranX/blob/master/model/pointer_net.py

https://github.com/pcyin/tranX/blob/master/model/seq2seq_copy.py

class Attention(nn.Module): """ inputs是[batch, seq_len1, hidden_dim] labels_num是seq_len2 """ def __init__(self, labels_num, hidden_size): super(Attention, self).__init__()...

import torchbatch_size = 2sequence_len = 3hidden_dim = 5x = torch.zeros(batch_size, sequence_len, hidden_dim).scatter_(dim=-1, index=torch.LongTensor([[[2],[2],[1]]...

很大可能是因为index的值超出了范围，比如import torchbatch_size = 2hidden_dim = 5x = torch.zeros(batch_size, hidden_dim).scatter_(dim=-1, index=torch.LongTensor([[2],[1]]), ...

输入BERT的方式 https://github.com/naver/sqlova/blob/master/sqlova/utils/utils_wikisql.py在generate_inputs方法[CLS] question_word_1,question_word_2,...question_word_n [SEP] header_1 [SEP] header_2 [SEP] ... ...