- 博客(548)
- 资源 (2)
- 问答 (4)
- 收藏
- 关注
RSS订阅原创 vscode使用mobaxterm可视化
打开mobaxterm连上服务器，看看display是什么。，然后在vscode的debug终端里。可以终端xclock测试一下。
2024-06-26 16:23:05
107
原创 PIL保存后的图像莫名的失真，部分不失真部分很失真
查看一下img的值就可以，被正则化了之后基本上全都是是0.00xx。你保存的是不是被正则化的图片**，如果是，改改。PIL会自行**“自救”
2024-06-18 18:46:25
176
原创 warning: Clone succeeded, but checkout failed. You can inspect what was checked out with ‘git status
cd到git目录里，发现里面的lfs文件没有被下载下来。直接ctrl c停了。
2024-06-09 21:17:56
109
原创 如何知道huggingface/modelscope的大模型的模型层名字
或者直接print(parameters.name)，但是这样打出来特别多，很难看。下载模型后，有个文件叫。你下载的大模型位置在。
2024-05-27 15:05:32
336
1
原创 记录pytorch第一次遇到Segmentation fault (core dumped)
之后我发现所有报错的代码都是我一个库里面的，注释掉了之后还是这个库，一到这个库就有问题。，好像确实会因为cpu内存满了就G了，我加载的可是大模型。结果仔细检查了一下，根本没有，我全都to cuda了。用faulthandler进行debug还是有用的！于是pip list了一下，发现这个。然后配齐版本，发现没问题了！看了这个帖子，下载工具，然后。他妈的，连个提示都没有。也没出来什么有用的信息。
2024-05-23 17:06:04
226
原创 Transformer中forward和generate的区别
generate函数使用不同的策略选择下一个词，如贪心搜索（greedy search）、集束搜索（beam search）或采样（sampling）等。这些策略在生成过程中引入一定的随机性，增加生成的多样性。generate专门用来生成文本；forward用于返回logits和其他用途。
2024-05-21 10:24:24
115
原创 git submodule 只clone单个module
参考：https://stackoverflow.com/questions/16728866/how-to-only-update-specific-git-submodules。
2024-05-18 23:14:01
185
原创 【极简】docker常用操作
容器container是动态的，是基于镜像的，类似于一个进程。，volume，把容器内的路径映射到宿主机，可以实现文件共享。就能以那个image创建container并且进入。退出docker并且停止这个container：输入。这样访问宿主机的10003等于访问容器的22端口；如果你想顺便进入contrainer，那就加上。，port，把容器的某个port映射到宿主机上，，environment，设置环境变量。也可以用id，但是tag写起来方便。，把环境变量也带到容器里面。镜像images是静态的。
2024-05-15 16:58:34
259
原创 【极简】如何估算大模型inference所需的内存量
所以比如llama7b，只需要7*0.93≈9G，再加10，内存19G就可以（实际会更少，因为小头远低于10G），注意这个是以8bit运行，4bit减半，16bit（float）加倍，32bit（double）炒鸡加倍。1b 字节≈ 0.93G，这个是以8bit运行，4bit减半，16bit（float）加倍，32bit（double）炒鸡加倍。详细的：https://developer.aliyun.com/article/1496103。模型后面的xxb的单位是字节。16float=2字节。
2024-05-14 16:51:59
254
原创 服务器没有图形界面没有显示器怎么办
有L P R三种模式。本地端口转发（ssh -L）意味着是SSH客户端（本机，windows）开始侦听新端口。远程端口转发（ssh -R）意味着是sshd服务器开始侦听额外的端口。或者换个写法。
2024-05-14 13:25:36
606
原创 hssd数据集进一步简介
镜像主页：https://hf-mirror.com/datasets/hssd/hssd-hab。什么是scene：就是一个场景，或者说一个房间、双层房间等等。stage：静态的mesh，用来放上各种object。什么是object：具体的小物体，手机、沙发等。
2024-05-14 09:41:27
424
原创 slRegisterDistribution failed with error: 0x8000000d Error: 0x8000000d ?
怎么用管理员权限打开powershell？powershell用管理员打开，输入。
2024-04-16 20:11:20
486
原创 gisterDistribution failed with error: 0x800701bc Error: 0x800701bc WSL 2 ??
【代码】gisterDistribution failed with error: 0x800701bc Error: 0x800701bc WSL 2??
2024-04-16 19:59:33
332
原创 Installing, this may take a few minutes... WslRegisterDistribution failed with error: 0x8007019e Err
按下win键后，搜索“启用或关闭windows功能”
2024-04-16 19:49:44
281
原创 【亲测有用】2024年timm从本地加载模型
timm本地加载。有图有真相：https://github.com/huggingface/pytorch-image-models/discussions/1826。其他的过时的方法就别看了。（当然我这个过几年也会过时）
2024-04-16 16:55:53
437
原创 transformers in tabular tiny survey 2024.4.8
对category、binary和numeric值进行embedding后再进行transformers最后进行classification。2020， arxiv，Google Cloud AI，Attentive Interpretable Tabular Learning, 封装的非常好，都可以当工具包使用了。feature selection用的是17年的某个选择模型，最后agg一下做predict。使用的序列化方法有几个，有人工也有AI生成。吧，与当时的baseline比有提升。
2024-04-09 10:20:36
1392
原创 Windows 10 商店安装应用出现0x80073d05 WslRegisterDistribution failed with error: 0x80071772
应用商店下载的东西得在C盘才行。
2024-04-03 16:52:30
121
原创 AdamsonWeissman2016数据集
数据集横向是cell barcode(CBC)，不同barcode对应不同的1类细胞；纵向是gene symbol，类似于基因名字、基因ID。这是在进行UPR Unfold Protein Response实验所记录的数据。应该分别对应了3种介质，IRE1(IREα), PERK, ATF6。整个matrix指的是在这种介质下，这些细胞rna的基因表达情况。
2024-03-27 10:23:57
156
原创 chatGLM 6b vocab file is not None
chatglm-6b 文件夹下面是否有 ice_text.model 文件，以及 sha256值是否和 https://huggingface.co/THUDM/chatglm-6b/blob/main/ice_text.model 一致。我自己是少了ice text，发现后解决即可。
2024-03-25 16:52:50
110
原创 quaternion四元组 保存和加载
得用quaternion 先to float array再保存，加载时候from float array转回才行。直接np.save不行的，不信你试试。
2024-03-19 10:12:33
130
原创 Linux 好用的gpu查看命令nvitop，裂墙推荐
然后命令行navitop就行。彩色、大屏、终端、全面，甚至还能用鼠标操作。比nvidia-smi好用！停止使用ctrl+z。更具体的看他的文档。
2024-03-12 11:56:33
303
原创 huggingface_hub.utils._validators.HFValidationError: Repo id must use alphanumeric chars or ‘-‘, ‘_‘
下载hugging face model和config.json要放在一个文件夹里面，而且这个文件夹的名字里面不能有下划线。你的文件名字的路径会被huggingface的。
2024-03-07 15:40:31
1408
原创 从huggingface下载模型像本地加载但是UnicodeDecodeError
原文：https://github.com/huggingface/transformers/issues/13674。也就是除了model文件之外，还要有一个config.json文件在旁边，2个是要一起的。下面的config.json和符合框架的model文件。我自己是在Linux下出现了这个问题。
2024-03-07 15:35:52
357
hive中能set变量保存select出来的一个值吗
2021-09-26
vscode远程，tensorboard在vscode中无法显示，如何debug？
2021-07-02
torch多gpu使用分配问题，有无一套cpu gpu都通用的代码？
2021-05-22
请假下各位老铁 tkinter怎么用for循环显示图片？
2020-04-15
TA创建的收藏夹 TA关注的收藏夹
TA关注的人