- 博客(185)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 张量并行和模型并行
PipeDream是非交错的Pipeline Parallel, 执行方式是当一个micro-batch forward计算完了之后, 马上执行backward计算, 这样能够提前释放相关micro-batch的intermediate activation, 从而节省显存。最初提出Tensor Parallel是在32G的GPU上训练超大模型, 此时可能会存在单层Transformer显存过大的问题, 因此将权重矩阵分解到多个GPU上分别计算。, 其中N为层数比率。现在的主要作用是加快计算。
2025-11-09 16:59:43
771
原创 Transformers包常用函数讲解
然后将一个shard文件文件的权重加载进模型中。然后通过Json load成dict然后返回。所以AutoTokenizer得配置文件为。最后就是返回一个tokenizer对象。然后通过以下真正加载参数并支持量化。, 然后得到以下参数初始化类。除此之外的其他参数在。
2025-10-11 11:25:58
405
原创 大模型设计
后训练阶段的数据如果超出了模型pre-training阶段达到的能力, 可能会让模型去做一些它根本做不到的事情。如果模型在预训练阶段没有接触到相关数据, 那模型可能就会迫使模型"一本正经的胡说八道"。但是在post-training阶段, 对于一些高质量得数据, 尽管出现多次, 但是我们仍然想要多次使用。MQA和GQA等, 对训练阶段影像不大, 但是对推理阶段模型的cost和behavior影响很大。不同, 捕捉的频率也不同。Softmax里面因为有指数操作, 会导致训练不稳定的问题, 需要特别注意。
2025-08-03 16:39:51
993
原创 mac安装Pyspark并连接Mysql
注意不要自己另外安装jdk, 会造成版本对不上报错。的过程中会自动安装openjdk。将下载的解压包中的jar文件拷贝到。注意jdk版本不对会造成。
2025-02-18 12:04:34
517
原创 model calibration
将模型输入概率作为输入, 然后ground truth作为输出, 在进行一次log regression。理想的曲线应该是y=x. 如果不理想, 就需要calibrate。例如猫狗分类中, 将属于猫的对应概率落到相应的桶中。
2025-02-02 17:29:06
510
原创 Vector Quantization 解读
考虑一种最简单的压缩办法：单独存储（比如 100 个）centroids 的颜色信息，然后每个像素点存储 centroid 的索引而不是颜色信息值，如果一个 RGB 颜色值需要 24 bits 来存放的话，每个（128 以内的）索引值只需要 7 bits 来存放，这样就起到了压缩的效果。一种更加好的做法是使用聚类的方式。将每个像素点当作一个数据，跑一下 K-means ，得到 k 个 centroids ，然后用这些 centroids 的像素值来代替对应的 cluster 里的所有点的像素值。
2024-12-31 11:30:22
635
原创 一步一步用numpy实现神经网络各种层
单独求softmax层有点麻烦, 将softmax+entropy一起求导更方便。为ground truth, 为one-hot vector.
2024-06-13 18:31:21
1918
3
原创 Optimizer神经网络中各种优化器介绍
每次随机取一个样本。BGD每次迭代都会朝着最优解逼近，而SGD由于噪音比BGD多，多以SGD并不是每次迭代都朝着最优解逼近，但大体方向是朝着最优解，SGD大约要遍历1-10次数据次来获取最优解。Adagrad会累加之前所有的梯度平方，而Adadelta只累加固定大小的项(Adagrad需要存储)，并且也不直接存储这些项，仅仅是近似计算对应的平均值。每次更新使用全部的样本，注意会对所有的样本取均值，这样每次更新的速度慢。与momentum不同的是，NAG是先往前走一步，谈谈路，用超前的梯度来进行修正。
2024-03-31 06:52:24
1662
原创 解决wandb错误wandb-servicef 0.006 MB uploaded (0.000 MB deduped)
结束wandb时有时会一直输出。
2023-11-14 19:16:45
3371
4
原创 解决pytorch DDP 报错This error indicates that your module has parameters that were not used
这时未使用的参数就会未参与梯度的计算，因此可以获取未使用参数，并注释掉消除错误。使用pytorch DDP训练的时候，有的时候会报错。现在单GPU下做一个iteration，并在。
2023-11-11 20:21:09
733
原创 pip安装nvidia-apex报错apex error: class “at::Tensor“ has no member “mutable_data_ptr“
【代码】pip安装nvidia-apex报错apex error: class “at::Tensor“ has no member “mutable_data_ptr“
2023-11-01 05:53:18
1882
4
原创 github常见命令
然后在项目目录，执行git pull命令，会提示输入账号密码。这次输入账号密码之后，就会记住账号密码，并且会在当前用户根目录下生成一个。因为github远程代码库链接较长，因此需要创建别名。将文件夹变成git库，并让git获取当前目录管理权限。代码冲突时，需要手动合并。合并完成后，添加到暂存区。在开发时，要保持与远程库一致，否则推送时会报错。本地上显示的总是master中的版本。文件，下一次就不用再输入账号密码了。然后可以在当前分支上修改，并通过。然后修改本地文件，并推送到远程库。设置存储格式，明文存储。
2023-06-26 21:30:25
2130
原创 安装nvidia-apex出现AttributeError: module ‘torch.distributed‘ has no attribute ‘_all_gather_base‘
【代码】安装nvidia-apex出现AttributeError: module ‘torch.distributed‘ has no attribute ‘_all_gather_base‘
2023-06-05 16:31:14
556
原创 Segment Anything文章要点
在这个阶段，我们的目标是增加mask的多样性，以提高我们的模型分割任何东西的能力。在我们的工作中，一个重要的区别是，为prompt segmentation训练的模型通过作为一个更大的系统组件可以在推理时执行一个新的、不同的任务，例如，为了执行实例分割，prompt segmentation模型与现有的object detector相结合。我们从交互式分割中采用了这种方法，尽管与交互式分割的目标是在足够的用户输入后最终预测有效的掩码不同，我们的目标是始终预测任何提示的有效掩码，即使提示是模糊的。
2023-04-09 07:36:16
1819
原创 解决pycharm cannot find declaration to go to
使用remote interpreter时，经常出现有些库文件无法点开，也没有代码自动补全。
2023-04-02 02:57:55
802
原创 安装gcc, cmake和itk
在官网gcc网站上下载然后解压。接下来执行如下命令tar xzf gcc-4.6.2.tar.gzcd gcc-4.6.2./contrib/download_prerequisitescd ..mkdir objdircd objdir$PWD/../gcc-4.6.2/configure --prefix=$HOME/GCC-4.6.2 --enable-languages=c,c++,fortran,gomakemake install然后设置环境变量export LD_LI
2022-05-09 14:17:32
1245
2
原创 python中调用C和C++
1. 生成dll文件在visual studio中, project->properties->configuration properties->general->Configuration Type中选择dll.然后build改项目生成dll文件。注意，如果文件后缀名称是.c，则使用如下格式:#include<stdio.h>#include<malloc.h>//无参数，无返回类型__declspec(dllexport) void __
2022-05-09 04:30:27
313
原创 计算parameters和FLOPs
1. 安装 ptflopspip install ptflops2. 计算params和FLOPsfrom ptflops import get_model_complexity_infodef print_time_paramter_complexity(net, input_size): macs, params = get_model_complexity_info(net, input_size, as_strings=True, print_per_layer_stat=Tru
2022-03-26 11:35:41
1825
2
ubuntu运行./configure时出错
2015-08-07
TA创建的收藏夹 TA关注的收藏夹
TA关注的人