![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python库整理
文章平均质量分 60
UQI-LIUWJ
这个作者很懒,什么都没留下…
展开
-
Libcity笔记:strnn_encoder.py
所以对于 STRNN来说,它的eval_data的每个元素是:原创 2024-08-20 09:35:51 · 183 阅读 · 0 评论 -
pandas 笔记crosstab
用来计算两个(或更多)因子的交叉表(即频率表、列联表或透视表)。这个功能特别适用于统计分析和数据探索阶段,帮助理解不同变量之间的关系。原创 2024-08-16 22:08:37 · 404 阅读 · 0 评论 -
huggingface笔记:gpt2
包含 torch.FloatTensor 的元组(如果模型具有嵌入层,则为嵌入输出的一个 + 每层输出的一个),形状为 (batch_size, sequence_length, hidden_size)。的元组,每个元组包含形状为 (batch_size, num_heads, sequence_length, embed_size_per_head) 的 2 个张量。(torch.FloatTensor,形状为 (num_heads,) 或 (num_layers, num_heads),可选) —原创 2024-07-06 15:17:18 · 1127 阅读 · 0 评论 -
huggingface 笔记:peft
将基础模型和 peft_config 与 get_peft_model() 函数一起包装以创建 PeftModel。模型训练完成后,可以使用 save_pretrained 函数将模型保存到目录中。之后就可以train了。原创 2024-06-25 12:58:25 · 595 阅读 · 0 评论 -
accelerate 笔记:进程管理
如果在一个由多台机器组成的集群上运行训练作业,并希望每台机器都独立打印它们的日志信息,可以使用。: 如果在多台机器上运行训练作业,并且只希望最终的模型上传操作在所有进程中执行一次,可以使用。原创 2024-06-24 20:21:18 · 287 阅读 · 0 评论 -
numpy 笔记np.atleast_1d
【代码】numpy 笔记np.atleast_1d。原创 2024-06-15 13:25:06 · 97 阅读 · 0 评论 -
accelerate 笔记:对齐不同设备配置的性能
确保在所有分布式情况下使用 utils.set_seed() 完全设置种子,以使训练可复现。举例:假设我们有:两个GPU用于“多GPU”、一个带有8个工作站的TPU pod。学习率应该根据设备的数量线性缩放。原创 2024-06-05 11:04:30 · 393 阅读 · 0 评论 -
Accelerate笔记:本地SGD
本地 SGD 是一种分布式训练技术,其中梯度不是每一步都同步。 每个进程都会更新自己版本的模型权重,在给定的步数后,通过跨所有进程平均这些权重来同步它们。 在底层,本地 SGD 代码禁用了自动梯度同步(但累积仍然如预期工作!)。 它每 local_sgd_steps 步(以及在训练循环结束时)平均模型参数。 提高了通信效率,并且特别是在计算机缺乏如 NVLink 等更快的互连时,可以显著加速训练。 如有必要,本地 SGD 也可以与梯度累积结合使用 限制:当前的实现只适用于基本的多 GP原创 2024-06-04 11:39:22 · 211 阅读 · 0 评论 -
accelerate 笔记: find_executable_batch_size 自动选择合适的batch
Accelerate 提供了 find_executable_batch_size() 工具。 这个工具在因 OOM(内存溢出)条件失败时重试代码,并自动降低批量大小。 对于每个 OOM 条件,该算法将批量大小减半并重试代码,直到成功。原创 2024-06-03 22:34:25 · 125 阅读 · 0 评论 -
accelerate 的一个tip:early stopping 处可能存在的bug
这样只有进程1上也early stop之后,才会结束accelerate的分布式训练。原创 2024-06-03 21:51:07 · 400 阅读 · 0 评论 -
Accelerate 笔记:保存与加载文件
【代码】Accelerate 笔记:保存与加载文件。原创 2024-06-03 21:29:11 · 606 阅读 · 0 评论 -
accelerate笔记:实验跟踪
【代码】huggingface笔记:实验跟踪。原创 2024-06-03 21:00:44 · 526 阅读 · 0 评论 -
huggingface笔记 accelerate launch
用正确的参数在分布式系统上启动指定的脚本。原创 2024-05-27 16:12:36 · 1105 阅读 · 0 评论 -
huggingface 笔记:device_map
device_map在除了第一个GPU之外的所有GPU上均匀分配模型,并且只有在其他GPU放不下时,才在GPU 0上放置内容当你需要在生成 Transformers 模型的输出时使用GPU 0进行一些处理时,这个选项非常有用。原创 2024-05-25 16:40:28 · 2844 阅读 · 0 评论 -
huggingface 笔记:PretrainModel
(str 或 torch.dtype, 可选) — 覆盖默认的 torch.dtype,并在特定的数据类型下加载模型。返回模型的输入嵌入,即将词汇映射到隐藏状态的 PyTorch 模块。返回模型的输出嵌入,即将隐藏状态映射到词汇的 PyTorch 模块。是否强制(重新)下载模型权重和配置文件,覆盖已存在的缓存版本。(bool, 可选,默认为 False) -(bool, 可选,默认为 False) -自定义模型的输入嵌入层,通过提供一个新的。获取模型的内存占用(以字节为单位)来替换默认的输入嵌入。原创 2024-05-25 16:13:22 · 717 阅读 · 0 评论 -
huggingface笔记: accelerate estimate-memory 命令
模型与之集成的库名称,如 transformers。仅在 Hub 上未存储此信息时需要。原创 2024-05-22 18:41:45 · 486 阅读 · 1 评论 -
hugging face笔记:PEFT
r=64,:指定 LoRA 层的缩放因子。:设置在 LoRA 层中使用的 dropout 比率,以避免过拟合。r=64:设置每个 LoRA 层的秩,即低秩矩阵的维度。:指定不在 LoRA 层中使用偏置项。:设定这个 LoRA 配置是为了因果语言模型任务。原创 2024-05-21 13:18:00 · 909 阅读 · 0 评论 -
机器学习/huggingface笔记:Transformer内存占用刨析 和高效训练
参考内容: Model training anatomy (huggingface.co)原创 2024-05-20 23:06:09 · 467 阅读 · 1 评论 -
huggingface 笔记:查看GPU占用情况
为了打印GPU利用率和使用Trainer进行训练运行的摘要统计信息,定义了两个辅助函数。在我这边的GPU上跑不起来:可能是不同版本的cuda、pytorch导致的(不确定)原创 2024-05-20 23:22:46 · 455 阅读 · 0 评论 -
huggingface 笔记:Llama3-8B
【代码】huggingface 笔记:Llama3-8B。原创 2024-05-19 15:12:40 · 503 阅读 · 0 评论 -
OpenAI 笔记:chat API
聊天模型接受一系列消息作为输入,并返回模型生成的消息作为输出。原创 2024-04-24 15:01:50 · 1531 阅读 · 0 评论 -
libcity笔记:参数设置与参数优先级
命令行参数(命令行python run_model.py时导入的)用户定义配置文件(命令行python run_model.py时由config_file导入的)模型所在模块默认参数。原创 2024-05-05 15:22:10 · 279 阅读 · 1 评论 -
libcity笔记:libcity/data/batch.py
1 Batch2 BatchPAD原创 2024-05-07 18:30:45 · 179 阅读 · 0 评论 -
huggingface笔记:使用accelerate加速
绿色的是加上的,红色的是去掉的。原创 2024-05-16 11:31:52 · 888 阅读 · 0 评论 -
huggingface 笔记 finetune模型
在将预测传递给 compute 之前,需要将 logits 转换为预测。首先数据集需要使用pytorch需要的DataLoader。创建数据集的一个较小子集来进行微调,以减少所需的时间。然后调用 compute 方法计算预测的准确性。然后就是pytorch训练“三件套”【不用设计优化器欸】原创 2024-05-16 10:31:06 · 398 阅读 · 0 评论 -
huggingface 笔记:AutoTokenizer,AutoClass
AutoClass 是一个快捷方式,它可以自动从模型的名称或路径检索预训练模型的架构。只需要为任务选择适当的 AutoClass 及其关联的预处理类。原创 2024-05-13 10:12:47 · 360 阅读 · 0 评论 -
huggingface 笔记:pipeline
【代码】huggingface 笔记:pipeline (quick tour教程)原创 2024-05-13 09:49:51 · 394 阅读 · 0 评论 -
libcity 笔记:添加自定义dataset
那其他需要修改哪些内容,使得这个dataset生效呢。添加文件GeolifeDMDataset.json。原创 2024-05-09 15:31:28 · 285 阅读 · 0 评论 -
libcity 笔记:libcity/data/utils.py
1 get_dataset原创 2024-05-07 10:31:23 · 162 阅读 · 0 评论 -
libcity笔记:详细流程(以DeepMove为例)
从ibcity/model/trajectory_loc_prediction/DeepMove.py 中生成 DeepMove类。首先检查输入的参数是否已经是布尔值类型,如果是,则直接返回该值,无需转换。异常,表示期望一个布尔值。原创 2024-05-07 10:31:18 · 392 阅读 · 0 评论 -
libcity笔记:libcity/config/config_parser.py/ConfigParser
对应的值,如果键不存在,则返回默认值。原创 2024-05-07 10:31:13 · 346 阅读 · 0 评论 -
libcity笔记:libcity/utils/utils.py
【代码】libcity笔记:libcity/utils/utils.py。原创 2024-05-07 10:31:08 · 159 阅读 · 0 评论 -
libcity笔记:libcity/evaluator/traj_loc_pred_evaluator.py
检查配置是否符合评估器的要求,确保评估过程能够顺利执行。原创 2024-05-07 10:31:00 · 239 阅读 · 0 评论 -
libcity 笔记:libcity/executor/traj_loc_pred_executor.py
根据配置中指定的优化器类型创建并返回一个适合用于模型训练的优化器对象。原创 2024-05-07 10:08:24 · 246 阅读 · 0 评论 -
Libcity笔记:libcity/data/dataset/trajectory_encoder/standard_trajectory_encoder.py
将传入的时间对象time转换成一个整数,以区分工作日和周末的时间time.hour。原创 2024-05-06 20:24:38 · 160 阅读 · 3 评论 -
libcity笔记:添加新模型(以RNN.py为例)
【代码】libcity笔记:添加新模型(以RNN.py为例)原创 2024-05-06 08:31:04 · 196 阅读 · 1 评论 -
Lib city笔记:TrajectoryDataset
所有数据集的基类。原创 2024-05-05 19:56:32 · 355 阅读 · 0 评论 -
Libcity笔记:原子文件
Libcity中的数据以原子文件的形式存在。原创 2024-05-05 16:33:48 · 1128 阅读 · 2 评论 -
libcity 笔记:基本使用方法
一个统一、全面、可扩展的代码库,为交通预测领域提供了一个可靠的实验工具和便捷的开发框架目前支持交通状态预测交通流量预测交通速度预测交通需求预测起点-终点(OD)矩阵预测交通事故预测轨迹下一跳预测到达时间预测路网匹配路网表征学习。原创 2024-05-05 14:25:25 · 1318 阅读 · 3 评论 -
libcity笔记:支持的数据
描述METR_LALOS_LOOPPEMSPEMSD3PEMSD4PEMS_BAYPEMSD7PEMSD7(M)PEMSD8Q_TRAFFICSZ_TAXIM_DENSEROTTERDAM。原创 2024-05-05 11:34:16 · 753 阅读 · 0 评论