- 博客(18)
- 收藏
- 关注
RSS订阅原创 【大模型-- LoRA微调原理及代码演示】
LoRA（Layerwise Relevance Analysis，层次化相关性分析）是一种参数高效微调（PEFT）方法，它的原理基于分析和调整模型中的参数，以便在不需要微调所有参数的情况下，有效地适应特定的下游任务。LoRA的核心思想是通过分析模型的中间层（特别是顶部的层）来确定哪些参数对于特定任务是最重要的，然后仅仅微调这些参数，而不是整个模型。通过仅微调模型中最重要的参数，LoRA能够在保持高性能的同时，显著降低模型训练和推理的计算和存储成本。：在选定的参数上进行训练，并评估模型在下游任务上的性能。
2024-04-18 12:37:03
352
1
原创 【大模型 --- 数据并行与混合精度】
（Mixed Precision Training）是一种优化技术，它通过在训练过程中使用不同的数值精度（例如，混合使用16位和32位浮点数）来减少内存占用和加快计算速度。例如，在使用数据并行时，可以在每个GPU上使用混合精度训练，以减少每个GPU的内存占用并加快计算速度。在实际应用中，使用数据并行和混合精度训练需要注意的是，它们可能会带来一些挑战，如内存管理和数值稳定性问题。数据并行和混合精度是两种不同的优化技术，它们在深度学习训练中扮演着不同的角色，但它们可以结合使用以提高训练效率和模型性能。
2024-03-21 15:14:43
312
1
原创 【大模型--- 量化与微调的原理、区别】
在QAT中，量化操作被包括在训练过程中，这样模型在学习参数时就会考虑到量化带来的影响，从而减少量化后模型精度的损失。在微调过程中，模型通常在一个与预训练任务相似但不完全相同的任务上进行训练，以细化模型的权重和参数，使其更好地适应新任务。这通常在模型已经过训练并准备部署时执行。在实际应用中，如果量化后的模型性能下降过多，可能需要重新对量化后的模型进行微调，以恢复或提高其在量化精度下的性能。大模型微调和模型量化是两种不同的模型优化技术，它们通常用于不同的阶段和目的，但也可以结合使用以优化模型的性能和效率。
2024-03-12 12:34:53
385
1
原创 【大模型---streamlit中的装饰器st.cache_resource()】
是 Streamlit 提供的一个装饰器，用于缓存返回全局资源（如数据库连接、机器学习模型等）的函数。这个装饰器特别适合于那些本质上不可序列化的类型，例如数据库连接、文件句柄或线程等，但也可以用于可序列化的对象。缓存的对象必须是线程安全的，因为它们可能会被多个线程同时访问。用于缓存数据库连接引擎，避免了每次运行时都重新创建连接，从而提高了应用的性能。用于提供一个验证函数来检查缓存数据的有效性，以及。应用的性能，特别是在处理全局资源时。用于限制缓存中的最大条目数，是一个强大的工具，用于优化。
2024-03-11 12:22:24
320
原创 【大模型---在线量化和离线量化】
例如，Bitsandbytes库提供了一种data-free的量化方法，可以在模型加载时动态量化，不需要预先的数据校准过程。例如，使用PyTorch的量化API可以实现离线量化，通过观察模型在校准数据集上的表现来确定最佳的量化参数。在大模型中，“在线量化”和“离线量化”是指模型量化的两种不同方式。总结来说，在线量化和离线量化是指模型量化的两种不同方法，它们各有优势。在线量化适用于需要快速部署的场景，而离线量化则提供了更多的控制，可以在量化前后进行模型性能的评估。
2024-02-26 19:40:42
313
2
原创 如何在linux服务器中安装NVIDIA GPU驱动，超级详细的保姆级安装流程步骤！
如何在Linux系统服务器中安装NVIDIA GPU驱动？ 怎么在服务器中安装GPU环境？
2024-02-21 16:12:14
424
1
原创 如何使用本地电脑通过远程连接，使用服务器上docker容器里的python资源？
背景：如何在本地电脑上通过远程连接的方式，访问使用服务器上docker容器内的python环境，解决本地pycharm中资源问题。
2023-09-17 17:35:14
190
1
原创 安装sentence- transformers 保姆级教程
第一步： pip install torch===1.7.0 torchvision===0.8.1 torchaudio===0.7.0 -f https://download.pytorch.org/whl/torch_stable.html第二步：pip install transformers==4.7.0第三步：pip install sentence-transformers
2022-05-25 18:32:20
1690
原创 中文分词是一个伪命题
六年以前，第一个中文分词系统的发明人郝玺龙先生对我讲，中文分词是个伪问题。当时NLP刚入门的我完全听不懂。最近试用了一下BERT，做了个简单的文本分类。以前做这类任务的方法都是先分词，然后把词向量化，在向量上跑各种分类模型。但是只要一分词就引入了误差，在不定制词典的前提下，分词系统本身的准确率只能做到90%。在这个基础上做向量做分类，就是个误差逐步积累的过程，最终结果可想而知。刚开始的时候，考虑直接用LSTM。就像在唇语识别任务中一样，后来考虑到语料太少，LSTM提取不到完全的特征，效果无法保证，必须引
2022-05-23 15:16:46
83
原创 NGram分词算法
def create_ngram_list(input_list, ngram_num): ngram_list = [] for n_i in ngram_num: if len(input_list) <= n_i: ngram_list.append(input_list) else: for tmp in zip(*[input_list[i:] for i in range(n_i)]):
2022-05-15 09:27:52
477
原创 2021-11-10
Python安装过程的报错问题汇总：1、ModuleNotFoundError: No module named ‘pip’python -m ensurepippython -m pip install --upgrade pip**
2021-11-10 14:14:18
542
原创 2021-11-10
这里写自定义目录标题欢迎使用Markdown编辑器欢迎使用Markdown编辑器为什么使用gensim word2vec训练词向量时存在语料中的某些词没有词向量？：这是因为word2vec训练过程中会通过参数min_count=5，过滤掉一部分低频的词，所有词向量数量比语料分词后的数量少。因为word2vec依靠词的共现（coocurrence）关系来学习词表示，词频会影响词向量更新的好坏，在gensim实现中默认会筛去词频极低的词（频率低的词没法找到很多共现窗口更新参数）。自然语言中的词都是
2021-11-10 12:06:17
189
原创 2021-04-25
如何解决python向Postgresql库中导入数据时，无法导入单引号问题？sql = "update tabelname set goods='" +str(good_s).replace("'", "''") +"' where goods_id=" +str(id)+";"
2021-04-25 18:21:54
89
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人