![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自然语言处理
文章平均质量分 84
从基础自然语言处理到大模型,深入了解大模型
`AllureLove
这个作者很懒,什么都没留下…
展开
-
【论文阅读】Scaling Laws for Neural Language Models(2020)- 大模型预训练参数量、数据集大小、计算资源之间的关系验证
大模型效果最大程度的依赖于模型规模的大小,模型的规模指的就是NNNDDDCCC共同确定的,在以上规模达到一定的标准后,模型的超参数如宽度和深度对模型效果的影响较为微弱;大模型效果与NNNDDDCCC三个参数都有着独立的power-law关系;同时增加NNNDDD必然会带来大模型效果的提升,但是如果只提升其中一个变量,就会导致过拟合,性能会发生损失,性能损失的比例为N0.74DN^{0.74}/DN0.74D如:模型参数量每提升8倍时,数据量级需要提升至少5倍。原创 2024-07-02 20:28:21 · 765 阅读 · 1 评论 -
【实战教程】linux系统下载huggingface大模型教程
下载大模型原创 2024-04-24 11:03:57 · 824 阅读 · 1 评论 -
【实战教程】结合自定义损失函数采用LoRA微调Llama3-8B
结合自定义损失函数微调llama3原创 2024-04-28 15:37:22 · 756 阅读 · 0 评论 -
【NLP笔记】大模型微调方法概述
大模型微调理论概述原创 2024-04-11 19:09:33 · 953 阅读 · 0 评论 -
【NLP笔记】LLM应用之AI Agent & LangChain实战
AI Agent & LangChain原创 2024-04-03 16:08:24 · 1610 阅读 · 0 评论 -
【NLP笔记】预训练+Prompt Tuning新范式之LLM时代(GPT3...)
LLM时代原创 2024-03-25 12:45:28 · 969 阅读 · 0 评论 -
【NLP笔记】预训练+微调范式之OpenAI Transformer、ELMo、ULM-FiT、Bert..
NLP大爆炸原创 2024-03-20 18:29:36 · 785 阅读 · 0 评论 -
【NLP笔记】Transformer
Transformer深入理解原创 2024-03-19 19:45:16 · 902 阅读 · 0 评论 -
【NLP笔记】文本向量化
在自然语言处理中,文本向量化(Text Embedding)是很重要的一环,是将文本数据转换成向量表示,包括词、句子、文档级别的文本,深度学习向量表征就是通过算法将数据转换成计算机可处理的数字化形式。原创 2024-03-15 10:12:54 · 3238 阅读 · 1 评论 -
【NLP笔记】文本分词、清洗和标准化
文本分词实用笔记原创 2024-03-13 19:32:59 · 567 阅读 · 0 评论 -
深度学习之Transformer笔记
Transformer笔记一、Transformer概览二、Encoder详解三、Decoder详解本文是根据哔哩哔哩up主视频讲解所写,加入了一些个人理解。视频地址:Transformer从零详细解读一、Transformer概览Transformer最初用于机器翻译,具体功能可以看成:进一步细分:再进一步细分:Encoder-Decoder结构,多个Encoder和Decoder个数可以自行设置,每个Encoder和Decoder参数不同,但是是循环结构。Transforme原创 2021-05-20 15:29:19 · 729 阅读 · 0 评论 -
自然语言处理(NLP)(三)模型篇之传统模型和RNN模型
文章目录1.基础模型1.1传统模型(HMM和CRF)1.2 传统RNN模型2. 改进的RNN模型1.基础模型1.1传统模型(HMM和CRF)隐马尔可夫模型(Hidden Markov Model),隐马尔可夫模型,一般以文本序列数据为输入,以该序列对应的隐含序列为输出。CRF(Conditional Random Fields)模型,称为条件随机场,一般也以文本序列数据为输入,以该序列对应的隐含序列为输出。可用于解决文本序列标注问题,如分词,词性标注,命名实体识别。感觉黑马视频这一部分讲得原创 2021-07-25 22:15:39 · 1256 阅读 · 1 评论 -
自然语言处理(NLP)(二)实战篇之新闻主题分类任务
文章目录1. 构建带有Embedding层的文本分类模型数据包含内容如下:数据准备:import torchimport torchtextfrom torchtext.datasets import text_classificationimport os# 指定数据集下载路径load_data_path = "./data"if not os.path.isdir(load_data_path): os.mkdir(load_data_path) # 下载数据集train_原创 2021-06-23 16:16:04 · 631 阅读 · 0 评论 -
深度学习之Reformer
文章目录1. 局部敏感哈希2. 可逆层3. ChunkTransformer无法处理比较长的序列数据(通常是500左右的长度),而且十分消耗GPU资源。Reformer可以处理的序列长度可以高达64k,GPU资源消耗也降低了很多。Reformer的重点部分在于:Locality sensitive hash attention(局部敏感哈希注意力):空间换时间Reversible layers(可逆层):时间还空间Chunking FFN layer1. 局部敏感哈希普通哈希映射是直接进原创 2021-07-27 12:34:35 · 1265 阅读 · 0 评论 -
批量处理文件构造语料库并训练Doc2Vec模型(基于gensim的实现)
文档预处理"""数据集文档存储结构:-data--类别1--sample1 --sample2 ... --类别2--sample1 --sample2 ... --类别2--sample1 --sample2 ..."""parent_path = "dada文件夹路径"for folder in os.listdir(parent_path): label = folder lab.原创 2021-06-29 20:43:56 · 415 阅读 · 0 评论 -
自然语言处理(NLP)(一)文本预处理篇之分词、向量表示和特征处理
文章目录一、文本处理1. 文本预处理的基本方法1.1 jieba模块分词1.1.1 精确模式分词1.1.2 全模式分词1.1.3 搜索引擎模式分词1.1.4 中文繁体分词1.1.5 自定义词典分词1.2 hanlp模块1.2.1 中文分词1.2.2 英文分词1.2.3 命名实体识别1.2.4 词性标注2. 文本张量表示方法2.1 one-hot词向量表示2.2 word2vec2.2.1 CBOW(Continuous bag of words)模式2.2.2 skipgram模式2.2.3 使用fastt原创 2021-06-09 20:40:56 · 3281 阅读 · 5 评论