- 博客(64)
- 收藏
- 关注
RSS订阅原创 服务器部署LLM、Embedding
介绍在服务器下将大语言模型、embedding模型通过transformers或者vllm的方式部署为API服务的搭建步骤和脚本
2024-12-30 20:43:41
800
原创 推荐系统简介（下）
衔接推荐系统简介上，本章内容主要介绍召回内容的排序方案，以及谷歌、You Tube、阿里公布的策略方案，分享推荐上线的A/B test方案的优缺点。
2024-12-18 07:00:00
1212
原创 推荐系统简介（上）
主要介绍推荐系统的整体组成结构，重点介绍了基于内容、协同过滤、统计信息、冷启动等召回策略和问题；以及召回的核心点，特征处理工程。
2024-12-15 11:41:23
671
原创 LLM在Transformer上的改动
介绍关于当前大模型的在Transformer结构上的优化和改进：multi-head共享、attention前后网络、归一化层位置、归一化层函数、激活函数等调整方案，并给出LLama2方案介绍；以及大语言模型长文本输出中，涉及到位置编码的方案
2024-11-14 03:00:00
800
原创 大语言模型使用和测评
主要介绍大语言模型中ICL的使用案例和特殊的情况；大语言模型评价数据集；当前两种业内对大模型可解释性的实验和结论；以及从大模型层面对输出结果真实性可靠性的实验介绍
2024-10-22 20:54:25
1033
原创 大语言模型训练
主要介绍当前大语言模型训练过程中的数据并行、模型并行等方法；模型权重上的混合精度训练、deepspeed训练框架内容，以及LoRA、P-tuning等PEFT方法，推理加速KV cache的原理
2024-10-13 16:00:51
931
原创 多模态简单了解
主要内容即图片在transformer中的编码逻辑，以及图文训练时、diffusion的方式：CLIP图文交互、对比学习训练、flamingo图文交互、LLava图文交互；
2024-10-09 20:59:05
390
原创 预训练发展
文章主要介绍预训练的历史中，出现的一些重要模型结构、训练方法和思想；包含模型：ELMo、GPT、Bert、GPT2、UNILM、Transformer-XL & XLNet、Roberta、SpanBert、ALBERT、T5、GPT3。
2024-09-15 14:07:43
788
原创 NLP中文本生成任务
简单介绍文本生成式任务的应用领域，主要讲解实现的方案，包括自回归模型实现、Encoder-Decoder结构；其中注意力机制原理和种类，训练方式；以及评价指标和常见问题的解决方案。
2024-09-11 23:46:44
1102
1
原创 文本匹配任务（上）
主要对文本匹配任务的定义、到应用的介绍；从智能问答中可知难点核心是文本匹配相似度算法；接着对算法进行详细介绍：编辑距离、Jaccard、BM25算法、word2vec
2024-08-20 23:39:58
817
原创 文本分类任务算法演变（二）
主要讲解在深度学习技术在文本分类任务中的算法应用，包含fastText、LSTM、TextCNN、Gated CNN、TextRCNN、Bert；以及实验中常见数据稀疏、标签不均衡问题处理。多标签分类任务的实现。
2024-08-17 18:25:31
1017
原创 语言模型-预训练模型（三）
主要内容为预训练模型的介绍、BERT结构的介绍，embedding、encoder、self-attention等核心结构的分析
2024-08-07 21:13:51
1315
原创 词的向量化和文本向量化
主要为文本的向量化内容，包含两种编码：词向量和one-hot；词向量训练方式介绍基于语言模型、基于窗口、基于共现矩阵Glove；窗口训练讲解CBOW模型；SkipGram模型；以及负采样、Huffman树；包含聚类应用
2024-07-29 23:23:39
1251
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人