Neleuska的博客

NLP语言模型、大模型LLM、In-Context Learning(ICL)

FAQ智能问答系统。实现FAQ的问题-模板匹配功能。部署轻量级的Web服务应用。

通用NER框架

基本信息基于Pytorch的文本分类框架。同时支持中英文的数据集的文本分类任务。项目地址：text_classifier_pytorch支持的模型非预训练类模型：FastTextTextCNNTextRNNTextRCNNTransformer预训练类模型BertAlbertRobertaDistilbertElectraXLNet支持的训练方式支持中英文语料训练支持中英文的文本分类任务。支持多种模型使用配置文件Config.py中的变量

Pretrain_Bert_with_MaskLMInfo使用Mask LM预训练任务来预训练Bert模型。基于pytorch框架，训练关于垂直领域语料的预训练语言模型，目的是提升下游任务的表现。Pretraining TaskMask Language Model，简称Mask LM，即基于Mask机制的预训练语言模型。同时支持 原生的MaskLM任务和Whole Words Masking任务。默认使用Whole Words Masking。MaskLM使用来自于Bert的mask机制，

1、前期经验        关于验证码识别，试过使用传统的machine learning方式识别，在相同样本下效果还算可以，但当迁移到别的数据集时，效果不理想。        对于使用深度学习识别验证码，尝试过使用LeNet-5、AlexNet两种卷积网络，可能是网络结构简单的原因，结果不收敛。故尝试用了RNN中的LSTM单元网络来识别，效果较理想。 2、原始验证码文件 ...

《A Neural Attention Model for Abstractive Sentence Summarization》论文笔记1 Introduction2 Background3 ModelNeural Language ModelEncodersBag Of Words EncoderConvilutional EncoderAttention Based EncoderTrain...