自然语言处理
文章平均质量分 74
自然语言处理
NLP工程化
NLP工程师
展开
-
博客文章索引汇总--自然语言处理
一.Caffe学习日记1.Caffe学习日记12.Caffe学习日记23.Caffe学习日记34.Caffe学习日记45.Caffe学习日记56.Caffe学习日记67.Caffe学习日记78.Caffe学习日记89.Caffe学习日记910.Caffe学习日记10二.Python与机器学习1.Python与机器学习12.Python与机器学习23.Python与机器学习34.Python与机器学习45.Python与机器学习56.Python与数据分析17.Python原创 2020-10-12 18:47:16 · 483 阅读 · 0 评论 -
使用vLLM和ChatGLM3-6b批量推理
当数据量大的时候,比如百万级别,使用 ChatGLM3-6b 推理的速度是很慢的。发现使用 vLLM 和 ChatGLM3-6b 批量推理极大的提高了推理效率。本文主要通过一个简单的例子进行实践。原创 2023-12-23 21:30:41 · 2057 阅读 · 4 评论 -
RasaGPT对话系统的工作原理
RasaGPT 结合了 Rasa 和 Langchain 这 2 个开源项目,当超出 Rasa 现有意图(out_of_scope)的时候,就会执行 ActionGPTFallback,本质上就是利用 Langchain 做了一个 RAG,调用 LLM API。RasaGPT 涉及的技术栈比较多而复杂,包括 Rasa、Langchain、LlamaIndex、Telegram、PostgresSQL、PGVector、Ngrok、FastAPI、Docker、docker-compose、Dozzle 等。原创 2023-12-23 21:28:49 · 799 阅读 · 0 评论 -
《语义增强可编程知识图谱SPG》白皮书
语义増强可编程图谱框架:新一代知识图谱语义框架/引擎、SPG+LLM双驱架构及应用相关进展和应用。原创 2023-09-18 22:44:30 · 208 阅读 · 0 评论 -
心理健康数据集:mental_health_chatbot_dataset
该数据集包含与心理健康相关的问题和答案的对话对,以单一文本形式呈现。数据集是从流行的医疗博客(如WebMD、Mayo Clinic和HealthLine)、在线常见问题等来源精选而来的。所有问题和答案都经过匿名化处理,以删除任何个人身份信息(PII),并经过预处理以删除任何不必要的字符。原创 2023-09-18 22:41:46 · 988 阅读 · 0 评论 -
Falcon-7B大型语言模型在心理健康对话数据集上使用QLoRA进行微调
在这里,我将偏差设置为None,但也可以将其设置为lora_only,以仅训练LoRA网络的偏差参数。使用共享模型的优点是,当与accelerate结合使用时,可以帮助accelerate将特定部分移动到不同的内存部分,有时是CPU或GPU,从而帮助在较小的内存量中微调大型模型。使用PEFT,我们可以对LLM进行高性能建模的微调,但只需要微调少量参数。在这里,load_in_4bit设置使模型以4位精度加载,bnb_4bit_use_double_quant使双重量化成为可能,正如QLoRA提出的那样。翻译 2023-09-18 22:37:53 · 203 阅读 · 0 评论 -
使用TorchLens可视化一个简单的神经网络
TorchLens:可用于可视化任何PyTorch模型,一个包用于在一行代码中提取和映射PyTorch模型中每个张量运算的结果。TorchLens功能非常强大,如果能够熟练掌握,算是可视化PyTorch模型的一把利剑。本文通过TorchLens可视化一个简单神经网络,算是抛砖引玉吧。原创 2023-09-18 00:05:42 · 84 阅读 · 0 评论 -
基于Protege的知识建模实战
添加实例之间的关系,选中"佛印禅师"->Property assertions->Object property assertions->点击±>输入对象属性名称(曾住)->输入实例名称(镇江金山寺)。首先标签Entities->Individuals->点击菱形图标->佛印禅师,然后Entities->Description->Types->Class Hierarchy->禅师。在Entities页面,选择Class标签,右键点击owl:Thing,选择增加子类"人物"和"地点"。原创 2023-09-13 23:24:24 · 1895 阅读 · 0 评论 -
基于Llama2模型的开源模型
2023年7月18日Meta开源了Llama2,在2万亿个Token上训练,可用于商业和研究,包括从7B到70B模型权重、预训练和微调的代码。原创 2023-09-01 21:50:07 · 580 阅读 · 0 评论 -
ChatGPT:重新定义搜索入口
ChatGPT是实现模糊搜索到精准推送的跨时代巅峰之作。ChatGPT:重新定义搜索入口_up.pdf: https://url39.ctfile.com/f/2501739-805099579-92a952?p=2096 (访问密码: 2096)参考文献:[1]ChatGPT:重新定义搜索入口_up.pdf: https://url39.ctfile.com/f/2501739-805099579-92a952?p=2096 (访问密码: 2096)本文由 mdnice 多平台发布原创 2023-02-10 18:38:30 · 607 阅读 · 0 评论 -
ChatGPT:开启AI新纪元
ChatGPT是一种聊天机器人软件,OpenAI于2022年11月推出的聊天机器人,具备人类语言交互外复杂的语言工作,包括自动文本生成、自动问答、自动摘要等多重功能,应用场景广阔,相较于上个版本更像人类一样聊天交流。ChatGPT:开启AI新纪元_up.pdf: https://url39.ctfile.com/f/2501739-805099873-43ddb4?p=2096 (访问密码: 2096)参考文献:[1]ChatGPT:开启AI新纪元_up.pdf: https://ur原创 2023-02-10 18:39:05 · 256 阅读 · 0 评论 -
Deep Learning for Natural Language Processing
Transformer是首个完全抛弃RNN的recurrence,CNN的convolution,仅用attention来做特征抽取的模型。Deep Learning for Natural Language Processing:The Transformer model_up.pdf: https://url39.ctfile.com/f/2501739-805100030-845fca?p=2096 (访问密码: 2096)参考文献:[1]Deep Learning for Natu原创 2023-02-10 18:39:29 · 162 阅读 · 0 评论 -
深度学习算法发展:从多样到统一
OpenAI在GPT-3模型基础上引入了人类反馈强化学习方法(RLHF),训练出InstructGPT模型,并据此发布了对话机器人ChatGPT,引起了互联网用户的注意。深度学习算法发展:从多样到统一_up.pdf: https://url39.ctfile.com/f/2501739-805100032-4d13e4?p=2096 (访问密码: 2096)参考文献:[1]深度学习算法发展:从多样到统一_up.pdf: https://url39.ctfile.com/f/2501739-80原创 2023-02-10 18:40:57 · 185 阅读 · 0 评论 -
ChatGPT引领AI新浪潮,AIGC商业化启
ChatGPT引领AI技术新一轮热潮,预示着NLP技术有望迅速进入平民化应用时代。ChatGPT引领AI新浪潮,AIGC商业化启_up.pdf: https://url39.ctfile.com/f/2501739-805099732-b78420?p=2096 (访问密码: 2096)参考文献:[1]ChatGPT引领AI新浪潮,AIGC商业化启_up.pdf: https://url39.ctfile.com/f/2501739-805099732-b78420?p=2096 (访问密码:原创 2023-02-10 18:41:46 · 191 阅读 · 0 评论 -
海外ChatGPT专题
作为AIGC领域顶尖的模型,ChatGPT有望对现有生产力工具进行变革,引领赛道发展。海外ChatGPT专题_up.pdf: https://url39.ctfile.com/f/2501739-805099789-098b62?p=2096 (访问密码: 2096)参考文献:[1]海外ChatGPT专题_up.pdf: https://url39.ctfile.com/f/2501739-805099789-098b62?p=2096 (访问密码: 2096)本文由 mdnice 多平台原创 2023-02-10 18:44:04 · 1995 阅读 · 1 评论 -
图神经网络学习指南
图神经网络(GNN)学习指南包括:GNNs简介,入门GNNs,深入GNNs,GNN论文和实现,基准和数据集,工具和教程。1.GNNs-Recipe GitHub2.GNNs简介,入门GNNs,深入GNNs,GNN论文和实现3.基准和数据集,工具和教程参考文献:[1]GNNs-Recipe:https://github.com/dair-ai/GNNs-Recipe本文由 mdnice 多平台发布原创 2023-01-29 09:38:10 · 114 阅读 · 0 评论 -
2022知识图谱发展报告[附下载]
2022年《知识图谱发展报告》是中国中文信息学会语言与知识计算专委会发布的报告,算是国内最权威的关于知识图谱领域的最全和最新进展了。包括知识表示与建模、知识表示学习、 实体抽取、实体关系抽取、事件知识获取、知识融合、知识推理、知识图谱的存储和查询、通用和领域知识资源、知识图谱质量评估与管理、基于知识的问答与对话、基于知识的搜索与推荐、知识图谱交叉前沿,共计13章。2022年《知识图谱发展报告》下载链接:https://url39.ctfile.com/f/2501739-668230065-8345de?原创 2022-09-07 13:03:32 · 295 阅读 · 0 评论 -
利用Hugging Face中的模型进行句子相似性实践
Hugging Face是什么?它作为一个GitHub史上增长最快的AI项目,创始人将它的成功归功于弥补了科学与生产之间的鸿沟。什么意思呢?因为现在很多AI研究者写了大量的论文和开源了大量的代码,但是AI工程师又不能直接很好的使用,而Hugging Face将这些AI模型进行了更好的封装,满足了AI工程师的生产实践需要,大大降低了AI模型使用的门槛。Hugging Face已经共享了超100,000个预训练模型,10,000个数据集,涵盖了 NLP、计算机视觉、语音、时间序列、生物学、强化学习等领域,以原创 2022-08-31 09:47:06 · 2391 阅读 · 0 评论 -
PyTorch中的CUDA操作
CUDA(Compute Unified Device Architecture)是NVIDIA推出的异构计算平台,PyTorch中有专门的模块torch.cuda来设置和运行CUDA相关操作。原创 2022-08-24 07:52:19 · 4221 阅读 · 0 评论 -
典型相关分析CCA计算过程
本文介绍了CCA解决的问题,CCA原理的推导过程,以及对计算结果物理意义的解释。并且通过SPSS和R操作演示了一个关于CCA的例子。数据文件下载参考[8],SPSS输出结果文件下载参考[9],R代码文件下载参考[10]。一.CCA工作原理1.CCA定义 首先需要搞清楚典型相关分析(Canonical Correlation Analysis)解决了什么问题,它解决的是一组变量与另外一组变量的相关问题。举个例子,比如想要量化家庭特征与家庭消费之间的关系,其中,家庭特征包括户主的年龄、家庭的年收入和原创 2022-08-02 20:27:37 · 1094 阅读 · 0 评论 -
ML.NET相关资源整理
在人工智能领域,无论是机器学习,还是深度学习等,Python编程语言都是绝对的主流,尽管底层都是C++实现的,似乎人工智能和C#/F#编程语言没什么关系。在人工智能的工程实现,通常都是将Python训练好的人工智能模型封装为REST API,以供其它的系统调用。虽然C#也确实天生就不合适搞人工智能的训练等,但是通过ML.NET这个开放源代码的跨平台机器学习框架,可以很容易的将人工智能集成到Web、移动、桌面、游戏和物联网应用中。这篇文章主要总结ML.NET的相关学习资源。一.ML.NET模型生成器和C原创 2022-07-29 07:41:25 · 528 阅读 · 0 评论 -
标准化、归一化和正则化的关系
首先,标准化的英文是Standardization,正则化的英文是Normalization,正则化的英文是Regularization。标准化是特征缩放的一种方式,需要注意的是标准化之后的数据分布并不一定是正态分布,因为标准化并不会改变原始数据的分布。归一化的目的是消除不同量纲及单位影响,提高数据间的可比性。正则化的目的是为了防止过拟合。[5]。.........原创 2022-07-17 08:52:46 · 1480 阅读 · 0 评论 -
OpenMP学习日记4
1. #pragma omp parallel解析:#pragma omp parallel { 每个线程都会执行大括号里的代码 }原创 2017-03-08 10:05:32 · 690 阅读 · 0 评论 -
OpenMPI学习日记3
1. VS 2013 + OpenMPI 1.6.2 [2]解析:(1)项目 -> 属性 -> 配置属性 -> VC++目录 -> 可执行文件目录:D:\Program Files\OpenMPI_v1.6.2-x64\bin(2)项目 -> 属性 -> 配置属性 -> VC++目录 -> 包含目录:D:\Program Files\OpenMPI_v1.6.2-x64\include原创 2017-03-08 00:23:15 · 650 阅读 · 0 评论 -
Pthreads学习日记1
1. Pthreads例子POSIX线程(POSIX threads),简称Pthreads,它是线程的POSIX标准。该标准定义了创建和操纵线程的一整套API。在类Unix操作系统(Unix、Linux、Mac OS X等)中使用Pthreads作为操作系统的线程。Windows操作系统也有其移植版pthreads-win32。Pthreads定义了一套C语言的类型、函数与常量,它以pthr原创 2016-08-16 14:19:55 · 568 阅读 · 0 评论 -
OpenMP学习日记1
1. OpenMP例子 OpenMP和MPI是并行编程的两个手段。MPI是基于消息传递的,进程级,分布式存储,可扩展性好;而OpenMP是基于共享存储的,线程级,共享存储,可扩展性差。GCC支持OpenMP编译器。原创 2016-08-16 14:19:53 · 1543 阅读 · 0 评论 -
OpenMPI学习日记2
1. OpenMPI环境搭建(1)下载和解压wget https://www.open-mpi.org/software/ompi/v1.10/downloads/openmpi-1.10.3.tar.gztar -zxvf openmpi-1.10.3.tar.gz(2)配置,编译和安装./configure --prefix=/usr/local/openmpimakemake原创 2016-08-16 14:19:20 · 4432 阅读 · 1 评论 -
自然语言处理学习日记16
1.Rasa从服务器获取模型解析:可以配置HTTP服务器以从其它URL获取模型:asa run --enable-api --log-file out.log --endpoints my_endpoints.yml模型服务器在端点配置[my_endpoints.yml]中指定,可以在其中指定服务器URL Rasa定期查询压缩的Rasa模型: url: http://my-server...原创 2019-12-13 15:13:54 · 610 阅读 · 0 评论 -
自然语言处理学习日记15
1.Action.run(dispatcher, tracker, domain)解析:Execute the side effects of this action.如下所示:[1]dispatcher:the dispatcher which is used to send messages back to the user. Use dipatcher.utter_message() o...原创 2019-12-04 14:52:33 · 657 阅读 · 0 评论 -
自然语言处理学习日记14
1.PolicyTrainer类解析:Trains a policy on a domain using training data from a file.[1]param augmentation_factor: how many stories should be created by randomly concatenating stories[2]param filename: s...原创 2019-12-02 20:54:59 · 2636 阅读 · 0 评论 -
自然语言处理学习日记13
1.Memoization Policy解析:MemoizationPolicy仅仅记住了训练数据中的对话。如果确切对话出现在训练数据中,它预测下一个action的置信度为1.0,否则为None,置信度为0.0。2.Fallback Policy解析:如果下面几点中有一点发生,那么FallbackPolicy将用来触发Fallback Actions:[1]意图识别的置信度低于nlu_th...原创 2019-11-27 17:32:52 · 1069 阅读 · 0 评论 -
自然语言处理学习日记12
1.RoBERTa训练方法改进解析:[1]动态掩码:BERT依赖随机掩码和预测token。原版的BERT实现在数据预处理期间执行一次掩码,得到一个静态掩码。而RoBERTa使用了动态掩码:每次向模型输入一个序列时都会生成新的掩码模式。这样,在大量数据不断输入的过程中,模型会逐渐适应不同的掩码策略,学习不同的语言表征。[2]更大批次:RoBERTa在训练过程中使用了更大的批数量。研究人员尝试过...原创 2019-11-26 18:01:24 · 748 阅读 · 0 评论 -
自然语言处理学习日记11
1.TrainingData数据结构解析:[1]entities[2]entity_examples[3]entity_synonyms[4]examples_per_entity[5]examples_per_intent[6]examples_per_response[7]intent_examples[8]intents[9]lookup_tables[10]nlg_s...原创 2019-11-25 19:01:41 · 1395 阅读 · 0 评论 -
自然语言处理学习日记10
1.default action解析:[1]action_listen[2]action_restart[3]action_default_fallback[4]action_deactivate_form[5]action_revert_fallbacks_events[6]action_default_ask_affirmation[7]action_default_ask_r...原创 2019-11-25 11:17:08 · 691 阅读 · 2 评论 -
自然语言处理学习日记9
1.message解析:UserMessage是最上层的封装对象,即直接接收用户从某个平台接口传送过来的消息。而Message则是当用户消息流到NLU模块时,将用户消息进行封装。2.训练数据Importers解析:[1]RasaFileImporter [default][2]MultiProjectImporter [experimental][3]Writing a Custom ...原创 2019-11-24 22:31:19 · 608 阅读 · 0 评论 -
自然语言处理学习日记8
1.BERT-large模型解析:24-layer, 1024-hidden, 16-heads, 330M parameters。2.BERT-base模型解析:12-layer, 768-hidden, 12-heads, 110M parameters。3.chinese_wwm_L-12_H-768_A-12.zip解析:[1]bert_model.ckpt # 模型权重[2...原创 2019-11-22 00:27:08 · 820 阅读 · 0 评论 -
自然语言处理学习日记7
1.对话管理模块解析:对话管理[DM]控制着人机对话的进程,对话管理通过对自然语言理解模块的输出[即意图、槽位、槽位信息]的处理来进行和用户的交互和反应。针对带着明确意图的用户,在对话管理过程中用户不但可以完善或修正自己需求,管理系统也可以在用户需求不够具体的时候明确或者澄清用户的需求,以达到最终的任务完成。对话系统主要包括2部分,分别为状态追踪和对话策略。2.状态追踪模块解析:状态追踪模块...原创 2019-11-15 18:13:20 · 535 阅读 · 0 评论 -
自然语言处理学习日记6
1.PaddleNLP解析:[1]PaddleNLP[nlp.baidu.com/homepage/nlptools/]是基于飞桨PaddlePaddle深度学习框架打造的领先、全面、易用的NLP开源工具集与预训练模型集。PaddleNLP开源内容覆盖了工业应用和学术研究;为开发者提供了多种业内效果领先的NLP应⽤任务模型和前沿的论文、代码、数据,让开发者能以超低门槛获取多种顶尖NLP能力;为...原创 2019-11-10 22:41:10 · 563 阅读 · 0 评论 -
TextCNN和TextRNN:原理与实践
1.TextCNN原理CNN的核心点在于可以捕获信息的局部相关性,具体到文本分类任务中可以利用CNN来提取句子中类似N-Gram的关键信息。[1]一维卷积:使用不同尺寸的kernel_size来模拟语言模型中的N-Gram,提取句子中的信息。即TextCNN中的卷积用的是一维卷积,通过不同kernel_size的滤波器获取不同宽度的视野。[2]词向量:static的方式采用预训练的词向量,...原创 2019-01-24 10:38:52 · 3940 阅读 · 0 评论 -
Word2Vec模型总结
Huffman树的构造 解析:给定n个权值作为n个叶子节点,构造一棵二叉树,若它的带权路径长度达到最小,则称这样的二叉树为最优二叉树,也称Huffman树。数的带权路径长度规定为所有叶子节点的带权路径长度之和。Huffman树构造,如下所示: (1)将{w1,w2,...,w3}\{w_1,w_2,...,w_3\}看成是有n颗树的森林; (2)在森林中选出两个根节点的权值最小的树合并,作为一原创 2017-11-05 12:01:53 · 943 阅读 · 0 评论