文本生成和翻译
关注
分享
扫一扫
文章平均质量分 96
文本生成和翻译相关的知识以及项目等
colourmind
本硕毕业于华中科技大学物流系统工程,毕业后在广州玄武无线科技有限公司从事JAVA开发。一年后离职，寻求转行；经过一年自学后成功转行；现在武汉科大讯飞____科讯嘉联___技术运营部,担任NLP算法工程师。
展开
-
大模型推理框架Vllm和TensorRT-LLM在ChatGLM2-6B模型的推理速度对比
这篇博客就专门对语言大模型推理框架Vllm和TensorRT-LLM在ChatGLM2-6B模型上的推理速度和效果进行一个对比。主要的内容分为三块，第一块简单介绍一下vllm和TensorRT-llM框架的特色和基本技术点，由于篇幅的原因关于技术的原理就不做多的介绍(每个技术点都可以拧出来写一篇文章，工作量非常大)；第二块内容就是介绍一下环境安装和重要的API，并且提供一个web推理服务；最后一块内容就是展示一下具体的推理案例，在推理速度和推理质量上进行对比原创 2024-04-24 00:30:00 · 4981 阅读 · 2 评论 -
Contrastive Search Decoding——一种对比搜索解码文本生成算法
GPT2生成模型再生成的token具有各异向性，使得token之间的相似性非常接近没有很好的区分度，最后解码的时候造成了文本重复——textdegeneration；因此论文提出了一种新的训练策略(SimCTG)+解码算法(contrastivesearch)，在多语言任务和实际的工业场景中进行人工评测，很显著的提升了文本生成的质量。...原创 2022-07-27 21:00:00 · 2816 阅读 · 1 评论 -
GPT2中文文本生成对话应用尝试
文本对话是一个很复杂的任务，难度比较大。按照对话文本产生的方式可以分为检索式和生成式；按照技术实现的方式可以分为端到端和pipeline的方式。为了保证对话的多样性和丰富性，以及减少流程的繁琐例如构建对话管理、对话理解等模块，我们基于GPT2模型以及GPT2-chat项目在保险领域进行了中文文本生成对话应用的尝试。总而言之，本文并不是一个创新性的内容，更多的是一种现有技术和模型在业务中的尝试和验证。一、GPT2模型解读二、GPT2-chat项目三、保险领域对话生成实战...原创 2022-05-27 19:00:00 · 5851 阅读 · 13 评论 -
浅谈文本生成或者文本翻译解码策略
浅谈文本生成或者文本翻译解码策略原创 2022-01-26 18:19:28 · 3993 阅读 · 0 评论