AI-快车道NLP
AI-快车道NLP
愚昧之山绝望之谷开悟之坡
人工智能智慧城市元宇宙pf,无无明亦无无明尽
展开
-
PPDE系列1-PPDE指导计划开营仪式
PPDE原创 2022-11-17 20:30:42 · 103 阅读 · 0 评论 -
AI快车道|通用信息抽取技术与产业应用实战
UIE统一模板,预训练适配任务,无下游任务了,让任务适配预训练,uie语言模型和下游任统一适配到Prompt,主要就是定义要抽取的标签。评价,因为分类的标签不在原文,所以把标签用括号的方式放入prompt。整体的技术发展路线,统计》神经网络》预训练》Prompt。为何可以减少数据,因为和预训练阶段的方式一致。到底学到是什么,学的是语义的上下文结构。Prompt和原文越相似,效果越好。现状实际需求的技术分解。原创 2022-09-28 21:34:10 · 301 阅读 · 0 评论 -
因特尔开发者社区-FastDeploy
因特尔开发者社区-FastDeploy原创 2022-09-22 17:16:04 · 190 阅读 · 0 评论 -
人脸识别4-百度商用方案调研
人脸识别4-百度商用方案调研原创 2022-06-29 17:23:41 · 1329 阅读 · 1 评论 -
细粒度情感分析实战
1粗粒度,句子级情感分类情感分析相关的任务有语句级情感分析、评论对象抽取、观点抽取等等。一般来讲,被人们所熟知的情感分析任务是语句级别的情感分析,该任务是在宏观上去分析整句话的感情色彩,其粒度可能相对比较粗。2细粒度,属性级情感分类因为在人们进行评论的时候,往往针对某一产品或服务进行多个属性的评论,对每个属性的评论可能也会褒贬不一,因此针对属性级别的情感分析在真实的场景中会更加实用,同时更能给到企业用户或商家更加具体的建议。例如这句关于薯片的评论。这个薯片味道真的太好了,口感很脆,只是包装很一般。原创 2022-04-21 16:18:50 · 4083 阅读 · 6 评论 -
文本生成技术及其高性能加速
目录广义的文本生成,其他数据源转换成文本机器翻译的历程机器翻译的历程规则、统计、神经网络RNN的结构transformer的结构encoder编码self-attention多层迭代并行计算,距离更短优势,flops,每秒的浮点数运算次数困惑度,LSTM并不是参数量越大效果越好参数量越来越大性能瓶颈API》算子》cuda kernel原因优化方向形象比喻算子融合fast transformer编码融合优化Decoder原创 2022-04-11 20:35:10 · 280 阅读 · 0 评论 -
AI快车道-语义检索系统的快速搭建落地
目录应用发展字面匹配,term就是词或者字痛点痛点2痛点三方案召回是初筛,精度低速度快,无监督训练simCSE,和inbatch训练两个输入,quiry+title,通过一个batch里面的正样本和其他的负样本,装换成分类模型,这个是提前计算好向量然后计算相似度,没有充分交互排序是精筛,速度慢精度高,有监督,query+正样本title+强负样本,正样本靠近,负样本远离,这里面输入和索引样本间进行了充分的向量交互,索引精度高特色特色特色高性能召回技术召回原创 2021-12-30 11:21:37 · 553 阅读 · 0 评论 -
RocketQA:预训练时代的端到端问答
应用定义下检索后阅读理解检索模块单塔和双塔离线和在线,和搜索引擎系统是一样的所搜引擎技术方案准确率达到要求在优化性能原创 2022-01-10 21:19:14 · 321 阅读 · 0 评论 -
自然语言处理中的小样本学习
目录什么是小样本学习,4/8/16为什么小样本学习重要:跟人类比一样模型本身的能力体现、降低数据标注成本(一条标注1元,找5个众包要5元)降本增效发展历程分类预训练时代标准微调标准微调,在小样本效果差,终端的层级今天调整,参数量远远大于数据量,过拟合了微调新范式,prompt tuning,把模型本身的预训练这个老师的知识潜力更大的发挥出来PET基于人工的模板,把分类任务转换成完形填空任务效果提升PET的优点,释放潜力,无需随机化参数避免过拟合缺点,不同原创 2022-04-10 16:44:40 · 1807 阅读 · 0 评论 -
开箱即用的产业级NLP开发库
PaddleNLP架构前处理个后处理做了集成,效果好速度快三大特点应用场景任务一,词法分析,分词,词性标注,实体识别概念词性标注标注词性底层模型方案分词应用场景,搜索+倒排索引实体识别对比不足结余框架,百科知识树效果任务2,文本纠错两层,检测模块判断是否是错别字,然后进行替换搜索场景很常见OCR和ASR的应用,就是语音转文字为何有调整了,带文本纠错功能,两层校准,前面一层识别出错,做校准任务3,句法分析,分词然后判断词语之间的依存关系原创 2022-04-08 20:57:44 · 326 阅读 · 0 评论 -
PaddleNLP助力万方优化搜索匹配
准确率和效率找论文字面相似语义不相关,字面匹配还是语义匹配架构,字面BM2.5 tfidf字面匹配和语义匹配字面匹配词向量模型双塔模型和单塔模型交互模式/单塔模型的问题BERT句向量表示比对sentence-bert表示句子向量,效果好,双塔结构效果比对无监督数据增强,可以把大量向量做相似度比对,得到相似的作为监督向量架构无监督对比学习,dropout的随机性,本质的原理还是从sentence-bert过来的对比效果比对性能优化裁剪原创 2022-04-07 20:39:48 · 297 阅读 · 0 评论