深度学习
文章平均质量分 88
进击的AI奶爸
清华大学计算机系博士,现在从事NLP相关研究和开发
展开
-
拥抱生成式大模型 --- 提示工程篇
提示参考:你的任务是 对于从商品网站中的评论生成一个简短的摘要,反馈给XX部门。对下面三个引号中的评论进行摘要,最多不超过30字。‘’’评论内容‘’’本文内容基于吴恩达老师课程的笔记。但是提示工程易学难精,尤其是实际使用,可能是私有部署的其他模型,提示工程虽然原则相同,但也有差异性需要摸索。原创 2023-05-21 02:08:09 · 932 阅读 · 0 评论 -
深度学习框架 坑点集中贴 (持续更新)
坑点一: Tensorflow 卷积报错详细描述: RTX2070 + 驱动 410 + cuda 10.0 + cudnn 7.5.0 环境报错内容:UnknownError: Failed to get convolution algorithm. This is probably because cuDNN failed to initialize, so try looking...原创 2019-11-21 00:08:02 · 172 阅读 · 0 评论 -
对话系统(四)Denoising Distantly Supervised Open-Domain Question Answering
1. 论文研读笔记1.1 研究动机本文是刘知远老师组在ACL2018的一篇长文,同样是面向开放域的问答,其实从方法学的角度看,和上一篇陈丹琦的文章DrQA有类似的思路,基本基于两个阶段,即段落检索和段落阅读。本文的一个侧重点是,在DS-QA系统中无法存在有问题信息或实体但内容和问题关系不大的噪声段落情况下,引入一个基于和问题相关度的权重,从而实现去噪。1.2 研究方法本文的架构整体如下图所...原创 2019-07-28 21:10:42 · 355 阅读 · 0 评论 -
对话系统(三)Reading Wikipedia to Answer Open-Domain Questions
1. 论文研读笔记1.1 研究动机本周的论文让人兴奋,陈丹琦大神的大作早就想拜读一下。从NLP的角度来看,是从Manning的丹琦大神,算是少林武当嫡传弟子,我辈海沙派外门弟子正该全面研究拜读,说不定能学个正宗入门心法,哈哈。 话不多少,回归主题,这篇文章的工作来到了开放域问答,问答的基础是基于wiki。 这篇文章一个很大的亮点是,只基于wiki,而不考虑外部知识库的辅助 。从单变量的角度看,...原创 2019-07-21 21:21:46 · 757 阅读 · 0 评论 -
对话系统(二)LSTM-based Deep Learning Models for Non-factoid Answer Selection
1. 论文研读笔记1.1 研究动机本文可以算是问答系统的经典工作之一,文章是ICLR2016,来源于IBM的watson团队。文章着眼的任务可以算是对话系统最基本的任务,即给定一个问题,从回答候选池(answer condidate pool) 选择一个最佳答案。1.2 研究方法本文的思路现在看来,其实还是比较清晰简明的。 最基本的想法是将问题通过Bi-lstm 编码成一个向量,答案同样通...原创 2019-07-11 00:24:43 · 987 阅读 · 0 评论 -
对话系统(一) 综述篇 Review of spoken dialogue systems 和 A Survey on Dialogue Systems
1. 论文研读笔记这一期的论文研读开始涉入对话系统,这一自然语言处理目前学术界和工业界最为关注的话题。 在深入研究的开始,我们从综述开始学习,先浏览一下,这个方向比较主流的一些研究成果,从而展开更为深入的论文阅读。本期的综述,主要来源于两篇文章《Review of spoken dialogue systems》(López-Cózar et al., 2015)和 《A Survey on D...原创 2019-07-07 21:19:22 · 1270 阅读 · 0 评论 -
NLP论文精读系列(二) Style Transformer
1. 论文研读笔记1.1 研究动机这次分析的文章是复旦大学邱锡鹏老师组的最新的工作—Style Transformer: Unpaired Text Style Transfer withoutDisentangled Latent Representation。 工作是关于文本风格迁移的,十分有意思。关于风格迁移的工作,其实图像领域非常的多,从最早的油画转简笔画,到后来给照片或者图片转成名...原创 2019-06-19 21:33:25 · 2636 阅读 · 1 评论 -
NLP论文精读系列(一)BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
1. 论文研读笔记1.1 研究动机Bert 作为最近最为热门,甚至可以称为近期NLP 里程碑式的研究成果,是值得仔细品读的。1.2 研究方法1.3 实验结果1.4 创新点1.5 个人点评2. 模型调试心得2.1 模型地址2.2 模型运行环境2.3 数据集选择与下载2.4 模型运行步骤2.5 问题与解决方法汇总2.6 个人点评...原创 2019-06-12 21:55:48 · 671 阅读 · 0 评论 -
关系抽取专题(三)Relation Classification via Multi-Level Attention CNNs
1. 论文研读笔记1.1 研究动机这是关系抽取经典论文的第三篇,这篇论文是叉院大神在16年ACL上的长文。这篇文章采用的基本方法是CNN, 个人揣测作者认为关系抽取这个任务,特征的选取优先级高于对于文本的语言模型的顺序。当然,作者主要的思路其实是把attention机制做得更为精致,毕竟关系抽取和普通文本分类本质的区别是,有明确的实体。其实,对于目标函数的优化,也是这个出发点。1.2 研究方...原创 2019-05-22 08:31:02 · 782 阅读 · 0 评论 -
关系抽取专题(一)Relation Classification via Convolutional Deep Neural Network
1. 论文研读笔记1.1 研究动机1.2 研究方法1.3 实验结果1.4 创新点1.5 个人点评2. 模型调试心得2.1 模型地址2.2 模型运行环境2.3 数据集选择与下载2.4 模型运行步骤2.5 问题与解决方法汇总2.6 个人点评...原创 2019-05-08 22:08:45 · 1483 阅读 · 0 评论 -
NLP基础学习1--环境搭建
心血来潮,觉得转行NLP以来,也确实需要梳理一下知识体系。想想当年自己博士阶段在园子里下的功夫,感觉自己从一个练习易筋经的变成了一个修炼辟邪剑谱的速成选手,遂决定沉下心来,借着这个机会磨炼一下自己的基本功。第一阶段的四个子任务:1)Anaconda 安装2)Conda 学习3)Python编辑器安装与学习: jupyter notebook 或者 pycharm4)Tensorflow...原创 2019-04-05 11:23:29 · 435 阅读 · 0 评论