CoreJT
码龄5年
  • 1,226,501
    被访问
  • 396
    原创
  • 674,145
    排名
  • 4,901
    粉丝
关注
提问 私信

个人简介:中科院自动化所在读直博生,感兴趣的研究方向:文本分类、情感分析、机器阅读理解与问答系统以及对话系统。

  • 加入CSDN时间: 2017-04-10
博客简介:

sdu_hao的博客

博客描述:
深度学习与自然语言处理入门与进阶路线
查看详细资料
个人成就
  • 获得2,075次点赞
  • 内容获得386次评论
  • 获得6,417次收藏
创作历程
  • 1篇
    2022年
  • 13篇
    2021年
  • 212篇
    2020年
  • 311篇
    2019年
  • 64篇
    2018年
成就勋章
TA的专栏
  • 预训练语言模型
    6篇
  • 强化学习
    5篇
  • 多语言机器翻译
    6篇
  • 强化学习基础
    19篇
  • 学术论文写作
    9篇
  • 模式识别
    2篇
  • 分布式强化学习算法
  • 图神经网络
    7篇
  • 推荐系统
    4篇
  • 机器阅读理解
    5篇
  • Shell基础
    12篇
  • 对话系统
    10篇
  • 分布式强化学习
  • Lee Hung-yi强化学习
    8篇
  • 对话情感识别与生成
    1篇
  • 序列标注
    9篇
  • 知识图谱和语义计算
    2篇
  • 知识图谱问答
    6篇
  • Git教程
    9篇
  • 数据结构与算法(Python版)
    8篇
  • CS224n
    3篇
  • 程序设计与算法
    22篇
  • PyTorch杂谈
    1篇
  • 知识图谱
    7篇
  • 元学习与小样本学习
    3篇
  • 自监督学习
    2篇
  • 知识蒸馏
    1篇
  • SemEval2019Task3_ERC
    6篇
  • GNN在文本分类上的应用
    3篇
  • 文本分类(三)
    5篇
  • 文本分类(二)
    5篇
  • 达观杯文本分类比赛
    4篇
  • 论文爬取系统
    4篇
  • 集成学习算法
  • GAN
  • 李宏毅GAN
  • 机器学习
  • 机器学习面试
  • LeetCode
  • 算法设计教程
  • 数据结构与算法
  • Python基础Pro
    20篇
  • Python3网络爬虫从理论到实践Base
    30篇
  • 线性代数
    6篇
  • 数学基础
    7篇
  • 文本分类(一)
    9篇
  • LaTex论文排版
    30篇
  • 概率论与数理统计
    17篇
  • 吴恩达深度学习
    28篇
  • 动手学PyTorch
    20篇
  • 李航机器学习
    6篇
  • 吴恩达机器学习
    3篇
  • 学术英语词汇
    12篇
  • Python3网络爬虫从理论到实践Improve
    10篇
  • Linux基础
    5篇
  • 林轩田机器学习
    44篇
  • Python基础
    9篇
  • HTML5基础
    4篇
  • CSS基础
    4篇
  • Linux杂谈
    12篇
  • Python杂谈
    18篇
  • Python数据分析
    36篇
  • 深度学习
    10篇
  • Mac系统随笔
    5篇
  • 自然语言处理
    29篇
  • 程序人生
    9篇
  • 数学杂谈
    2篇
  • PyTorch中文教程
    16篇
  • PyTorch从入门到实践
    6篇
兴趣领域 设置
  • 硬件开发
    pcb工艺
  • 最近
  • 文章
  • 资源
  • 问答
  • 帖子
  • 视频
  • 课程
  • 关注/订阅/互动
  • 收藏
搜TA的内容
搜索 取消

预训练语言模型 | (6) 浅谈Prompt的前世今生

原文链接导读:本文的目标是对近期火爆异常的Prompt相关研究作一些追溯和展望,内容主要参考论文《Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing》,并掺杂了笔者的一些个人见解。另外,封面及文中使用的图片均截取自该论文,转载请注明出处。文章目录1. Prompt的产生和兴起2. 什么是Prompt3. Prompt的设计Prompt的形状手工设计模
转载
发布博客 2022.02.21 ·
226 阅读 ·
0 点赞 ·
0 评论

强化学习 | (5) 进化策略

原文链接本文中,作者用一些简单的视觉案例解释了进化策略(Evolution Strategies)的工作方式,其中包括了简单进化策略、简单遗传算法、CMA-ES、自然进化策略以及 OpenAI 的进化策略,并给出了形象的动态图过程展示。本文尽量简化了公式,如果读者想理解更多的细节,提供了原始文章的链接。在文章中,我将展现如何将这些算法应用到诸如 MNIST、OPENAI Gym、Roboschool 和 PyBullet 等多种环境中。文章目录简介什么是进化策略?简单进化策略简单遗传算法协方差矩阵适
转载
发布博客 2021.12.01 ·
398 阅读 ·
0 点赞 ·
0 评论

多模态机器翻译 | (1) 简介

摘录自 机器翻译 基础与模型 东北大学文章目录1. 背景2. 机器翻译需要更多的上下文3. 图像翻译4. 基于图像增强的文本翻译4.1 基于特征融合的方法4.2 基于联合模型的方法5. 参考文献1. 背景基于上下文的翻译是机器翻译的一个重要分支。传统方法中,机器翻译通常被 定义为对一个句子进行翻译的任务。但是,现实中每句话往往不是独立出现的。比 如,人们会使用语音进行表达,或者通过图片来传递信息,这些语音和图片内容都 可以伴随着文字一起出现在翻译场景中。此外,句子往往存在于段落或者篇章之中, 如果要理
转载
发布博客 2021.06.03 ·
1158 阅读 ·
0 点赞 ·
0 评论

学术论文写作 | (9) 英文论文写作常用工具

https://quillbot.com/ (一句句子不会写,可以先写个草稿,用此改写)https://www.dictionary.com/ 这个查单词意思https://www.thesaurus.com/ 这个查同义词替换https://linggle.com/ 这个查用法搭配,神器短语不能直接找到就 Google,“blabla meaning/definition”,“what does blabla mean”复习语法 https://www.bilibili.com/video/a.
原创
发布博客 2021.03.31 ·
820 阅读 ·
0 点赞 ·
0 评论

Linux杂谈 | (12) Anaconda环境更名/克隆

Anaconda没有环境更名的命令,但是可以通过克隆旧环境产生一个相同的新环境,然后把旧环境删掉。进入旧环境conda activate old_env_name克隆旧环境conda activate -n new_env_name --clone old_env_name查看克隆结果conda info --envs退出并删除旧环境conda deactivateconda remove -n old_env_name --all...
原创
发布博客 2021.03.31 ·
186 阅读 ·
0 点赞 ·
0 评论

强化学习 | (5) RUDDER:A practical tutorial

项目地址A step-by-step guide to applying RUDDER在本教程中,我将向您展示如何逐步应用RUDDER以及如何使用PyTorch实现奖励重新分配模型。 您可以将其用作快速指南,以将RUDDER应用于您的RL设置,并预先评估RUDDER是否可以事先改善您的任务。 该代码可以在合理的时间内在通用CPU上运行。RUDDER Blog, RUDDER Paper, Rudder Repo文章目录A step-by-step guide to applying RUDDEROv
翻译
发布博客 2021.03.15 ·
199 阅读 ·
0 点赞 ·
0 评论

强化学习 | (4) RUDDER - Reinforcement Learning with Delayed Rewards

原文地址论文《RUDDER: Return Decomposition for Delayed Rewards》最近,通过复杂的策略游戏,需要model-free强化学习的具有延迟奖励的任务引起了很多关注。例如,DeepMind目前专注于延迟奖励游戏《夺旗》和《星际争霸》,而微软则在搭建Marlo环境,Open AI宣布了Dota 2的成就。使用无模型的强化学习来掌握这些具有延迟奖励的游戏带来了巨大的挑战,并且几乎是无法克服的障碍,请参见出色的理解OpenAI Five博客。延迟的奖励很常见,因为它们通
翻译
发布博客 2021.03.13 ·
535 阅读 ·
3 点赞 ·
0 评论

多语言机器翻译 | (6) Transformer

文章目录1. 背景2. 流程和细节3. 总结1. 背景利用rnn,lstm学习上下文之间的关系,无法实现并行化,给模型的训练和推理带来了困难,因此提出了一种完全基于attention来对语言建模的模型,叫做transformer。transformer摆脱了nlp任务对于rnn,lstm的依赖,使用了self-attention的方式对上下文进行建模,提高了训练和推理的速度,transformer也是后续更强大的nlp预训练模型的基础。2. 流程和细节<1> Inputs是经过padd
原创
发布博客 2021.03.08 ·
339 阅读 ·
0 点赞 ·
0 评论

多语言机器翻译 | (4) 注意力机制

在(编码器—解码器(seq2seq))里,解码器在各个时间步依赖相同的上下文向量来获取输入序列信息。当编码器为循环神经网络时,上下文向量来⾃它最终时间步的隐藏状态。现在,让我们再次思考那一节提到的翻译例子:输⼊为英语序列“They”“are”“watching”“.”,输出为法语序“Ils”“regardent”“.”。不难想到,解码器在⽣成输出序列中的每一个词时可能只需利用输入序列某一部分的信息。例如,在输出序列的时间步1,解码器可以主要依赖“They”“are”的信息来生成“Ils”,在时间步2则主要
原创
发布博客 2021.03.08 ·
358 阅读 ·
0 点赞 ·
0 评论

多语言机器翻译 | (3) Beam Search

本篇博客介绍如何使用Encoder-Decoder来预测不定长序列。假设解码器的输出是一段⽂本序列。设输出⽂本词典(包含特殊符号"")的⼤小为Y , 输出序列的最大长度为T′T'T′。 所有可能的输出序列一共有O(∣Y∣T′)O(|Y|^{T'})O(∣Y∣T′)种。这些输出序列中所有特殊符号" "后⾯的⼦序列将被舍弃。文章目录1. 贪婪搜索2. 穷举搜索3. 束搜索4. 总结1. 贪婪搜索让我们先来看一个简单的解决⽅案:贪婪搜索(greedy search)。对于输出序列任一时间步t’,我们从|Y
原创
发布博客 2021.03.08 ·
203 阅读 ·
0 点赞 ·
0 评论

多语言机器翻译 | (2) 编解码器结构

在⾃然语⾔处理的很多应用中,输⼊和输出都可以是不定长序列。以机器翻译为例,输⼊可以是⼀段不定长的英语文本序列,输出可以是一段不定长的法语文本序列,例如:英语输入:“They”、“are”、“watching”、“.”法语输出:“Ils”、“regardent”、“.”输入和输出都是不定长序列时,我们可以使用编码器—解码器(encoder-decoder)或者 seq2seq模型 。这两个模型本质上都用到了两个循环神经网络(或transformer),分别叫做编码器和解码器。编码器用来分析输入序列,解码
原创
发布博客 2021.03.08 ·
484 阅读 ·
0 点赞 ·
0 评论

多语言机器翻译 | (1)多语言翻译模型简介

低资源机器翻译面临的主要挑战是缺乏大规模高质量的双语数据。这个问题往往伴随着多语言的翻译任务[1]。也就是,要同时开发多个不同语言之间的机器翻译系统,其中少部分语言是富资源语言,而其它语言是低资源语言。针对低资源语言双语数据稀少或者缺失的情况,一种常见的思路是利用富资源语言的数据或者系统帮助低资源机器翻译系统。这也构成了多语言翻译的思想,并延伸出大量的研究工作,其中有三个典型研究方向:基于枢轴语言的方法[2]、基于知识蒸馏的方法[3]、基于迁移学习的方法[4,5],下面进行介绍。1. 基于枢轴语言的方法
转载
发布博客 2021.03.07 ·
1732 阅读 ·
1 点赞 ·
0 评论

强化学习 | (3) 奖励设计相关论文介绍

原文地址1. 介绍在强化学习中,智能体的目标被形式化表征为一种特殊信号,称为奖励/reward,它通过环境传递给智能体。在每个时刻,reward都是一个单一标量数值。非正式地说,智能体的目标是最大化其收到的总奖励。这意味着需要最大化的不是当前奖励,而是长期的累积奖励。我们可以将这种非正式想法清楚地表述为奖励假设:我们所有的“目标”或“目的”都可以归结为:最大化智能体接收到的标量信号(称之为奖励)累积和的概率期望值。使用奖励信号来形式化目标是强化学习最显著的特征之一。智能体总是学习如何最大化奖励。如
转载
发布博客 2021.02.22 ·
1139 阅读 ·
4 点赞 ·
0 评论

强化学习 | (1) The Review of Reinforcement Learning

本文翻译自 A (Long) Peek into Reinforcement Learning在本文中,我们将简要介绍强化学习(RL)这个领域,从基本概念到经典算法。近年来,人工智能(AI)领域出现了两个令人振奋的消息。 AlphaGo在围棋游戏中击败了最好的职业人类玩家。 之后扩展的算法AlphaGo Zero在没有人类知识监督学习的情况下,以100-0击败了AlphaGo。 在DOTA2 1v1竞赛中,顶级专业游戏玩家输给了OpenAI开发的机器人。 知道了这些之后,很难不对这些算法背后的魔力-强化
翻译
发布博客 2021.02.04 ·
257 阅读 ·
0 点赞 ·
0 评论

推荐系统 | (4) 可解释推荐系统---知其然,知其所以然

原文地址作者:王希廷 谢幸利用强化学习实现封装式可解释推荐系统单纯的推荐结果和推荐结果+理由的组合,哪个更让你信服?长篇累牍的推荐语和言简意赅的关键词,你更愿意看哪个?这是人们每天都会面对的场景,也是可解释推荐系统研究需要不断优化的问题。在上一篇文章《可解释推荐系统:身怀绝技,一招击中用户心理》中,微软亚洲研究院的研究员王希廷和谢幸介绍了可解释推荐系统的分类、推荐解释生成方法以及面临的机遇和挑战。本文中,研究员从解释的目标出发,结合现有的方法流程,介绍了他们改进过的新的结构,最后也反思了研究有待改进
转载
发布博客 2020.10.13 ·
909 阅读 ·
0 点赞 ·
0 评论

推荐系统 | (3) 可解释推荐系统---身怀绝技,一招击中用户心理

原文地址原文作者:王希廷、谢幸
转载
发布博客 2020.10.09 ·
454 阅读 ·
0 点赞 ·
1 评论

推荐系统 | (2) 个性化推荐系统研究热点

原文地址本文作者:谢幸、练建勋、刘政、王希廷、吴方照、王鸿伟、陈仲夏推荐系统作为一种过滤系统,不仅能够帮助用户在海量的信息中快速寻找到自己需要的内容,也能帮助商家把自己的商品更精准地推荐给用户,增强用户与商家之间的交互性。搭建更加有效的个性化推荐系统,对商家和用户都具有更深远的意义。在本文中,微软亚洲研究院社会计算组的研究员们从深度学习、知识图谱、强化学习、用户画像、可解释性推荐等五个方面,展望了未来推荐系统发展的方向。“猜你喜欢”、“购买过此商品的用户还购买过……”对于离不开社交平台、电商、新闻阅读
转载
发布博客 2020.10.07 ·
2956 阅读 ·
1 点赞 ·
0 评论

推荐系统 | (1) 任务分类

推荐系统(recommender system)指的是从用户过去的购买习惯/记录中学习用户的兴趣,从而给用户推荐合适的商品,是一个单轮交互的过程。任务型对话系统(task-oriented dialogue system)通过多轮对话,在对话过程中,捕捉用户的兴趣,完成一个特定的任务,是一个多轮交互的过程。对话推荐系统(conversational recommender system, CRS)由于推荐系统更多的是去关注用户过去的偏好,但是用户当前的兴趣可能已经改变。而对话系统更多的..
原创
发布博客 2020.10.03 ·
1231 阅读 ·
0 点赞 ·
0 评论

机器阅读理解 | (5) 用MRC框架解决各类NLP任务

原文地址详解如何充分发挥先验信息优势,用MRC框架解决各类NLP任务本文将讨论如何将命名体识别、指代消解、关系抽取、文本分类等 NLP 任务转化为 MRC(机器阅读理解)任务,利用 MRC 框架的 query 所蕴含先验信息的优势,不但由此获得效果上的显著提高,还将赋予模型 Domain Adaptation、Zero-shot Learning 等多方面的能力。让我们先梳理一下 MRC 的基础知识。文章目录1. 什么是MRC?2. MRC框架尝试解决的NLP任务MRC框架解决NER任务2.2 M
转载
发布博客 2020.09.29 ·
1727 阅读 ·
0 点赞 ·
0 评论

Shell基础 | (12) 输入/输出重定向

原文地址大多数 UNIX 系统命令从你的终端接受输入并将所产生的输出发送回​​到您的终端。一个命令通常从一个叫标准输入的地方读取输入,默认情况下,这恰好是你的终端。同样,一个命令通常将其输出写入到标准输出,默认情况下,这也是你的终端.重定向命令列表如下:文章目录1. 输出重定向2. 输入重定向3. Here Document4. /dev/null 文件1. 输出重定向重定向一般通过在命令间插入特定的符号来实现。特别的,这些符号的语法如下所示:command1 > file1上面这个
转载
发布博客 2020.09.24 ·
170 阅读 ·
0 点赞 ·
0 评论
加载更多