论文写作-复旦张奇NLP

最新推荐文章于 2024-11-08 12:25:24 发布
最新推荐文章于 2024-11-08 12:25:24 发布
阅读量231 收藏 5
点赞数 10
分类专栏： 论文写作 文章标签： 自然语言处理 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kill2013110/article/details/136462823
版权

https://www.bilibili.com/video/BV1RG411D7jf/?p=2&spm_id_from=pageDriver&vd_source=d997020f2a3d4215b3ebbe4671170cab
在这里插入图片描述

动机和故事占50%，实验占50%

在这里插入图片描述

基础

统计机器学习 周志华
神经网络与深度学习 邱锡鹏
统计自然语言处理 宗成庆

统计学习方法 李航
深度学习 花书
自然语言处理综论
在这里插入图片描述

阅读

在这里插入图片描述

motivation非常重要

在这里插入图片描述
精读少量

动机（非常重要，非常难）

热门与冷门方向各有利弊
热门易撞车，被抢创新点
冷门节奏可以放慢
在这里插入图片描述

在这里插入图片描述
王兴的美团就是基于填格子产生的

在这里插入图片描述
对任务的理解-需要长期积累的经验（一般需要导师的知道）
在这里插入图片描述
motivation要能用一句话概括

写作

在这里插入图片描述
《》机器翻译学术论文写作方法和技巧》 刘洋 清华大学

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
降低阅读难度！！！！！！

标题

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

摘要

在这里插入图片描述

摘要的两个例子

在这里插入图片描述
在这里插入图片描述

introduction就是把摘要的每句话变成一段

研究的任务是什么

现有的方法有哪些

现有的方法有什么问题

我们的解决思路是什么

我们如何解决的

我们的核心贡献是什么

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

右上角图说明Motivation

段落的写法

在这里插入图片描述
在这里插入图片描述

方法部分写作

在这里插入图片描述

running example

在这里插入图片描述

实验设计

在这里插入图片描述

zero-shot的方法也可以将supervisor的方法结果加进来，越多越好

最好能直接看图

在这里插入图片描述
在这里插入图片描述

cartes1us
关注
专栏目录
【讲座分享】| 复旦大学张奇教授——《自然语言发表论文如何打怪升级？NLP顶会论文发表》
专注于人工智能的算法与应用
01-30 1781
两个都可以相当于是把Abstract的每一句话变成一段话详细阐述，中间加上现有的方法有哪些（最好分一下类）现有方法有什么问题最后阐明自己的Contribution贡献，1,2,3分条列出来一般在第一页右上部分加一个图说明自己的motivation不要一上来就描述你的工作，可以先介绍背景知识（往往就是baseline）• 有利于降低初学者或其他领域学者的理解难度• 有利于对introduction中的论文做更详细的解释• 有利于对比baseline和你的方法。
不愧是大模型神书，我要推荐一万次！-复旦张奇教授团队开源免费书《大规模语言模型：理论与实践》
qkh1234567的博客
10-15 856
《大规模语言模型：从理论到实践》详细介绍了构建大语言模型的四个主要阶段：预训练、有监督微调、奖励建模和强化学习。每个阶段都有算法、代码、数据、难点及实践经验的详细讨论。以大语言模型的基础理论开篇，探讨了大语言模型预训练数据的构建方法，以及大语言模型如何理解并服从人类指令，介绍了大语言模型的应用和评估方法，为读者提供了更全面的视野。旨在为对大语言模型感兴趣的读者提供入门指南，也可作为高年级本科生和研究生自然语言处理相关课程的补充教材。
复旦张奇：如何解决NLP中的鲁棒性问题？
BAAIBeijing的博客
11-16 2245
【关键问题】随着自然语言处理技术的快速发展，研究其中的鲁棒性问题变得日益重要。如果模型是不鲁棒的，在实际使用中就会存在很大的问题。对NLP鲁棒性的研究有利于学术界更加顺利地理解深度学习模型...
复旦大学NLP实验室《自然语言处理导论》 网络初版发布
zenRRan的博客
02-23 1839
来自：FudanNLP进NLP群—>加入NLP交流群最近 ChatGPT 大火，这个风靡全网的 AI 应用的各项能力是从何而来，它是如何演化至今的，未来又将走向何方？ChatGPT是通往通用人工智能的未来吗？还是像Yann LeCun说的那样，大模型解决不了自然语言处理的全部问题？这些问题的解答，涉及到自然语言处理、机器学习以及人工智能等多方面的知识。虽然通过阅读论文可以了解相关研究工作，但...
自然语言处理导论(张奇)——分词
m0_54818191的博客
02-05 653
在基于神经网络的分词算法中，通常采用与基于字的统计方法类似的问题建模方法，将分词任务转换为字的序列标注任务，对于给定一个中文句子，根据它在分词结果中的位置以及所采用的标签系统，输出标签序列。将句子中的每个字向量序列，输入到双向LSTM的各个时间步，再将正向LSTM输出的隐状态序列与反向LSTM隐状态序列按位置进行拼接，从而得到完整的隐状态序列。：针对输入的句子，解码器每次读入一个字，根据每次读入的字，每次采用两种方式进行评分，分别为：1.将字作为下一个新词的开始 2.将字作为上一个词的一部分。
自然语言处理复习笔记
m0_53224245的博客
05-28 1837
NLP自然语言处理复习笔记，本文是作者复盘课程内容的笔记，只作为学习参考
国内外自然语言处理研究机构
yinwen1999的博客
03-17 1319
北京大学计算语言学教育部重点实验室【计算机学院】王厚峰、万小军、常宝宝、李素建、孙栩、穗志方、吴云芳等北京大学王选计算机研究所自然语言处理研究中心（人工智能研究院）【智能学院】
一文了解复旦大学NLP实验室的14篇EMNLP 2022长文内容
zenRRan的博客
10-17 2010
每天给你送来NLP技术干货！来自：FudanNLPEMNLP 2022 (The 2022 Conference on Empirical Methods in Natural Language Processing) 是自然语言处理领域的顶级国际会议，由国际语言学会 SIGDAT 小组在世界范围内每年召开一次。2022年冬季，EMNLP 2022 将以混合形式在阿联酋阿布扎比 (Abu Dhab...
复旦大学自然语言处理实验室发布模型鲁棒性评测平台TextFlint
Paper weekly
04-06 509
复旦大学自然语言处理实验室发布模型鲁棒性评测平台 TextFlint。该平台涵盖 12 项 NLP 任务，囊括 80 余种数据变形方法，花费超 2 万 GPU 小时，进行了 6.7 万余次...
【R085】自然语言处理导论【张奇&桂韬&黄萱菁】.pdf
05-07
自然语言处理导论是人工智能研究的重要组成部分，涉及语言学、计算机科学和机器学习等多学科内容。本书共 14 章，涵盖基础技术、核心技术和模型分析，全面系统地介绍了自然语言处理的基础概念、任务和方法。 知识点...
复旦大学自然语言处理导论：发展历程与深度解析
《复旦大学自然语言处理导论》（Introduction-To-NLP）是由张奇、桂韬和黄萱菁三位作者共同编著的一部教材，旨在为学生和研究人员提供一个全面而深入的自然语言处理基础教程。该书编写背景源于作者自身的学术经历，...
【人工智能】10分钟解读-深入浅出大语言模型（LLM）——从ChatGPT到未来AI的演进
万物皆有灵
11-08 468
2022年底，OpenAI推出的聊天机器人ChatGPT一经上线，便迅速引发了全球范围内的热议与追捧。仅在上线五天内，注册用户便突破了百万大关。ChatGPT的成功不仅展示了大语言模型（LLM）的强大能力，也标志着人类正式迈入了一个全新的人工智能时代。本文将以ChatGPT为切入点，回顾GPT模型的发展历程，深入解析大语言模型（LLM）的构成及其工作原理。同时，我们将涵盖自然语言处理（NLP）、深度学习、Transformer等相关知识，帮助读者全面了解LLM及其在AI领域中的重要地位。
【自然语言处理与大模型】大模型（LLM）基础知识②
qq_39780701的博客
11-04 1120
（1）LLaMA输入句子的长度理论上可以无限长吗？（2） 什么情况用Bert模型，什么情况用LLaMA和ChatGLM这类大模型？怎么选？（3）各个专业领域是否需要各自的大模型来服务？（4）如何让大模型处理更长的文本？（5）如果想要在某个模型基础上做全参数微调，需要多少显存？（6）为什么SFT之后觉得大模型LLM变傻了？（7）微调和指令微调的区别？（8）SFT指令微调数据如何构建？（9）领域模型Continue PreTrain数据如何选取？（10）领域数据训练后，通用能力往往会有所下降，如何缓解模型遗忘
Transformer究竟是什么？预训练又指什么？BERT
ZJQ的博客
11-05 258
Transformer是一种基于自注意力机制（Self-Attention Mechanism）的神经网络架构，它最初是为解决机器翻译等序列到序列（Seq2Seq）任务而设计的。这个模型可以作为一个通用的语言表示工具，为后续的各种下游任务（如情感分析、文本分类、命名实体识别、问答系统等）提供丰富的语言表示基础。这些模型在BERT的基础上进行了各种改进和优化，如增加模型规模、使用不同的训练策略等，从而进一步提高了语言模型的性能和应用范围。来同时学习文本的上下文信息，从而实现了对句子结构的深入理解。
语言模型的评测
qzhqbb的博客
11-05 781
在内在评测中，测试文本通常由与预训练中所用的文本独立同分布的文本构成，。最为常用的内部评测指标是困惑度（Perplexity）困惑度是衡量语言模型对测试文本预测能力的一个指标，它反映了模型对测试数据的“困惑”程度。困惑度越低，意味着模型对测试文本的预测越准确，语言模型的性能越好。
Bert快速入门
qq_36070104的博客
11-06 969
Python 语言 BERT 入门：让我们一起“吃透”BERT
BERT的中文问答系统29（使用多线程或多进程来处理模型训练任务）
weixin_54366286的博客
11-05 458
使代码在进行模型训练时界面不卡顿，我们使用多线程或多进程来处理模型训练任务。这样可以避免主线程被阻塞，保持界面的响应性。我们将使用Python的threading模块来实现这一点。 以下是优化后的代码： import os import json import jsonlines import torch import torch.optim as optim from torch.utils.data import Dataset, DataLoader from transformers import
人工智能--自然语言处理简介
最新发布
JellyAI的博客
11-08 651
此外，现在有许多利用 NLP 的服务来创建应用程序，比如聊天机器人（它们属于应用，属于Agent应用开发），但这些内容不在知识的范围之内——我们将专注于 NLP 的基础知识（实现原理），以及如何进行语言建模，使您可以训练神经网络,教导电脑去理解和分类文本。在 NLP 的情况下，您的训练数据中可能包含成千上万个单词，出现在不同的上下文中，但您不可能在所有的上下文中涵盖所有可能的单词。你可能需要过滤掉一些所谓的“停用词”，这些词过于常见，不带任何实际意义，比如“the”，“and”和“but”。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值