自然语言处理学习笔记-lecture1-绪论

最新推荐文章于 2024-07-25 15:35:05 发布
最新推荐文章于 2024-07-25 15:35:05 发布
阅读量340 收藏
点赞数
分类专栏： 自然语言处理 文章标签： 自然语言处理 学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44994838/article/details/126680103
版权

基本概念

  • 语言是个体之间由于沟通需要而制定的指令。
  • 自然语言:人类之间用于沟通交流的语言。

自然语言的特点

  • 线性:自然语言呈现为一种线性的符号序列。
  • 层次性:自然语言内部存在层次结构。
  • 歧义性:同一个自然语言句子存在多种不同的理解。
  • 演化性:自然语言随着时代不断演化。

典型任务

中文分词

  • 输入:一段不带空格的汉语文本。
  • 输出:以空格隔开词语的汉语文本。
  • 示例程序：示例程序

词性标注

  • 输入:给定一个词语的序列。
  • 输出:输出一个对应的词性的序列。
  • 示例程序：示例程序

文本分类

  • 输入:一段文本
  • 输出:该文本的类别。
  • 示例程序：示例程序

语言模型

语法改错

  • 输入:一段可能包含语法错误的文本。
  • 输出:识别出文本中的语法错误并进行修改。
  • 示例程序：示例程序

句法分析

  • 输入:一个自然语言句子
  • 输出:句子的句法结构(短语结构或依存结构)
  • 示例程序：示例程序1 示例程序2

拼音输入法

  • 输入:拼音符号的序列
  • 输出:汉字序列
  • 示例程序：示例程序

情感分析

  • 输入:一段自然语言文本。
  • 输出:情感的类别(如正面、中性、负面)
  • 示例程序：添加链接描述

语义角色标注

  • 输入:一个自然语言句子。
  • 输出:标出句子的谓语及相关语义角色。
  • 示例程序：示例程序

语义分析

  • 输入:一个自然语言处理句子
  • 输出:该句子的语义表示形式
  • 示例程序：示例程序

指代消解

  • 输入:一段自然语言文本
  • 输出:该文本中代词所指向的名词
  • 示例程序：示例程序

机器翻译

  • 输入:一段源语言文本
  • 输出:一段目标语言文本
  • 示例程序：示例程序

文本摘要

  • 输入:一段自然语言长文本。
  • 输出:一段能概括长文本核心意思的短文本。
  • 示例程序：示例程序

对联生成

  • 输入:对联的上联
  • 输出:对联的下联以及横批
  • 示例程序：示例程序

诗词生成

  • 输入:诗词的关键词
  • 输出:五绝、七绝、律诗或者词
  • 示例程序：示例程序

问答系统

  • 输入:一个自然语言问题。
  • 输出:该问题的答案。
  • 示例程序：示例程序

对话系统

  • 输入:一个自然语言句子
  • 输出:另一个自然语言句子作为回复
  • 示例程序：示例程序

图像标题生成

  • 输入:一张图像
  • 输出:一个自然语言句子，对该图像的内容进行描述。
  • 示例程序：示例程序

发展历史

  • 1943：Warren McCulloch与Walter Pitts提出神经网络。
  • 1949：Warren Weaver提出利用计算机自动翻译人类语言。
  • 1950：Alan Turing提出“图灵测试”检验机器是否具备智能。
  • 1955：Noam Chomsky提出形式语言体系，用数学描述语言。
  • 1957：Frank Rosenblatt提出了感知机，推动了神经网络的发展。
  • 1964：Joseph Weizenbaum研制聊天机器人ELIZA。
  • 1965：Edward Feigenbaum提出专家系统DENDRAL。
  • 1966：Leonard Baum和Lloyd Welch提出隐马尔科夫模型。
  • 1970：CYK算法被提出并广泛用于上下文无关语言的分析。
  • 1974：Paul Werbos为神经网络提出后向传播算法。
  • 1984：Douglas Lenat提出了常识知识库Cyc。
  • 1989：IBM公司提出著名的统计机器翻译IBM模型。
  • 1993：宾夕法尼亚大学推出宾州树库，对句法分析研究起到极大推动作用。
  • 1995：Vladimir Vapnik提出了支持向量机。
  • 1996：Adwait Ratnaparkhi将最大熵模型引入自然语言处理
  • 2001：Tim Berners-Lee提出语义网。
  • 2003：Yoshua Bengio将分布式表示用于语言模型。
  • 2006：Geoffrey Hinton引领了深度学习的兴起。
  • 2011：IBM公司研制的“沃森”系统在知识问答任务中获胜。
  • 2012：Google公司推出了知识图谱并在搜索引擎中使用。
  • 2013：Google公司推出word2vec模型。
  • 2014：Yoshua Bengio将注意力机制引入自然语言处理。
  • 2017：Google公司提出Transformer模型。
  • 2018：Google公司提出BERT预训练语言模型。

小结

  • 理性主义方法和经验主义方法交相辉映，齐头并进
    – 理性主义:形式文法、专家系统、知识图谱
    – 经验主义:隐马可夫模型、最大熵模型、神经网络

  • 当前挑战
    – 模型:过于依赖人工设计。
    – 数据:标注数据严重不足。
    – 训练:训练成本过于高昂。
    – 推断:难以保证可靠可信。

相关资源

学术机构

  • Association for Computational Linguistics
    – 创建时间:1962年
    – 机构网站:https://www.aclweb.org/
    – 自然语言处理领域影响力最大的国际学术机构。
  • 中国中文信息学会
    – 创建时间:1981年
    – 期刊网站:http://www.cipsc.org.cn/
    – 自然语言处理领域影响力最大的国内学术机构。

学术期刊

  • Computational Linguistics
    – 创建时间:1974年
    – 期刊网站:https://www.mitpressjournals.org/loi/coli
    – 自然语言处理领域传统上最好的国际期刊。
  • Transactions of the Association for Computaional Linguistcs
    – 创建时间：2013年
    – 期刊网站:https://transacl.org/index.php/tacl
    – 自然语言处理领域广受好评的顶级国际期刊。

学术会议

  • ACL:影响力最大，截稿时间一般在1月或2月。
  • EMNLP:偏重经验主义方法，截稿时间一般在5月。
  • NAACL:面向北美地区，截稿时间一般在11月。
  • AACL:面向亚太地区，截稿时间一般在6月。
  • COLING:传统的三大会议之一，截稿时间一般在5月。
  • IJCAI:人工智能会议，截稿时间一般在1月。
  • AAAI:人工智能会议，截稿时间一般在9月。
  • ICLR:机器学习会议，截稿时间一般在9月。
  • NeurIPS:机器学习会议，截稿时间一般在6月。
尔呦
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
UCAS - AI学院 - 自然语言处理专项课 - 第10讲 - 课程笔记
支锦铭的博客
04-29 302
UCAS - AI学院 - 自然语言处理专项课 - 第10讲 - 课程笔记篇章分析概述篇章表示理论篇章关系分析篇章分析应用 篇章分析 概述 NLP处理单位 字——编码、输入法 词、短语——形态分析、汉语分词、词性标注、词义消歧、NER 句子——句法分析、语块分析、语义角色标注 篇章——机器翻译、篇章推理、问答系统、自动摘要、情感分类 现有有关篇章的分析任务都是基于句子的，因此性能很差 篇...
贪心 NLP训练营使用朴素贝叶斯 进行垃圾邮件分类案例 代码和数据
02-26
贪心学院自然语言处理高级魔鬼训练营全面剖析自然语言处理领域前沿技术，包括预训练、对话系统、文本生成、知识图谱、信息抽取等。本资源是《第05章 机器学习基础》的1.理解朴素贝叶斯案例《朴素贝叶斯的应用：垃圾邮件分类》的数据和参考代码，使用了朴素贝叶斯模型。
自然语言理解和自然语言处理_自然语言处理简单说明
weixin_26630173的博客
08-14 1976
自然语言理解和自然语言处理 什么是自然语言处理？ (What is natural language processing?) Natural language processing, or NLP, is a type of artificial intelligence (AI) that specializes in analyzing human language. 自然语言处理(NLP)...
模式识别学习笔记- lecture1-绪论
weixin_44994838的博客
08-31 315
模式识别绪论，主要是一些概念
斯坦福cs224n教程--- 学习笔记1
葡萄数的博客
12-01 1197
一、前言 自然语言是人类智慧的结晶，自然语言处理是人工智能中最为困难的问题之一，而对自然语言处理的研究也是充满魅力和挑战的。 通过经典的斯坦福cs224n教程，让我们一起和自然语言处理共舞！也希望大家能够在NLP领域有所成就！   二、先修知识（学习的过程中可以遇到问题后再复习） 了解python基础知识 了解高等数学、概率论、线性代数知识 了解基础机器学习算法：梯度下降、线性回归、逻...
Stanford CS231n 学习笔记：Lecture 1 Introduction
Working. Playing.
01-07 421
第一讲 绪论 [讲义][视频] 这一讲主要介绍了CV的研究历史。我觉得以下知识比较有价值： 有研究者认为，在5.4亿年前的物种大爆炸是由视觉的产生导致的 视觉领域的研究问题有哪几个 从2000年开始的几个关键性工作 Lecture 2 听到一半忽然觉得还是要写笔记的，先列个大纲在这，等我听完再来补充……
【含课程pdf & 测验答案】吴恩达-机器学习公开课 学习笔记 Week1-1 Introduction
CodingRae的博客
10-09 869
【学习笔记】吴恩达-机器学习公开课 学习笔记Week1 Introduction课程内容1-1 Welcome1-2 What is Machine Learning?机器学习的定义学习算法主要的两种类型1-3 Supervised Learning 课程内容 Week1 主要内容相当于绪论，大概的介绍了机器学习的基本概念和相关定义。 目的：对机器学习有大概的了解 1-1 Welcome ...
CS269I：Incentives in Computer Science 学习笔记： Lecture4 Voting, Machine Learning（投票，机器学习与参与理论）
ldc1513的博客
02-10 384
Lecture4 Voting, Machine Learning & Participatory theory（投票，机器学习与参与理论） 1 Preamble（绪论） 讨论：防策略性在政治决策上是相当重要的，但是在我们上一章所提及的另外两个投票系统的应用领域——排序融合和众包中，似乎又不算重要。在这种地方，防策略性是否普遍呢？事实上并不总是如此，因为在这种地方，投票者往往不在意结果如何。那么我们的算法应该要去适合什么更好的性质呢？ 2 Voting Rules as Maximun Likeli
Python学习笔记ucas（lecture1）绪论、语法基础、编写程序、流程控制、模块与函数
malele4th
01-29 311
Python 招聘学习流程： Lecture 1 目录 Lecture 1 目录 1绪论 语法基础 编写程序 流程控制 模块与函数 1绪论 一些深受欢迎的python包 PIL： Python图像处理库 Tkinter：Python GUI Django：交互式网站 Bottle： 交互式网站 Pygame：2D动画
斯坦福 CS224N 自然语言处理中文讲义
01-25
斯坦福大学的CS224N课程专门探讨了在深度学习框架下处理自然语言的方法。 1. 人类语言和机器学习 人类语言的习得是通过丰富的多模态体验和互动，以及高效的大脑计算完成的。相比之下，机器学习在自然语言处理中的...
lecture12课件-New1
08-03
【自然语言处理】领域的【情感分析】是当前信息抽取与文本理解的重要研究方向。情感分析主要涉及对文本中蕴含的主观情绪、观点和态度的识别与理解，这在大量用户生成内容(UGC)的互联网环境中尤其重要。随着Web2.0和...
android-lecture:android讲义
05-23
该项目已不再托管 根据Kotlin开发新的演讲资料 Android编程讲座材料（Android讲座） 该项目使用Marp。... Google提供了非常好的教学材料，以供您参考。 提供了课程幻灯片，概念文档，甚至代码实验室。...
CS224n 斯坦福深度自然语言处理课笔记 Lecture02—词向量表示
01-06
1.词义 2.Word2vec介绍（学习词汇向量模型（2013年提出）） （当然还有别的方法进行词汇表征（后续会提到）） 3.Word2vec目标函数的梯度推导 4.目标函数优化：梯度下降法 一、词义 定义：meaning：（Webster ...
ML-DL-Lecture-Notes:演讲笔记
07-24
ML/DL 并将 AI/ML/DL 应用到现实世界的资源基础课程[1] [2] [3]ML/DL - 讲义[1] [2] [3] [4] [5] [6] [7] [8] [9] [10] [11] [12]计算机科学 598F 计算机科学高级主题：图形和视觉的深度学习（普林斯顿） ...
自然语言处理讲义
热门推荐
mentat的专栏
06-27 1万+
  1.综述.1.1. 绪论.1.1.1. 背景,目标.1.1.1.1. 研究自然语言的动力1． 语言是思维的裁体，是人际交流的重要工具。在人类历史上以语言文字形式记载和流传的知识占到知识总量的80％以上。就计算机的应用而言，据统计用于数学计算的仅占10％，用于过程控制的不到5％，其余85％左右都是用于语言文字的信息处理。在这样的社会需求下，自然语言理解作为语言信息处理技术的一个高层次的重要方向，
《人工智能大语言模型技术发展研究报告（2024）》【下载】
cybtec的博客
07-25 626
《人工智能大语言模型技术发展研究报告（2024）》【下载】
生物信息学新突破：在英特尔 Gaudi 2 上实现 ProtST 蛋白质语言模型加速
2401_85789772的博客
07-25 403
ProtST是一种基于深度学习的蛋白质序列预测模型，能够预测蛋白质的三维结构和功能。ProtST模型通过学习蛋白质序列的模式，预测其结构特征，为药物设计和疾病机理研究提供了新的工具。
论文阅读：A Survey on Evaluation of Large Language Models-鲁棒性相关内容
最新发布
CSPhD-winston的博客
07-25 506
Wang等人(2023c)是一项早期工作，使用AdvGLUE (Wang等人，2021)、ANLI (Nie等人，2019)和DDXPlus (Fansi Tchango等人，2022)数据集等现有基准，从对抗性和OOD角度评估了ChatGPT和其他LLMs。卓等人(2023b)评估了语义解析的鲁棒性。评估系统面对意外输入的稳定性是鲁棒性研究的核心，主要从对抗鲁棒性和出分布泛化两方面考察大语言模型，发现当前模型对对抗性提示和视觉输入显著脆弱，提示模型在部署中面临安全隐患，需要继续提高模型的鲁棒性。
斯坦福深度学习与自然语言处理CS224d课程
"Stanford大学的深度学习应用于自然语言..."Standford Deep learning for NLP lecture1"是一门全面的课程，旨在帮助学生掌握深度学习在自然语言处理中的核心概念和应用，为他们在AI和NLP领域的职业生涯打下坚实基础。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值