CS224n自然语言处理算法笔记目录

已于 2024-06-21 17:48:21 修改
阅读量335 收藏 4
点赞数 11
分类专栏： 算法笔记（CS224n） 文章标签： 自然语言处理 算法 笔记
于 2024-06-18 17:58:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43131525/article/details/139779988
版权

第一二三节课：基础知识

  1. 第一节课：huggingface使用教程（地址 需要翻墙）
  2. 第二节课：Python基础教程（数据结构） 不做过多赘述
  3. 第三节课：Pytorch教程（numpy数据结构 以及 tensor计算）

第四节课：词向量

word2vec 的思路 从ont-hot 到 word2vec
以及词向量表示的训练方式 CBOW 与 skip-gram
（我理解为Tokenizer的的训练过程）

第五节课：神经分类器

skip-gram的负采样策略
Glove 和 SVD
一词多义问题（后续见得不多 这里不做过多了解）

第六节课：反向传播和神经网络

NER（命名实体识别）任务
反向传播（梯度回传）

第七节课：句法结构和依赖解析

依赖结构解析（句法树）

第八节课：递归神经网络

RNN神经网络（有点老，暂时不过多分析）

第九节课：简易的RNN和LSTM

LSTM介绍

第十节课：翻译，seq2seq，注意力机制

seq2seq（softmax去预测output beam search）

第十一节课：self-attention and Transfromer

transformer的各个部分讲解

第十二节课：预训练

Subword方法（BPE、WordPiece、ULM）
Encoder-Only、Encoder-Decoder、Decoder-Only
预训练（主要讲了bert的预训练方式mlm）和微调

第十三节课：强化学习

讲了思维链的思想
Zero-shot与Few-shot
Instruction tuning 源论文
RLHF 基于人类反馈的进行强化学习以及KL计算

第十四节课：自然语言生成

decode：top-k、top-p、temperature
exposure bias ：scheduled sampling、dataset Aggregation、retrieval augmentation、reinforcement Learning

第十五节课：问答

BiDAF和Bert做问答（有点老）

Sheldor369
关注
  • 11
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
斯坦福cs224n教程--- 学习笔记1
葡萄数的博客
12-01 1175
一、前言 自然语言是人类智慧的结晶，自然语言处理是人工智能中最为困难的问题之一，而对自然语言处理的研究也是充满魅力和挑战的。 通过经典的斯坦福cs224n教程，让我们一起和自然语言处理共舞！也希望大家能够在NLP领域有所成就！   二、先修知识（学习的过程中可以遇到问题后再复习） 了解python基础知识 了解高等数学、概率论、线性代数知识 了解基础机器学习算法：梯度下降、线性回归、逻...
自然语言处理学习——CS224课程笔记
skyseezhang的博客
06-24 1121
自然语言处理学习——CS224课程笔记 第一部分：词向量（Lecture 1） 对于自然语言处理问题，涉及到的基本处理单元是一个个单词（英文为单词，中文为词汇），将单词表示成计算机能够理解的符号是解决自然语言处理问题的基础。词向量就是目前发展出的分布式表示单词语义信息的关键方法。在正式介绍词向量之前，先介绍一下其它几种表示单词和文档的方法。 1. one-hot编码方式与词袋模型（bag of words） one-hot编码是一种离散式的单词表示方式。先综合所有单词，计算单词的数量N，从而建立N维向量，用
CS224N课程笔记，第一课，词向量的演变
weixin_46866349的博客
04-02 460
Word vectors, feed-forward networks, recurrent networks, attention, encoder-decoder models, transformers, large pre-trained language models, Word meaning, dependency parsing, machine translation, question answering, Distributional semantics大家好.欢迎来到斯坦福大学的CS
自然语言处理cs224n课程作业答案
qq_37891889的博客
03-01 852
自然语言处理cs224n课程作业答案如下，内附手动推导公式笔记： https://github.com/BetterBoyTph/cs224n-assignments
斯坦福CS224n_自然语言处理与深度学习 笔记
09-28
《斯坦福CS224n：自然语言处理与深度学习》是斯坦福大学开设的一门高级计算机科学课程，专注于自然语言处理（NLP）领域的深度学习技术。这门课程涵盖了广泛的NLP主题，从基础的文本预处理到复杂的深度学习模型，如...
斯坦福CS224n_自然语言处理与深度学习_笔记
07-15
通过阅读《斯坦福CS224n_自然语言处理与深度学习_笔记_hankcs.pdf》，你可以深入理解这些主题，掌握NLP的深度学习方法，并能够应用于实际项目中，提升自然语言处理的技能。这份笔记详尽地概述了课程内容，是学习这一...
AILearners：机器学习，深度学习，自然语言处理，计算机视觉，各种算法等AI领域相关技术的路线，教程，干货分享。笔记有：机器学习实战，剑指提供，cs231n，cs131，吴恩达机器学习， cs224n，python自然语言处理实战
02-03
在这里我们一起学习，互相督促，一起装逼〜我们更新的一些AI相关的笔记〜包括算法，机器学习，深度学习，自然语言处理，之后也会更新更多的笔记让大家一起学习〜 AIMI-CN AI学习交流群（里面有各种AI相关的资源）...
cs224d assignment1
02-09
斯坦福大学的cs224d是一门关于深度学习与自然语言处理（Deep Learning for Natural Language Processing）的高级课程。这门课程涵盖了各种自然语言处理技术，包括词嵌入、序列模型、注意力机制以及Transformer等。在...
cs231n中文资料
06-23
《斯坦福CS231n课程中文资料...对于想要深入理解和应用神经网络及深度学习的初学者，CS231n的中文资料无疑是一份宝贵的财富，它不仅提供了丰富的学习材料，也帮助学习者跨越语言障碍，更好地理解这一领域的前沿知识。
Python在自然语言处理中的应用：从基础到实战
Programming Talk
06-25 233
自然语言处理（NLP）涉及对文本数据的处理和分析，常见任务包括文本分类、情感分析、机器翻译和问答系统等。NLP旨在让计算机理解和生成自然语言，从而实现人机交互和智能信息处理。本文详细介绍了如何使用Python进行自然语言处理，包括常用库、文本预处理、文本表示方法、常用NLP任务以及一个完整的实战项目。通过本文的学习，读者可以掌握NLP的基础知识和技术，并能在实际项目中应用这些知识进行文本处理和分析。
第一章：自然语言处理
南七小僧的学海无涯
06-29 85
自然语言处理 (NLP, Natural Language Processing) 又称为计算语言学，是一门借助计算机技术研究人类语言的科学。虽然 NLP 只有六七十年的历史，但是这门学科发展迅速且取得了令人印象深刻的成果。在上手实践之前，我想先花点时间给大家介绍一下 NLP 的发展历史和 Transformer 模型相关的概念，这对于后期理解模型结构以及自己设计方法会有很大的帮助。本章将带大家快速穿越 NLP 的发展史，见证从专家系统到 BERT 模型的巨大变化。
【LLM Transparency Tool】用于深入分析和理解大型语言模型（LLM）工作原理的工具
xzpdxz的博客
06-26 866
LLM Transparency Tool 是一个用于深入分析和理解大型语言模型（LLM）工作原理的工具，旨在增加这些复杂系统的透明度。它提供了一个交互式界面，用户可以通过它观察、分析模型对特定输入（prompts）的反应，以及模型内部的决策过程。
使用Hugging Face获取BERT预训练模型
brucexia的专栏
06-25 493
BERT是一个预训练模型，其基本架构和存档都有相应的服务公司提供下载服务，而Hugging Face是一家目前专门免费提供自然语言处理预训练模型的公司。Hugging Face是一家总部位于纽约的聊天机器人初创服务商，开发的应用在青少年中颇受欢迎，相比于其他公司，Hugging Face更加注重产品带来的情感以及环境因素。在GitHub上开源的自然语言处理、预训练模型库Transformers提供了NLP领域大量优秀的预训练语言模型和调用框架。（1） 安装依赖。
nlp--最大匹配分词(计算召回率)
最新发布
ros275229的博客
06-30 118
最大匹配算法是一种常见的中文分词算法，其核心思想是从左向右取词，以词典中最长的词为优先匹配。这里我将为你展示一个简单的最大匹配分词算法的实现，并结合输入任意句子、显示分词结果以及计算分词召回率。
探索SoMeLVLM：面向社交媒体处理的大型视觉语言模型
qq_52053775的博客
06-25 162
在线社交媒体平台涌现出海量的文本与视觉内容，深刻揭示了人们如何交流、互动以及自我表达。随着通信技术的日新月异，越来越多的用户活跃于各类主题与兴趣社区，这使得社交媒体成为学术研究的焦点。近期，大型语言模型（LLMs）与大型视觉语言模型（LVLMs）在处理自动化任务方面展现出了卓越的能力，特别是在提示工程的助力下。然而，研究指出，即便经过广泛的实践与评估，这些通用大型模型仍无法完全替代计算社会科学（CSS）的传统研究范式，特别是在社交媒体研究中。
RAG分块方法 从固定大小到自然语言处理分块——深入研究文本分块技术
ECNU_sei_mfj的博客
06-26 921
rag分块方法
深入探究小型语言模型 (SLM)
ms44的专栏
06-27 508
从硬件的角度来看，运行成本更低，即 SLM 需要更少的计算能力和内存，并且适合本地和设备部署，使其更安全。从使用的角度来看，这些是小型语言模型，针对特定领域或任务进行训练或微调，因此它们可以拥有从法律术语到保护知识产权的医疗诊断的专业术语和知识。这是因为，类似地，范围从 -1 表示相反，1 表示完全匹配，0 表示与 0.5 的值无关，这似乎是合理的论点。值得注意的是，我们使用了 GPT-3.5 之类的 LLM 来生成问答对（这可能会违背这里的目的），但是，我们也可以尝试使用 SLM 来根据用例生成这些对。
跟着DW学习大语言模型-使用Streamlit构建一个RAG应用
白水空空
06-26 620
现在我们已经实现了通过上传本地知识文档，然后将他们保存到向量知识库，通过将查询问题与向量知识库的召回结果进行结合输入到 LLM 中，我们就得到了一个相比于直接让 LLM 回答要好得多的结果。将介绍 LangChain 中的储存模块，即如何将先前的对话嵌入到语言模型中的，使其具有连续对话的能力。例如，我们向 LLM 提问一个问题（answer），RAG 从各种数据源检索相关的信息，并将检索到的信息和问题（answer）注入到 LLM 提示中，LLM 最后给出答案。另外，也有助于缓解大模型的“幻觉”问题。
cs224n作业assignment3
03-16
cs224n作业assignment3是斯坦福大学自然语言处理课程的第三个作业，主要涉及神经网络和自然语言处理的相关知识。该作业包括三个部分：1.神经网络基础；2.词向量；3.语言模型。学生需要完成一些编程任务，例如实现神经网络的前向传播和反向传播算法，实现词向量的训练和可视化，以及实现基于循环神经网络的语言模型。该作业旨在帮助学生深入理解神经网络和自然语言处理的基本概念和技术，并提高他们的编程能力和实践能力。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值