刘知远团队大模型公开课笔记汇总【持续更新中】

最新推荐文章于 2024-07-22 16:24:23 发布
最新推荐文章于 2024-07-22 16:24:23 发布
阅读量305 收藏 4
点赞数 9
分类专栏： AIGC 文章标签： 笔记 AIGC
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_52784465/article/details/137938791
版权
这篇文章介绍了清华大学NLP团队在B站发布的大模型公开课系列，涵盖L1至L6阶段，包括基础NLP、神经网络、Transformer、PLMs、提示学习、系统构建等内容，帮助读者从入门到实战应用。
摘要由CSDN通过智能技术生成

B站视频：【清华NLP】刘知远团队大模型公开课全网首发｜带你从入门到实战

课程计划

在这里插入图片描述

L1-NLP&Big Model Basics

[学习笔记]大模型公开课笔记 L1-NLP&Big Model Basics

L2-Neural Network Basics

[学习笔记]大模型公开课笔记 L2-Neural Network Basics

L3-Transformer_and_PLMs

[学习笔记]大模型公开课笔记 L3-Transformer_and_PLMs

L4-Prompt-learning & Delta-learning

[学习笔记]大模型公开课笔记 L4-Prompt-learning & Delta-learning

L5-BMSystem

[学习笔记]大模型公开课笔记 L5-BMSystem

L6-基于大模型文本理解和生成介绍

[学习笔记]大模型公开课笔记 L6-基于大模型文本理解和生成介绍

金科铁码
关注
  • 9
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
刘知远-Introduction to Graph Neural Networks.pdf
04-01
Graphs are useful data structures in complex real-life applications such as modeling physical systems, learning molecular fingerprints, controlling traffic networks, and recommending friends in social...
[学习笔记]刘知远团队大模型技术与交叉应用L6-基于大模型文本理解和生成介绍
zhangyifeng_1995的博客
02-02 501
IR系统分为两个阶段：Retrieval阶段：对整个文档库排序后，抽回一部分相关文档的子集。主要考虑召回率。Re-Rankink阶段：精排序主要的机器问答类型：机器阅读理解、开放域问答、基于知识库问答、对话式QA完形填空多选抽取式阅读理解(原文找答案)data-to-text: 可以把一些非语言性的表示的信息，通过模型，以人类可以理解的语言表示出来。例子：seq2seq比较知名的模型：T5T5是在一个被清洗过的爬取的数据集上训练的。输入时，会将其中一部分mask，在训练和模型策略上。
【清华大学】《自然语言处理》（刘知远）课程笔记 ——NLP Basics
四问四不知的博客
06-09 1636
笔记
大模型学习——第二节课（NLP刘知远大模型公开课）
weixin_54379099的博客
10-19 181
CNN vs RNN，RNN（不能并行化）
清华NLP-刘知远团队大模型公开课（学习笔记）
a131529的博客
11-07 700
链接: https://pan.baidu.com/s/1ZboqS6D5Rc705piL0ANXog?
大模型学习——【清华NLP】刘知远团队大模型公开课全网首发｜带你从入门到实战（一）
weixin_54379099的博客
10-14 671
官方网站：https://www.openbmb.org启智社区：https://git.openi.org.cn/OpenBMB。
【大模型公开课】清华大学刘知远团队大模型公开课学习笔记——1.4自然语言处理基础与应用
weixin_44184852的博客
07-18 325
有一个关于NLP领域比较好的综述：Advances in Natural Language Processing。再进一步：Named entity recognition 命名实体的识别。最后：句法各种成分的依赖关系 中文中词与词之间没有空格，需要进行分词。发表在2015年的Science上 比较适合了解NLP的基本知识。再进一步：为了应对自然语言处理中省略的现象，比如共指消息。基本任务：词性标注 part of speech。
刘知远大模型学习笔记-Delta Tuning
jennieg的博客
03-27 352
Prompt Learning对于位置任务不太适用，但是认为可以用于多模态。也就是图片与文本理解。Delta Tuning核心思想：绝大多数参数不变，只微调一小部分模型，优化特别少参数。也就是把解决任务抽象为一小部分参数（Delta Objects）。有了预训练大模型，这类方法才有用。分类：Addition，增量式；Specification，指定式；Reparameterization，重参数化式（现在超级常用的LoRA)。提示：以下是本篇文章正文内容，下面案例可供参考。
刘知远大模型学习笔记-大模型微调（fine-tune）
jennieg的博客
03-27 525
由Hugging Face提出，包括许多预训练大模型，能够通过pipeline轻松实现部署应用，我在VSCode中通过虚拟环境实现，需要先pip install transformers。
预训练语言模型入门
行步至春深
09-15 1239
笔记博客 b站 刘知远团队大模型公开课全网首发 P32-35
OpenKE在wOpenKE是清华NLP刘知远教授团队的一个知识表示
06-24
OpenKE在wOpenKE是清华NLP刘知远教授团队的一个知识表示学习(knowledge graph embedding)的开源框架。官方版本仅提供linux环境下的包。如何需要在windows电脑下运行，需要将项目base目录下面的C++的代码进行重新编译...
OpenKE在wOpenKE是清华NLP刘知远教授团队的一个知识表示学习
06-24
OpenKE在wOpenKE是清华NLP刘知远教授团队的一个知识表示学习(knowledge graph embedding)的开源框架。官方版本仅提供linux环境下的包。如何需要在windows电脑下运行，需要将项目base目录下面的C++的代码进行重新编译...
deepseek-vl 论文阅读笔记
最新发布
samoyan的博客,记录技术成长~
07-22 640
我们的语言模型基于DeepSeek LLM（DeepSeek-AI，2024），其微设计大体遵循LLaMA（Touvron等，2023a,b）的设计，采用带有RMSNorm（Zhang和Sennrich，2019）函数的Pre-Norm结构，并使用SwiGLU（Shazeer，2020）作为前馈网络（FFN）的激活函数，中间层维度为8/3模型维度。此外，我们引入了一种新的“模态预热”策略。为了促进创新并支持广泛的应用需求，我们公开了两个版本的模型，分别为1.3B和7B，以满足不同计算能力的需求。
OpenGL笔记十四之GLM数学库的配置与使用
小勇博客
07-20 318
— 2024-07-20 中午。
【Blockly图形化积木编程二次开发学习笔记】5.自动保存与恢复
乙酸氧铍的博客
07-21 116
/ 用户离开页面时自动将块备份到本地存储中。关闭后再次打开，工作区仍存在。// 从本地存储中恢复块。
Vue3企业级项目开发实战课-笔记记录
tuku0801的专栏
07-20 924
实践 Vue 3 自研组件库开发、Node.js 服务端开发、Vue 3 结合 Node.js 的全栈项目开发以及全栈项目的单元测试等大厂常见的项目技术场景
introduction to graph neural networks 刘知远
07-26
刘知远是图神经网络的介绍，该领域的学术研究者和专家。图神经网络是一种用于处理图数据的机器学习模型。与传统的神经网络不同，它可以直接对图结构进行建模和分析。传统的神经网络主要用于处理向量和矩阵数据，无法有效地处理非结构化的图数据，而图神经网络弥补了这一不足。 图神经网络的核心思想是将节点和边作为特征，并利用节点和边之间的连接关系进行信息传播和学习。它可以捕捉到节点之间的局部结构和全局拓扑信息，从而提取图的特征表示。这使得图神经网络在图分类、图节点分类、图边分类等任务上表现出色。 图神经网络中最常用的模型是图卷积网络（GCN）。GCN利用节点的邻居信息来更新节点的特征表示，通过多层的图卷积层进行信息传播和提取。其他常用的图神经网络模型还包括图注意力网络（GAT）、图自编码器（GAE）等。 除了节点和边的特征表示，图神经网络还可用于学习图级别的特征表示。这意味着它可以将整个图作为输入，输出整个图的特征表示，从而实现图分类、图生成等任务。 总之，图神经网络是一种重要的机器学习模型，可用于处理图结构的数据。它通过利用节点和边之间的连接关系和特征表示进行信息传播和学习，能够有效地提取图的特征表示，并在诸如图分类、图节点分类等任务中取得优异性能。刘知远在这一领域进行了深入的研究，为图神经网络的发展和应用做出了重要贡献。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

金科铁码

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值