大模型基础学习笔记

最新推荐文章于 2024-06-04 20:26:31 发布
最新推荐文章于 2024-06-04 20:26:31 发布
阅读量139 收藏 4
点赞数 9
文章标签： 学习 笔记 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Adore_rui/article/details/138093475
版权

词向量Word2Vec

词向量在空间中的位置是平行的，word2vec可以捕捉到语言学的规律

滑动窗口

 CBOW：根据context词去预测目标词。--图左

SKIP-GRAM：根据目标词去预测context词。 --图右

CBOW 

 one hot向量：只有一个元素是1，其余元素均为0

SOFTMAX

 在机器学习和深度学习中，softmax层是一种常用于多分类问题的激活函数。它的作用是将神经网络输出的原始分数（logits）转换成概率分布，使得每个类别的概率值非负且总和为1。

skip gram 

There are two main improvement methods for word2vec
。Negative sampljing
。Hierarchical softmax

 负采样

去掉重复词汇的方法 

 滑动窗口

 循环神经网络RNN

 

 

 

 

RNN变体

门控循环单元 

 

长短期记忆网络 LSTM

 

3.结合例子理解LSTM_哔哩哔哩_bilibili 

这个讲得好听他的

先发布 ，会每天更新的....

卷积神经网络CNN

Adore_rui
关注
  • 9
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大模型ResNet学习笔记.md
08-21
阅读建议： 鉴于本文内容涉及深度学习和神经网络，建议读者具备一定的计算机视觉和深度学习基础。如果读者对PyTorch有一定了解，将更容易理解模型的代码示例部分。对于初学者，可以通过学习深度学习基础知识和...
ChatGPT大模型学习笔记.rar
10-20
- 之后BERT把transformer的编码器拿出来做成了BERT这个模型，BERT的基础模型对标的是GPT，在可学习参数规模基本一样的情况下，效果比GPT更好。BERT的large模型甚至比它的基础模型更好。 - 在之后又出现了GPT2和GPT3...
大模型基础知识笔记.md
09-11
内容概要： 这份文章深入探讨了深度学习、神经网络、自然语言处理（NLP）基础概念以及BERT模型（Bidirectional Encoder Representations from Transformers）。它解释了深度学习的核心思想，描述了神经网络的构建...
大模型技术学习资料大全
04-30
0.1 研究方向一：RAG+信息论 RAG 作为实践手段 ...切入点：金融大模型 0.2 研究方向二：Agent+复杂系统 Agent 作为实践手段 复杂系统作为理论基础 研究专题：多 Agent 协作或社会模拟问题 切入点：斯坦福小镇项目
电机控制学习笔记-基础版
04-17
侧重于磁路的基本概念 SVPWM控制 电机控制学习的基础 从最简单的概念入手 到坐标变换 再到数学模型的建立
Diffusers代码学习-链式Inpainting
duhaining1976的博客
06-03 1023
AIGC研究及应用系列
Elixir学习笔记——二进制、字符串和字符列表
最新发布
chenxupest的专栏
06-04 695
在“基本类型”中，我们学习了一些关于字符串的知识，并使用 is_binary/1 函数进行检查："hello"true在本章中，我们将明确二进制到底是什么、它们与字符串的关系以及 Elixir 中单引号值“like this”的含义。虽然字符串是计算机语言中最常见的数据类型之一，但它们却非常复杂，经常被误解。要理解 Elixir 中的字符串，我们必须了解 Unicode 和字符编码，特别是 UTF-8 编码。
学习整理 docker
wonder_dog的博客
05-31 321
nexus。
超大功率光伏并网逆变器学习(三相) 一
我的博客
05-31 384
1.超大功率用的IGBT开关频率通常很低,比如6KHz。2.线电压和相电压的关系。
视觉语言大模型llava学习
csuzhaoqinghui的博客
05-31 406
ViLBERT（Vision-and-Language BERT）是一个专为处理视觉和语言信息而设计的模型，通过双流结构分别处理图像和文本输入，然后在顶层通过共注意力机制（Co-Attention）将两种信息结合起来。与ViLBERT类似，它使用单一的Transformer模型来同时处理视觉和语言信息，通过将图像的区域特征与相应的文字描述一起编码，实现了对图像和文本的联合理解。视觉语言模型的不断发展正在推动人工智能领域向更高层次的理解和创造能力迈进，为创建更智能、更互动的系统打开新的可能性。
HOW - Lodash 使用指南和源码学习
weixin_58540586的博客
06-03 812
Lodash 是一个 JavaScript 实用工具库，提供了许多常用的函数方法，用于简化 JavaScript 编程中的常见任务。它提供了对数组、集合、对象、函数、字符串等数据类型的操作和处理方法，以及一些实用的辅助函数。
学习小心意——python的构造方法和析构方法
2201_75876277的博客
06-03 308
关于构造方法的玩法有很多，这里只是简单引用一下。小小分享，到此一游。构造方法和析构方法分别用于。
开利网络参加广州数据交易所学习活动
KLWL_2022的博客
05-31 195
学习内容提现了数字时代企业数字化转型的核之心“发掘数据价值，驱动高速发展”，交易中心组织大家学习如何紧跟国家政策、把握数据资产发展趋势、用好企业数据、做到数据资产增值！开利网络做为南沙广州数据交易所的会员参加了由“广东三会”组织的“数据资产”相关学习活动。（下图为开利董事长付立军先生在签到）4. 基础性：在数字经济时代，成为重要的基础资源，对推动科技创新、经济发展、提升管理效率等方面都有着关键作用。数据要素的合理开发、利用和流通，对于促进产业升级、提升企业竞争力、推动经济高质量发展具有重要意义。
人工智能学习笔记（2）：认识和安装Stable Diffusion
superatom01的博客
06-01 969
摘要：Stable Diffusion是一种基于深度学习的生成模型，主要用于文本到图像的转换。Stable Diffusion 的厉害之处在于它可以在运行于大多数配备有合适 GPU 的个人计算机上，而且，它开源了项目代码和模型权重。这样一来，开发者就可以在它的基础上进行二次开发、做插件、做工具，这就有了如今结合 Stable Diffusion 流行起来的 Stable Diffusion WebUI、LoRA、ControlNet 等开源项目。
TH方程学习（4）
weixin_57997461的博客
05-31 273
在本节将会对TH方程打包成一个函数，通过输入目标星的轨道要素，追踪星在目标星VVLH坐标系下的相对位置和速度，以及预报的时间，得到预报时刻追踪星在VVLH坐标系下的位置和速度，以及整个状态转移矩阵。其中 STKVVLh,STKVVLh2的数据通过STK计算得到的VVLH坐标系，其数据在作者的数据包里可以免费下载，最后得到四个图。合并（1）（2），得到归一化形式的XZ方向的状态转移矩阵。，（3），得到归一化形式的Y方向的状态转移矩阵。根据归一化，可以写成的矩阵形式如下所示。所以合并后的形式可以写为。
【学习笔记】Vue3（Ⅱ）
Eddie_hyh的博客
06-03 473
Vue3（Ⅱ）
EVO轨迹评估工具基本使用教程(学习记录)
weixin_66706867的博客
05-31 833
EVO轨迹评估工具基本使用教程(学习记录)
学习笔记——网络参考模型——TCP/IP模型（网络层）
灵韵的博客
06-03 801
整个华为数通学习笔记系列中，本人是以网络视频与网络文章的方式自学的，并按自己理解的方式总结了学习笔记，某些笔记段落中可能有部分文字或图片与网络中有雷同，并非抄袭。当一个主机接口在启动过程中尚未获得自己的IP地址时，就可以向网络发送目的IP地址为有限广播地址、源IP地址为0.0.0.0的DHCP请求报文，希望DHCP服务器在收到自己的请求后，能够给自己分配一个可用的IP地址。实际上一些网络不需要连接到Internet，比如一个大学的封闭实验室内的网络，只要同一网络中的网络设备的IP地址不冲突即可。
④单细胞学习-cellchat细胞间通讯
hx2024的博客
06-02 939
CellChatDB考虑了配体-受体复合物的已知组成，包括具有多聚体配体和受体的复合物，以及几种辅因子类型：可溶性激动剂，拮抗剂，共刺激和共抑制膜结合受体。我们通过将 CellChat 应用于来自患者的病变（LS，患病）人类皮肤细胞的 scRNA-seq 数据来展示 CellChat 的多种功能。为了推断细胞状态特异性通讯，我们首先使用显著性水平为 0.05 的 Wilcoxon 秩和检验，在给定的 scRNA-seq 数据集中鉴定了所有细胞群中差异表达的信号转导基因。c） 细胞间通讯概率的计算。
误差理论与平差基础学习笔记
10-19
误差理论与平差基础学习笔记主要包括预备知识、平差种类等内容，其中预备知识包括误差和随机变量的概念，平差种类包括条件平差、附有参数的条件平差、间接平差、附有限制条件的间接平差和概括平差函数模型等。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值