努力学习的哇塞妹妹‍-CSDN博客

原创【prompt learning提示学习】

提示学习是指对输入文本信息按照特定模板进行转换，把任务重构成一个更能充分利用预训练语言模型处理的形式。

2023-09-19 17:35:58 411

原创【关系抽取综述】

在关系抽取任务中，输入是一段包含实体和上下文信息的文本，输出是表示实体之间关系的结构化信息。这种结构化信息可以采用多种形式，例如二元关系（两个实体之间的关系）或多元关系（多个实体之间的关系）。

2023-08-10 09:42:56 296 1

原创【机器学习03---SVM支持向量机(KKT,Dual)】

SVM的目标是找到一个超平面，能够将不同类别的数据点有效地分开，并尽可能地使不同类别的数据点之间的间隔最大化。这些位于不同类别边界上的数据点被称为支持向量；

2023-07-29 23:06:06 159 1

原创【机器学习笔记02---逻辑回归（优化、参数和超参数评估）】

L2正则化（L2 Regularization）：也称为Ridge正则化，它通过在目标函数中添加模型参数的L2范数的平方作为正则化项，限制参数的平方和。L1正则化（L1 Regularization）：也称为Lasso正则化，它通过在目标函数中添加模型参数的L1范数作为正则化项，限制参数的绝对值之和。MLE基于观测数据的似然函数，寻找能够使观测数据出现的概率最大化的参数值。逻辑回归的目标是根据输入变量的线性组合，通过一个逻辑函数（也称作sigmoid函数）来预测输出变量的概率。

2023-07-29 14:31:01 1415

原创【NLP学习笔记08 Elmo模型+莫烦pytorch代码理解】

Elmo（Embeddings from Language Models）是一种基于深度双向语言模型（Deep Bidirectional Language Model）的上下文相关的词向量表示方法；传统方法将每个词表示为一个固定的向量，而Elmo考虑了每个词在不同上下文环境中的多个表示。前向语言模型（Forward Language Model）：这个模型从左到右阅读输入序列，并试图预测下一个词。每个词的前向隐藏状态表示了该词在上下文中的信息。

2023-07-20 11:35:23 478

原创【自用的---记不住的函数们】

nn.LSTMCell是PyTorch提供的用于构建LSTM单元的类，nn.LSTMCell(emb_dim, units)通过将emb_dim作为输入的特征维度和units作为隐藏状态的维度来创建一个LSTM单元emb_dim：表示输入嵌入向量的维度。在解码过程中，输入会先经过一个嵌入层，将词索引转换为密集的嵌入向量，这个维度就是emb_dim。units：表示隐藏状态的维度，也是LSTM单元内部的隐藏状态向量的维度。

2023-07-19 01:41:50 38

原创【NLP自然语言处理学习笔记07 Bert理论+莫烦pytorch代码理解】

BERT的主要特点是双向编码（bidirectional encoding。BERT则采用了Masked Language Model（MLM）和Next Sentence Prediction（NSP）两种预训练任务，使得模型能够同时利用左侧和右侧的上下文信息进行预测；

2023-07-18 17:38:50 306 1

原创【莫烦nlp自然语言处理课程代码解析transformer模型】

translate方法得到x的预测英文输出结果y：它用的是进行填充后的原句和上一次编码的原句作为decoder部分的输入，对后得到预测的结果。这里对y进行了切片，去掉最后一个结束字符的标记进行训练，y本来是有开始和结束的，长度为12，而x长度为11。transform的模型：实现了经过编码器-----解码器----- linear层后最后得到输出的过程。在计算交叉熵的时候，会把y的起始字符去掉，因为训练得到的logits是没有开始字符的。最后得到一个形状为[32,11,27]的输出，记为o。

2023-07-10 17:35:31 142 1

原创【python学习笔记之字典的用法】

字典是Python中的一种数据结构，用于存储键值对。字典用花括号 {} 包围，键值对使用冒号 : 分隔，每个键值对之间用逗号 , 分隔。字典中的键必须是唯一且不可变的，通常是字符串或数字。值可以是任意数据类型，包括数字、字符串、列表、字典等。可以通过给键赋值来添加新的键值对或修改现有的键值对。使用键来访问字典中的值，类似于通过索引访问列表中的元素。例如，my_dict[key] 将返回键 key 对应的值。字典是无序的，即键值对的顺序不一定与添加的顺序相同。

2023-07-10 15:48:27 66 1

原创【NLP自然语言处理学习笔记06 attention is all you need理论+pytorch版代码理解】

Transformers是一种用于自然语言处理（NLP）任务的神经网络架构。它由多个编码器-解码器层组成，其中每个层都包含一个自注意力机制。自注意力机制使得模型能够在输入序列的各个位置上进行关注和权重分配，以便更好地捕捉序列中的相关性。自注意力机制通过将输入序列中的每个元素与所有其他元素进行比较和加权，为每个元素分配一个注意力权重。这个过程可以帮助模型更好地理解序列中元素之间的依赖关系。

2023-07-09 22:38:37 261 1

原创【NLP自然语言处理学习笔记05attention】

在start第一个词的时候就考虑了分布情况，并且每次都会考虑权重的情况。W(Q)、W(K)、W(V)是学习得到的参数。

2023-07-05 22:14:14 111 1

原创【NLP自然语言处理学习笔记03attention(含莫烦代码解析)】

我们使用的是一种RNN模型来产生句向量的embedding，但是这种方法存在着一些弊端：（1）是一种串行的方法，速度慢（3）shallow moudel （横向上是deep module ，但是纵向是shallow module）基于以上问题，提出attention。

2023-07-05 21:26:36 128 1

原创【NLP自然语言处理学习笔记04神经网络模型--- CNN、RNN、LSTM、GRU (含莫烦代码解析)】

和LSTM一样，也是为了解决长期记忆和反向传播中的梯度等问题而提出来的。损失函数是各输出的损失加和；其中超参数是filter size=f和stride=s是自己设置的，这层没有要学习的参数。与LSTM相比，GRU内部少了一个”门“，参数比LSTM少，却能达到与LSTM相当的功能，我们常常觉得GRU更加”实用“！（3）filter的长度一般取3，一般会取基数，使得除法可以整除。记忆门🚪：要保留/忘记多少信息（类似于LSTM中的遗忘门🚪）（1）p为填充长度（为了保证对称一般用2p表示填充大小）；

2023-07-04 22:40:07 763

原创【python学习笔记之numpy与pandas】

pandas可以对不同索引对象进行算数运算，将dataframe对象相加，结果的索引是该索引的并集；DataFrame是一个表格型数据结构，列有序，每列可以是不同值的类型，数值、字符串、布尔值都可以；pandas可以进行reindex(重新索引),method可以设置none时的填充方法，fill：填充方法为nan；series是一组类似一维数组的对象，由一组数据以及这组数据的索引构成，索引默认从零开始递增，也可以自定义索引。相加时，没有就合并；arr.shape:（外层数组的维度，内层数组的维度）

2023-07-01 14:15:14 390

原创【NLP自然语言处理学习笔记02：词向量（含莫烦代码分析）】

词向量技术是一种分布式表示【分散的把词信息分布到各个向量中】density稠密性semantic 语义capacity 表达能力global generalization 泛化能力。

2023-06-30 10:57:00 110

原创【NLP自然语言处理学习笔记01：文本的表示】

我们需要定义它的维度，通过训练深度学习的模型（skip- gram、Glove、CBow…IDF（Inverse Document Frequency，逆向文件频率）：log(N/N(w))TF（Term Frequency，词频）：表示一个给定词语w在一篇给定文档d中出现的频率。（要记录出现的频率）未出现的词对应位置设为0，出现设为出现的频数。（3）解决了one-hot方法中稀疏性（sparsity）的问题。并不是出现的越多就越重要；未出现的词对应位置设为0，出现设为1。出现设置为1，未出现设为0。

2023-06-27 11:28:54 57

原创【python进阶学习笔记看这一篇就够啦！全网最全！！！】

很全的python学习笔记，适合pyhton的初学者，看了好多python的视频进行整理的

2023-06-25 23:52:49 224

CrazyDog_JJ的博客