- 博客(16)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 传统搜索推荐算法2
当xj1特征与xj2特征进行交叉时， xj1特征会从xj1的这一组隐向量中挑出与特征xj2的域f2对应的隐向量wj1_f2进行交叉。在对某用户进行推荐时，可利用该用户的隐向量与所有物品的隐向量进行逐一的内积运算，得出该用户对所有物品的评分预测，再依次进行排序，得到最终的推荐列表。FM 通过引人特征隐向量的方式，直接把 P0LY2 模型n2级别的权重参数数量减少到了 nk，k 为隐向量维度，n»k )，在使用梯度下降法进行 FM 训练的过程中，FM 的训练复杂度同样可被降低到以级别，极大地降低了训练开销。
2024-12-30 00:25:37
501
原创 点云网络PointNet++
对于点云数据，PointNet 是这个方向的先驱。然而，PointNet不会捕获由度量空间点所引起的局部结构，从而限制了其识别细粒度模式的能力和对复杂场景的泛化能力。斯坦福大学的Charles R. Qi等人提出PointNet++，引入分层神经网络递归的应用PointNet对输入点集的嵌套分区。通过利用度量空间距离，网络能够随着上下文尺度的增加学习局部特征，进一步观察到点集通常以不同的密度进行采样，这会导致在均匀密度上训练的网络的性能大大降低。
2024-10-30 13:40:11
742
原创 点云网络基础PointNet
点云是一种重要的几何数据结构。由于其不规则的格式，大多数研究人员将这些数据转换为规则的3D体素网格或图像集合。这是一个很难解决的问题，数据会不必要包含较大的容量。斯坦福大学的等人设计了一种新型的神经网络PointNet，直接利用点云用于3D分类和分割。网络提出了一个统一的架构，应用在对象分类、部分分割、场景语义解析等场景。PointNet在有较高的效率和有效性的同时具备较为简单的结构。
2024-10-24 15:17:09
406
原创 nlp实战--面向LLM的入门课程
同样的，在提供 Prompt 的时候，也要以足够详细和容易理解的方式，把您的需求与上下文说清楚。就是用户输入的文本可能包含与你的预设 Prompt 相冲突的内容，如果不加分隔，这些输入就可能“注入”并操纵语言模型，导致模型产生毫无关联的乱七八糟的输出。例如，在以下的样例中，我们先给了一个祖孙对话样例，然后要求模型用同样的隐喻风格回答关于“韧性”的问题。在以下示例中，我们要求 GPT 生成三本书的标题、作者和类别，并要求 GPT 以 JSON 的格式返回给我们，为便于解析，我们指定了 Json 的键。
2024-09-04 16:24:35
699
原创 nlp实战--召回实战训练
该类方法的原理是对给定的文档全集S，降低排序中的逆序文档对的个数来降低排序错误，从而达到优化排序结果的目的。如果标注直接是相关度 𝑠𝑗(这里有sj的定义)，则 doc pair (𝑥𝑢,𝑥𝑣) 的真实标签定义为 𝑦𝑢,𝑣=2∗𝐼𝑠𝑢>𝑠𝑣−1 如果标注是 pairwise preference 𝑠𝑢,𝑣，则 doc pair (𝑥𝑢,𝑥𝑣) 的真实标签定义为 𝑦𝑢,𝑣=𝑠𝑢,𝑣 如果标注是整体排序 π，则 doc pair (𝑥𝑢,𝑥𝑣) 的真实标签定义为 𝑦𝑢,𝑣=2∗𝐼π𝑢,π𝑣−1。
2024-09-01 19:25:58
1982
原创 召回算法训练
DSSM 是由微软研究院于 CIKM 在 2013 年提出的一篇工作，该模型主要用来解决 NLP 领域语义相似度任务，利用深度神经网络将文本表示为低维度的向量，用来提升搜索场景下文档和 query 匹配的问题。因为模型分为 Query 和 Documents 两部分，在推荐场景中也可对应 user 和 item 部分，被人形象地成为 “双塔”。DSSM 是经典的双塔模型。其中，原始输入 x 是初始文本，使用词袋模型或 TF-IDF 模型来表示。毫无疑问，x 的维度会很大，因为要囊括所有可能的词汇。
2024-08-28 20:35:29
1976
原创 nlp实战--transformer--机器翻译
首先要导入必要的库。我们使用“zh-ja.bicleaner05.txt”文件作为我们中日翻译的训练数据，共83892条文本与英语或其他字母语言不同，日语句子中不包含用于分隔单词的空格。我们可以使用JParaCrawl提供的分词器，该分词器是使用SentencePiece为日语和英语创建的，可以通过访问JParaCrawl网站来下载它们我使用在JParaCrawl找的中日数据集，其中83892条文本，同时在网站寻找的中文和日本的分词器模型。##########文本编码和解码。
2024-08-28 10:33:07
1123
原创 nlp实战--t5微调--文本摘要
该函数的输出就是对dataloader进行遍历, 取出一个batch的数据(1)--lambda函数info = args.info # info是已经定义过的(2)--创建可被调用的类'''在这里重写collate_fn函数'''在这里通过collate-fn来传递。
2024-08-27 21:23:12
1252
原创 nlp实战--Transformer源码详解（Pytorch版本）
再比如一个三维矩阵，假设一开始的矩阵维度分别是x、y、z，transpose(1,0,2)后矩阵维度就变成了y、x、z。大家应该能理解了把。d-model一般为512（序列符号的embedding长度），h是头数一般为8，两者相除得到d_k的长度，即query、key矩阵中的列数。在该函数中，query是四维矩阵（后面会解释），所以返回query的列数，即输入序列的字符的embedding长度。该代码的意思是将传入的Q、K、V三维矩阵经过一层全连接层后，重塑为四维矩阵，并且四维矩阵的第二三维转置。
2024-08-22 21:13:23
2322
原创 ANN向量化召回
取决于不同的召回方式i2i召回：x,y都是item，我们认为同一个用户在同一个session交互过的两个item在向量空间是相近的，体现两个item之间的“相似性”。u2i召回：x是user，y是item。一个用户与其交互(e.g., 点击、观看、购买)过的item应该是相近的，体现user与item之间的“匹配性”。u2u召回：x,y都是user。比如使用孪生网络，则x是user一半的交互历史，y是同一用户另一半交互历史，二者在向量空间应该是相近的，体现“同一性”。
2024-08-21 15:36:44
1252
空空如也
为什么r语言下不了程序包了
2022-04-17
spss忽然就不能了，不知道为什么
2022-02-09
TA创建的收藏夹 TA关注的收藏夹
TA关注的人