- 博客(1097)
- 资源 (4)
- 收藏
- 关注
RSS订阅
原创 【论文笔记】GraphSAGE：Inductive Representation Learning on Large Graphs（NIPS）
- GCN不能泛化到训练过程中没有出现的节点（即属于 $transductive$ 直推式学习，若加入新节点则需要重新训练模型），既然有新增的结点（一定会改变原有节点），那就没必要一定得到每个节点的固定表示。而GraphSAGE就是为了解决这种问题，利用Sample（采样）和Aggregate（聚合）两大核心步骤，通过利用学习到的聚合函数，得到一个新节点的表示。- 本文先介绍GraphSAGE向前传播过程（生成节点embedding），不同的聚合函数设定，然后介绍无监督学习和有监督学习的损失函数和参数学习
2021-10-06 21:11:58
1339
12
原创 【LLM】大模型值得探索的十个研究方向
基础理论：大模型的基础理论是什么？网络架构：Transformer是终极框架吗？高效计算：如何使大模型更加高效？高效适配：大模型如何适配到下游任务？可控生成：如何实现大模型的可控生成？安全可信：如何改善大模型中的安全伦理问题？认知学习：如何使大模型获得高级认知能力？创新应用：大模型有哪些创新应用？数据评价：如何评估大模型的性能？易用性：如何降低大模型的使用门槛？
2023-06-03 20:44:22
227
原创 【Pytorch基础教程40】DLRM推荐算法模型部署
一、DLRM模型 DLRM是2020年meta提出的工业界推荐算法模型，模型结构非常简单，也没用到什么attention机制等的东西，更多是注重在推荐系统稀疏特征场景下的落地：sparse feature：离散的类别特征，通过embedding层转为稠密embedding；通过Embedding将其映射成一个稠密的连续值。假设one-hot编码后的向量是 ��e i , 向量中除了第 ii 个位 置为1外, 通过Embedding后得到的embedding向量为��w i
2023-06-01 00:01:21
215
原创 【解决】sklearn-LabelEncoder遇到没在编码规则里的新值
一、问题描述问题：sklearn-LabelEncoder 遇到没在编码规则里的新值。打通线上线下配置：线下生成训练样本时，用户先定义特征MFDL配置文件，在模型训练后，通过平台一键打包功能，将MFDL配置文件以及训练输出的模型文件，打包、上传到模型管理平台，通过一定的版本管理及加载策略，将模型动态加载到线上服务，从而实现线上、线下配置一体化。提供一致性特征样本：通过实时收集在线Serving输出的特征快照，经过一定的规则处理，将结果数据输出到Hive表，作为离线训练样本的基础数据源，提供一致性特征样本
2023-05-28 18:50:27
600
原创 【LeetCode199】二叉树的右视图（层次遍历或DFS）
二、思路最直观的是层次遍历，然后存入每层第一个元素到结果列表中如果用dfs，（根节点，右子树，左子树）的顺序进行访问节点；按照题目规则只会在每层中抽取最右侧的一个节点，如果当前的深度等于结果数组的size，则这是第一次访问该层，且当前节点满足条件。三、代码
2023-05-28 15:18:00
29
原创 使用curl命令传输数据
curl是传输数据的命令行工具，可以通过命令行发送HTTP请求和接收HTTP响应。它的名字是“client for URLs”，意为URL的客户端，表示该工具主要用于处理URL相关的任务。curl可以用于下载文件、上传文件、测试Web服务API等任务。基本语法为curl [options] [URL]，其中option是可选项：-X：指定HTTP请求方法，如-X GET表示使用GET方法发起请求。-H：指定HTTP请求头，如-H "Content-Type: application/json"表示指定
2023-05-28 12:35:01
874
转载 【推荐系统】特征拼接和工程实践
特征在线/离线一致性另一个难点是特征处理一致性问题，也称为 Training-Serving skew。 一般情况下，算法工程师都是离线整理数据，处理特征，训练模型，离线指标ready后再上线小流量实验。在基建不完善的情况下，有可能会出现:同一条数据，离线训练和在线推理的特征处理结果不一致。 举个例子极端的例子: city=shenzhen这个字符串，离线数据样本处理时可能使用spark计算，计算hash值假设为1001，在线rank计算shenzhen哈希值可能使用语言不一样，hash算法也不一样，导致
2023-05-25 01:05:12
60
原创 【CV】Yolov8：ultralytics目标检测、关键点检测、语义分割
Yolov8提供了一个全新的 SOTA 模型，包括 P5 640 和 P6 1280 分辨率的目标检测网络和基于 YOLACT 的实例分割模型。和 YOLOv5 一样，基于缩放系数也提供了 N/S/M/L/X 尺度的不同大小模型，用于满足不同场景需求骨干网络和 Neck 部分可能参考了 YOLOv7 ELAN 设计思想，将 YOLOv5 的 C3 结构换成了梯度流更丰富的 C2f 结构，并对不同尺度模型调整了不同的通道数，属于对模型结构精心微调Head 部分相比 YOLOv5 改动较大，换成了目前主流的
2023-05-21 16:05:15
1601
2
原创 解决‘NoneType‘ object has no attribute ‘message_types_by_name‘
AttributeError: 'NoneType' object has no attribute 'message_types_by_name'与protobuf库版本不匹配有关。在较旧的protobuf版本中，没有message_types_by_name属性，而在较新的版本中有。可以更新protobuf库，或者降低代码中所使用的protobuf库的版本。pip install --upgrade protobuf跑torchserve或tf serving时也容易出现这个问题，可以更新对应库
2023-05-21 15:34:52
122
原创 Causal decoder、Prefix decoder和encoder-decoder
码器-解码器（encoder-decoder）：传统 Transformer 模型是建立在编码器-解码器架构上的 ，由两个 Transformer 块分别作为编码器和解码器。编码器采用堆叠的多头自注意层对输入序列进行编码以生成其潜在表示，而解码器对这些表示进行交叉注意并自回归地生成目标序列。目前，只有少数大语言模型是基于编码器-解码器架构构建的例如 Flan-T5。因果解码器（causal decoder）：因果解码器架构采用单向注意力掩码，以确保每个输入标记只能关注过去的标记和它本身。输入和输出标记通过
2023-05-17 20:20:39
98
原创 【LLM】LangChain基础使用（构建LLM应用）
noteLangChain应用开发框架，支持python和typescript语言；可以帮助生成prompt模板，并通过代理充当其他组件（如提示模板、其他大语言模型、外部数据和其他工具）的中央接口。LangChain可以直接与 OpenAI 的 text-davinci-003、gpt-3.5-turbo 模型以及 Hugging Face 的各种开源语言模如 Google 的 flan-t5等模型集成。文章目录note一、LangChain介绍二、LangChain的应用1. 集成LLM
2023-05-11 21:45:16
450
原创 【LLM大模型】模型和指令微调方法
LLaMA 是 Meta AI 发布的包含 7B、13B、33B 和 65B 四种参数规模的基础语言模型集合，LLaMA-13B 仅以 1/10 规模的参数在多数的 benchmarks 上性能优于 GPT-3(175B)，LLaMA-65B 与业内最好的模型 Chinchilla-70B 和 PaLM-540B 比较也具有竞争力。通过使用与 ChatGLM（chatglm.cn）相同的技术，ChatGLM-6B 初具中文问答和对话功能，并支持在单张 2080Ti 上进行推理使用。
2023-05-07 17:28:27
2713
2
原创 【GPT】根据embedding进行相似匹配（QA问答、redis使用、文本推荐）
QA使用的是用户的Question去匹配已有知识库，而推荐是使用用户的浏览记录去匹配。但是很明显，推荐相比QA要更复杂一些，主要包括以下几个方面：刚开始用户没有记录时的推荐（一般行业称为冷启动问题）。除了相似还有其他要考虑的因素：比如热门内容、新内容、内容多样性、随时间变化的兴趣变化等等。编码（Embedding输入）问题：我们应该取标题呢，还是文章，还是简要描述或者摘要，还是都要计算。规模问题：推荐面临的量级一般会远超QA，除了横向扩展机器，是否能从流程和算法设计上提升效率。用户反馈对推荐系统
2023-04-30 21:51:42
913
3
原创 【Leetcode207】课程表（拓扑排序）
一道使用拓扑排序的LeetCode经典题。题目：每个课程看作一个节点，先修关系为节点的有向边，目标是判断能否根据课程安排关系，成功学完所有课程。- 拓扑排序算法： - 统计每个节点入度 - 将所有入度为0的节点（注意是可以有多个入度节点，如下图）加入队列`que` - 对第二点中的队列`que`，遍历每个入度为0的节点，将其相邻节点的入度减1，如果相邻节点相邻节点 - 重复第三点直到最后`que`队列为空：如果所有节点此时入度为0，则说明课程的学习顺序合理，能够完整学完课程；如果还有节点
2023-04-30 11:33:09
59
原创 【Pytorch基础教程39】torch常用tensor处理函数
一、tensor的创建二、tensor的加减乘除三、torch.argmax()函数四、gathter函数小栗子1小栗子2：如果每行需要索引多个元素：四、改变维度、拼接、堆叠等操作# 一、tensor的创建- `torch.tensor`会复制data，不想复制可以使用`torch.Tensor.detach()`。- 如果是获得numpy数组数据，可以使用`torch.from_numpy()`，共享内存```python# 1. tensortorch.tensor(data, d
2023-04-29 22:26:57
604
3
原创 【Pytorch基础教程38】torchserve模型部署和推理
notetorch-model-archiver打包模型；利用torchserve加载前面打包的模型，并以grpc和http等接口往外提供推理服务启动模型的api服务、curl命令发送http post请求，请求模型服务API；流程和TensorFlow serving流程大同小异Wav2Vec2语音转文本的模型。这里我们为了简化流程从huggingface下载对应的模型，进行本地化利用torchserve部署hander将原始data进行转为模型输入所需的格式；nlp中很多任务可以直接用torcht
2023-04-27 20:29:59
615
2
原创 【GPT】文本生成任务（生成摘要、文本纠错、机器翻译等的模型微调）
note文章目录note一、NLG任务二、NLG之文本摘要2.1 基于mT5的文本摘要2.2 基于openai接口测试2.3 基于chatGPT接口三、根据自己的数据集进行模型微调四、文本纠错任务五、机器翻译任务Reference一、NLG任务NLG：自然语言生成任务，很多NLP任务可以被描述为NLG任务，如经典的T5模型（text to text transfer transformer模型）就是NLG模型，如文本纠错任务，输出正确的文本描述、智能问答根据一定背景进行推理，然后回答。# 安装一些必
2023-04-25 21:20:35
1300
原创 ssh免密登陆远程服务器
场景：有时需要使用`rsync`等命令上传本地文件到远程服务器，每次都要输入远程服务器的密码很麻烦，可以使用以下方法。方法：（1）在本地环境生成ssh秘钥对，`ssh-keygen -t rsa`生成公钥（默认保存在`~/.ssh/id_rsa.pub`）（2）将公钥上传到远程服务器的`~/.ssh/authorized_keys`文件中，注意是加在该文件内的结尾，可以直接使用命令`ssh-copy-id user@remote-server`（3）测试免密登陆服务器：`ssh user@rem
2023-04-17 19:31:01
84
原创 【ChatGPT】预训练模型微调及其应用（ChatGLM-6B、duckduckgo_search、GPT在科研的应用等）
instructGPT（基于提示学习的系列模型）——>GPT3.5（大规模预训练语言模型）——>ChatGPT模型（高质量数据标注+反馈学习）。chatGPT三大技术：情景学习、思维链、自然指令学习。GPT4飞跃式提升：多模态、输入字符数量、推理能力、文本创造，如poem、解释图片含义、图表计算等，2022年8月完成训练。论文：https://cdn.openai.com/papers/gpt-4.pdfChatGPT Plus：集成GPT-4的ChatGPT升级版，https://chat.open
2023-04-15 18:51:45
10458
6
原创 解决TypeError: ‘tuple’ object does not support item assignment
文章目录一、问题描述二、解决方案一、问题描述也是一个非常基础的问题，python中对tuple元组进行操作时会如题报错TypeError: ‘tuple’ object does not support item assignment。二、解决方案因为python中不可变对象有：数字 、字符串、元组 ；可变对象有：字典、列表（元组效率比列表高一丢丢，并且可以存放不同类型的元素，列表一般放相同类型元素，但是一起放列表、元素、字典等啥的也是可以的），不能直接对元组进行修改元素。可以先将元组转为列
2023-04-15 15:36:16
282
转载 微信基于Torchrec的大规模推荐系统训练
推荐系统往往和公司的现金流直接挂钩，试错成本非常高，大家需要的是一个经过了业务测试的框架。这也是为什么之前的一些基于 PyTorch 的推荐框架都未曾被广泛应用过。而 TorchRec 作为一个官方的推荐框架，在 2022 年 1 月份推出之时，Meta就已经利用它在 Instagram Reels 业务上顺利训练并上线了一个 1250 亿参数的模型，成为了一个经过业务测试的 PyTorch 框架。有了 Instagram 这样一个大业务的支撑，wechat终于可以去理性地考量一个基于 PyTorch 的推
2023-04-08 17:23:03
160
原创 【Pytorch基础教程37】Glove词向量训练及TSNE可视化
noteGlove模型目标：词的向量化表示，使得向量之间尽可能多蕴含语义和语法信息。首先基于语料库构建词的共现矩阵，然后基于共现矩阵和GloVe模型学习词向量。对词向量计算相似度可以用cos相似度、spearman相关系数、pearson相关系数；预训练词向量可以直接用于下游任务，也可作为模型参数在下游任务的训练过程中进行精调（fine-tuning）；很多使用如情感分析、词性标注任务中，我们的NLP模型使用了随机初始化的词向量层（将离散词embedding化）
2023-04-08 17:07:15
501
原创 【基础题】找到所有右上方无点的所有坐标（不用两层for）
定义：二维平面中，如果某个点的右上方没有其他点，则定义该点为[完美点]，找出所有的完美点。（2）不用两层for，可以先对x横坐标进行节点排序，然后从右到左遍历所有节点，用。从n方的时间复杂度降低为nlogn（因为一开始。记录当前的最大y坐标，只要遍历到的节点y坐标比这个。（1）最简单显然是暴力枚举，两层for循环，
2023-04-01 17:16:32
95
原创 【推荐】Twitter推荐算法架构
# 一、推特开源推荐算法项目地址：https://github.com/twitter/the-algorithm内容：从数据获取，到特征加工、召回再到粗排、精排，到最后的混合出结果整个链路。推特更关注用户以及推特之间组成的数据网络图。会涉及一些图特征和图算法。项目中包括的组件模块（含有大部分的Bazel BUILD files）：| Type | Component | Description ||------------|------------|------------|| Feature
2023-04-01 14:17:56
724
原创 【CV】Latent diffusion model 扩散模型体验
稳定扩散模型则基于传统的数学模型，具有较好的稳定性和可解释性。不需要大量的训练数据和计算资源，可以从少量的数据中学习并进行预测。稳定扩散模型还可以通过调整模型参数来控制模型的灵敏度和鲁棒性，以适应不同的数据分布和噪声情况。稳定扩散模型在计算机视觉领域具有一定的优势，可以用于物体和目标识别、跟踪和预测等任务。但它也存在一些局限性，例如难以处理复杂的图像场景、对噪声和异常值较为敏感等问题。二、Latent diffusion model原理Latent Diffusion模型不直接在操作图像，而是在潜
2023-03-26 17:29:29
1620
原创 【推荐算法】CTR中embedding层的学习和训练
note连续特征处理：facebook DLRM模型，对连续值的处理方式是把所有的连续值输入到一个神经网络，然后通过神经网络把它压缩到一个embedding维度大小的一个向量上，然后将Embedding和其他离散特征Embedding Concat起来，再做后面根据它的模型去做不同的计算；同时离散化（转为类别变量）然后送入embedding是常见操作。分布式并行训练：数据并行；多卡切分；CPU的内存来存embedding，然后用GPU来存MLP等。本文概况：怎样去结合数据设计更好的模型，让模型更有针
2023-03-26 15:08:37
805
1
原创 解决TypeError: in method ‘IndexFlat_add‘, argument 3 of type ‘float const *‘
在使用faiss时报错如题`TypeError: in method ‘IndexFlat_add’, argument 3 of type ‘float const*’`。```pythonbeat_emb = normalize(beat_emb, norm = "l2")hidden_size = 128gpu_index = faiss.IndexFlatIP(hidden_size)gpu_index.add(beat_emb)top_N = 50predicts = dict()
2023-03-26 01:13:02
92
原创 【大数据】Pyarrow简单使用
- Arrow是一个Python库，为创建，操作，格式化和转换日期，时间和时间戳提供了一种明智的，人性化的方法。 它实现和更新日期时间类型，填补功能上的空白，并提供支持许多常见创建场景的智能模块API。# 二、使用小栗子- 离线测试时，有时为了更快使用dataloader对测试集预测，而且df较大，可以使用上面介绍的`PyArrow`进行对df分块读入然后使用dataloader- `pa.Table.from_pandas(all_predcit)`可以将pd.df格式的`all_predict`转
2023-03-26 00:49:27
534
原创 解决Type mismatch of columns to JOIN by: user_id: Int64 at left, b.user_id: UInt64 at right.
# 一、问题描述其实是极其简单的一个问题，还是记录下，就是join时`on`的字段类型不一致而导致join不成功，然后就报错`Type mismatch of columns to JOIN by: user_id: Int64 at left, b.user_id: UInt64 at right. Can't get supertype: There is no supertype for types Int64, UInt64 because some of them are signed inte
2023-03-23 20:09:08
117
原创 【动手学深度学习】(task1&2&3)注意力机制剖析
自注意力和位置编码- 在自注意力中，查询、键和值都来自同一组输入。- 卷积神经网络和自注意力都拥有并行计算的优势，而且自注意力的最大路径长度最短。但是因为其计算复杂度是关于序列长度的二次方，所以在很长的序列中计算会非常慢。- 为了使用序列的顺序信息，可以通过在输入表示中添加位置编码，来注入绝对的或相对的位置信息。## 6.1 比较卷积神经网络、循环神经网络和自注意力给定一个由词元组成的输入序列$\mathbf{x}_1, \ldots, \mathbf{x}_n$，其中任意$\mathbf{x}_
2023-03-20 00:13:08
1346
2
原创 【Leetcode剑指 Offer II 091】粉刷房子（动态规划 | 滚动数组）
加上这种只需要求出【最值】的题目经常使用dp；因为每个房子能刷成三种颜色，即三种状态，加上不同的房子位置这个维度，可以令。有关，所以可以使用【滚动数组】优化计算复杂度，这个滚动数组即大小为颜色种类数。数组的三个数的最小值为按规矩粉刷房子的最小总成本。第0个房子左边木有房子，直接赋值当前房子的三种初值，已知不同房子刷成不同颜色的价格矩阵。个房子的粉刷情况都是符合题意时，这。个房子所需要的最少话费成本。（3）初始状态 + 边界情况。取值为0,1,2）表示：第。计算到最后一个房子时，即。
2023-03-19 15:51:49
113
转载 CV之目标检测22年发展历程
目标检测领域发展至今已有二十余载，从早期的传统方法到如今的深度学习方法，精度越来越高的同时速度也越来越快，这得益于深度学习等相关技术的不断发展。本文将对目标检测领域的发展做一个系统性的介绍，旨在为读者构建一个完整的知识体系架构，同时了解目标检测相关的技术栈及其未来的发展趋势。本文将从以下九大方面进行展开：背景目标检测算法发展脉络目标检测常用数据集及评价指标目标检测任务普遍存在的六大难点与挑战目标检测的五大技术及其演变目标检测模型的加速技术提高目标检测模型精度的五大技术目标检测的五大应用场景
2023-03-13 21:40:42
285
原创 解决libstdc++.so.6: version `GLIBCXX_3.4.29‘ not found
# 一、问题描述对某个包进行版本升级后突然报错如题`libstdc++.so.6: version GLIBCXX_3.4.29‘ not found`。# 二、解决方法原因：文件动态指向的文件有问题（1）快速查找`libstdc++.so.6`：```pythonlocate libstdc++.so.6```查看当前ubuntu系统中现存的GLIBCXX版本：```pythonstrings /usr/lib/x86_64-linux-gnu/libstdc++.so.6 | gre
2023-03-13 19:43:43
1675
原创 【CS224W】(task12)GAT & GNN training tips
像图片和文本分类的样本，每个数据样本之间满足独立同分布但GNN数据中不同节点可能会互相影响（消息传递）transductive 直推式学习：划分数据集时，让图结构还是能看到，可以只根据节点label进行划分。在训练和验证阶段，都是使用全图信息，如下图，利用一二节点及其label进行训练，在验证阶段也是利用整图信息，利用三四节点及其label进行验证。只适合于节点or边分类任务inductive 归纳式学习：拆分边，得到多重图适合于节点or边or图分类
2023-03-06 20:55:02
693
1
原创 解决OSError: libcudart.so.9.0: cannot open shared object file: No such file or directory
# 一、问题描述在使用图神经网络库`dgl`时报错：`OSError: libcudart.so.9.0: cannot open shared object file: No such file or directory`。# 二、解决方法cuda版本和dgl版本不一致，卸载重下即可，如cuda是11.0+版本的，可以如下：```pythonpip uninstall dglpip install dgl-cu110
2023-03-06 00:24:10
381
原创 【CS224W】(task9)图神经网络的表示能力(GIN图同构模型)
GIN图同构网络模型的构建- 能实现判断图同构性的图神经网络需要满足，只在两个节点自身标签一样且它们的邻接节点一样时，图神经网络将这两个节点映射到相同的表征，即映射是单射性的。- **可重复集合/多重集（Multisets）：元素可重复的集合，元素在集合中没有顺序关系** 。一个节点的所有邻接节点是一个可重复集合，一个节点可以有重复的邻接节点，邻接节点没有顺序关系。因此GIN模型中生成节点表征的方法遵循WL Test算法更新节点标签的过程。**在生成节点的表征后仍需要执行图池化（或称为图读出）操作得
2023-03-04 02:54:36
848
1
原创 【CS224W】(task8)图神经网络基础
GNN Layer = Message +AggregationGNN层数过多会过平滑图增强：图特征增强、图结构增强（如添加虚拟节点等）文章目录note一、GNN基础1.1 回顾图深度学习基础1.2 Graph Convolutional Networks1.3 GNNs subsume CNNs1.4 Summary二、A General Perspective on GNNs2.1 recap部分2.2 A Single layer of a GNN
2023-03-02 03:08:12
247
原创 解决‘_AxesStack‘ object is not callable while using networkx to plot
# 一、问题描述在使用`networkx`进行图数据可视化时报错如题`'_AxesStack' object is not callable while using networkx to plot`。其中matplotlib为3.6.2版本，networkx版本为2.7。```pythonplt.figure(figsize=(15,14))pos = nx.spring_layout(G, iterations=3, seed=5)nx.draw(G, pos, with_labels=Tru
2023-02-25 23:55:28
1003
原创 【CS224W】(task7)标签传播与节点分类（semi-supervised）
本task内容：当且仅当矩阵谱半径严格小于1，矩阵乘幂收敛。人工特征工程：节点重要度、集群系数、Graphlet等。基于随机游走的方法，构造自监督表示学习任务实现图嵌入。无法泛化到新节点。例如：DeepWalk、Node2Vec、LINE、SDNE等。标签传播：假设“物以类聚，人以群分”，利用邻域节点类别猜测当前节点类别。无法泛化到新节点。例如：Label Propagation、Iterative Classification、Belief Propagation、Correct & Smooth等。图神
2023-02-25 23:03:18
222
原创 【CS224W】(task6)Google的PageRank算法
Eigenvector Formulation特征向量形式。在之前的task中提到的无向图，直接使用邻接矩阵��=��λc=Ac，求出该矩阵的特征向量eigenvector，即节点特征，如上个task我们对地铁路线求解每个节点的nx.degree_centrality(G)然后可视化。PageRank的随机邻接矩阵stochastic adjacency matrix M，flow equation也有类似的特征向量等式（如下），此时r即M的图的平稳分布的一个随机游走：
2023-02-25 17:08:19
591
Python思维导图.rar
2020-05-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人