- 博客(15)
- 收藏
- 关注
RSS订阅原创 pygcn源码学习
GCN论文地址： arxiv.org/pdf/1609.02907.pdf源码：mirrors / tkipf / pygcn · GitCode这里使用的数据集是cora，该数据集包含关于机器学习的论文，数据集由 以及 两个文件组成。其中文件中的数据格式为：<paper_id> +<word_attributes>+ <class_label>。第一列<paper_id>是论文的id，共有2708篇文章；中间的<word_attributes>的长度为1433，每个位置上的值为0/1，表示论文的特征；<
2023-06-19 16:57:26
325
1
原创 文本匹配之SimCSE学习（pytorch）
simcse模型一共包含两种训练方式，包括无监督部分和有监督部分。论文中模型的整体结构如下：论文首先使用了一种无监督的方法，仅仅使用dropout来对数据进行数据增广，即 将同一句子输入预训练的编码器两次，通过dropout可以得到两个不同的编码向量，这两条编码向量即作为“正对”。接着从小批量中其他的句子都作为负样本，模型预测否定句中的正句。
2023-06-17 16:15:33
1436
原创 使用LSTM进行诗歌创作（pytorch版本）
这种方式本质上是一种自回归模型，模型生成的每个事件都将依赖于之前生成的输出，这样的好处在于可以考虑到文本序列的上下文信息，每个事件不依赖于之前的内容，从而可以捕捉到文本序列中的上下文相关性，使生成的内容更加连贯。然而，由于每次生成的内容都依赖于之前的输出，随着生成内容的增长，误差也会累积，一旦前面生成的内容出现错误就会导致后面误差越来越大。并且自回归模型的生成过程是串行的，每个时间步只能依赖前一个时间步的输出，无法并行生成多个时间步的输出，因此生成速度较慢。
2023-06-15 20:45:46
716
1
原创 聚类算法（划分式聚类方法，基于密度的方法，层次化聚类算法等）
聚类(Clustering) 是按照某个特定标准(如距离)把一个数据集分割成不同的类或簇，使得。也即聚类后同一类的数据尽可能聚集到一起，不同类数据尽量分离。
2023-06-07 12:48:20
788
原创 从R-CNN到Faster-RCNN再到YOLOV5，目标检测网络发展概述
目标检测任务是找出图像或视频中人们感兴趣的物体，并同时检测出它们的位置和大小。不同于图像分类任务，目标检测不仅要解决分类问题，还要解决定位问题。这里对目标检测模型从R-CNN到YOLOV5进行了系统的总结。
2022-09-06 11:18:58
5758
转载 经典语义分割网络总结之FCN、U-Net、DeepLab系列、PSPNet、BiseNet系列和ESPNet系列
总结了部分经典的语义分割网络，以及不同的网络的组成结构，对比了不同的网络之间的特点。
2022-09-04 21:45:00
5208
转载 transformer学习笔记：Feed-Forward Network
transformer结构在Muli-Head Attention层之后还添加了一层Feed-Forward层。Feed-Forward层包括两层全连接层以及一个非线性激活函数ReLu。
2022-09-04 08:00:00
4953
3
原创 transformer学习笔记：Positional Encoding（位置编码）
对于任何一门语言，单词在句子中的位置以及排列顺序是非常重要的，它们不仅是一个句子的语法结构的组成部分，更是表达语义的重要概念。
2022-09-03 19:16:29
5313
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人