- 博客(28)
- 收藏
- 关注
RSS订阅原创 functional.normalize()和softmax（input）
input_ = torch.randn((3, 4))a = torch.nn.Softmax()(input_) b = torch.nn.functional.normalize(a) # a是[[11 12 13],[21 22 23],[31 32 33]]a的结果为：tensor([[0.2074, 0.2850, 0.1973, 0.3103], [0.2773, 0.1442, 0.3652, 0.2132], [0.3244,.
2020-09-19 16:34:33
550
原创 针对不同场景常用的一些损失函数
TransX系列 ，一般使用 Max-Margin Loss(pairwise loss) 图神经网络推荐 BPR Loss
2020-09-18 11:14:05
394
原创 Xavier等初始化函数的使用
pytorchpytorch的初始化方法均匀分布 正太分布 初始化为常数 Xavier初始化(uniform和normal)
2020-09-18 11:10:27
241
原创 查看embedding内容的方法
pytorch需要学习权重: embeddings = nn.embedding(词个数,embedding_size)预先知道权重/使用预训练权重 : embeddings = nn.embedding.from_pretrained(pre_weight)nn.embedding(num_embeddings,embedding_dim) 可以自动学习每个词对应的权重num_embeddings : 词嵌入字典大小，即我们的数据里有多少个词embedding_dim : 每个词嵌..
2020-09-12 14:12:04
1300
原创 多维矩阵的乘法的计算原理
tensorflowhttps://blog.csdn.net/zongza/article/details/89682862?utm_medium=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromBaidu-1.edu_weight&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromBaidu-1.edu_weightimpo
2020-09-11 17:18:00
1213
原创 pytorch的nn.Linear()的用法
讲的不错nn.Linear(输入数据的形状,输出数据的形状,bias默认是True)torch.randn(*sizes, out=None) → Tensor 是从标准正态分布中随机选取的size大小的噪声, 噪声的形状=size. 例如: torch.randn(2, 3) 0.5419 0.1594 -0.0413 -2.7937 0.9534 0.4561 [torch...
2020-09-11 17:17:39
3107
原创 soft和hard的理解
soft attention/hard attentionsoft attention输出注意力分布的概率值，hard attention 输出onehot向量， soft的优势> hard知识蒸馏（knowledge distill）和迁移学习
2020-09-11 09:32:20
2633
原创 代码逻辑归结起来分为几个部分
网络结构 前向数据流（forward）有了网络结构，我们还需要将网络数据流串联起来，这个过程普遍成为forward,LOSS 优化 optim 训练和梯度下降
2020-09-10 15:05:17
202
原创 scipy创建的矩阵类型及其原理
scipy矩阵操作矩阵都是按 列 存储的from scipy import sparse最常用的矩阵有:csc_matrix:压缩的稀疏列格式csr_matrix:压缩的稀疏行格式coo_matrix: 坐标形式(行,列,值)的一种稀疏矩阵,允许有重复的,但是不能直接运算,只能转换为上面两种才能运算.这个矩阵有三种转换函数:tocsc():toscr()todense:转换成一个密集矩阵详细理解请看scipy矩阵...
2020-09-08 14:28:29
486
1原创 pytorch中设置随机种子的代码段
# fix seed seed = 123 # seed貌似可以随意设定 random.seed(seed) os.environ['PYTHONHASHSEED'] = str(seed) # # pycharm设置随机种子 np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed(seed) torch.cuda.manual_seed_all(s...
2020-09-07 21:45:18
329
原创 深度学习代码中的seed的作用和如何设置?原理?
seed的作用 , 用法和原理是通过算法模拟得到的,只有设置成一样的种子数得到的结果才能一模一样.
2020-09-07 21:34:37
5601
原创 代码效率快捷键
容易忘记的快捷键pycharmF8: 不进入到被调用函数的内部容易理解F7: 进入到被调用函数的内部代码展开和折叠:所有代码折叠：ctrl+alt±所有代码展开：ctrl+alt++折叠某一点：ctrl±展开某一层：ctrl++查找在当前代码页面里查找: Ctrl+f在全局范围内查找: Ctrl+Shift+f...
2020-09-07 21:10:58
67
原创 刷算法题
查找字符串数组中的最长公共前缀字符串中的最长公共前缀将数组中的第一个元素赋值给“最长公共前缀”，之后遍历数组中的剩余元素与公共前缀比较—调用自定义的函数来比较C++：strs.size() ;声明变量要定义变量名；C: 没有继承；\0代表字符串的结束...
2020-07-20 16:53:57
99
原创 sigir20-How to Retrain Recommender System A Sequential Meta-Learning Approach
sigir20-How to Retrain Recommender System A Sequential Meta-Learning Approach 论文解读IntroductionRecommender systems play an increasingly important role inthe current Web 2.0 era which faces with serious informationoverload issues. The key technique in a
2020-07-18 21:57:56
719
原创 推荐模型汇总
NGCFLightGCNKGATUnifying Knowledge Graph Learning and Recommendation:Towards a Better Understanding of User PreferencesDeep Neural Network for YouTube Recommendation
2020-07-18 21:57:15
644
原创 epoch跑到一半,出现loss is nan ,如何解决
跑推荐系统tensorflow代码时,跑到110多epoch时,报错 eeror: loss is nan 之后停止.原因: 一般做法是减小学习速率(设为0.001或0.0001)或者增大batch_size(1024) 。尝试了一下减小学习速率，可以解决问题如果一开始跑代码就报错: loss is nan输入可能有问题梯度爆炸了学习率\参数等大小不合适损失函数不对BN不合适...
2020-07-10 14:47:14
2263
原创 tensorflow-gpu 1.8 跑lightgcn代码,用服务器跑代码跑到100多或300多与服务器连接中断,想从断点处接着训练,但是却报错
采用这篇博客里的断点训练https://blog.csdn.net/txpp520/article/details/104406880?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.edu_weight&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2
2020-07-10 14:26:00
423
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人