PyTorch中使用LSTM处理变长序列 使用LSTM算法处理的序列经常是变长的，这里介绍一下PyTorch框架下使用LSTM模型处理变长序列的方法。需要使用到PyTorch中torch.nn.utils包中的pack_padd
BiLSTM+ Attention Pytorch实现 最近写算法的时候发现网上关于BiLSTM加Attention的实现方式五花八门，其中很多是错的，自己基于PyTorch框架实现了一版，主要用到了LSTM处理变长序列和masked softmax两个技巧。代码如下：1、attention_utils.pyfrom typing import Dict, Optionalimport numpy as npimport torchimport torch.nn.functional as Ffrom torch import Tensor
Co Attention注意力机制实现 “Hierarchical Question-Image Co-Attention for Visual Question Answering”中的图像和文本间的Co Attention协同注意力实现参考：https://github.com/SkyOL5/VQA-CoAttention/blob/master/coatt/coattention_net.pyhttps://github.com/Zhangtd/Models-reproducing/blob/master/NIPS2016/se
MLP Attention实现 MLP Attention注意力机制的实现公式为：参考https://github.com/pytorch/translate/blob/master/pytorch_translate/attention/mlp_attention.pyhttps://www.aclweb.org/anthology/N16-1174.pdf基于PyTorch框架实现加性注意力机制from typing import Dict, Optionalimport numpy as npimpo
使用Google Scholar在指定出版物中检索 在使用Google Scholar进行查找文献时，我们有时候需要在指定期刊或会议下检索某个主题的相关文献，虽然在Google Scholar的首页提供了高级检索选项：但实际使用时发现按照实例语法无法使用：在“显示以下刊物上的文章”搜索框中输入“IEEE Transactions on Knowledge and Data Engineering OR ACM Transactions on Information Systems”，发现报错正确的使用方法是在Google Scholar搜索框
MathType注册表位置 MathType完整版试用满30天后，如果不能及时激活，会退化到精简版。相比于完整版，精简版有很多功能不能使用，卸载后重装也还是精简版，原因在于注册表。MathType精简版不可用功能介绍注册表是什么东西？以win10系统为例，演示如何找到MathType的注册表。1、找到注册表编辑器，单击打开；2、找到HKEY_CURRENT_USER>Software>Install Options，单击即可看到MathType的注册表信息。...
特征选择方法体系 特征选择（Feature Selection）的机器学习中的一项基本任务，其被定义为从可用的特征集合中选择出有意义的特征子集，从而简化机器学习问题。特征选择方法一般分为以下三类：基于封装的方法（Wrapper Methods） 基于过滤的方法（Filter Methods） 基于嵌入的方法（Embedded Methods）1、基于封装的方法（Wrapper Methods）Wrapper methods evaluate subsets of features by training a m
文献分析工具Connected Papers Connected Papers是一款知名的文献分析工具，使用它，可以 Get a visual overview of a new academic field Make sure you haven't missed an important paper Create the bibliography to your thesis Discover the most relevant prior and derivative works 其使用非常简单，界面如下：
PyTorch检查模型梯度是否可导 当我们构建复杂网络模型或在模型中加入复杂操作时，可能会需要验证该模型或操作是否可导，即模型是否能够优化，在PyTorch框架下，我们可以使用torch.autograd.gradcheck函数来实现这一功能。首先看一下官方文档中关于该函数的介绍：可以看到官方文档中介绍了该函数基于何种方法，以及其参数列表，下面给出几个例子介绍其使用方法，注意：Tensor需要是双精度浮点型且设置requires_grad = True第一个例子：检查某一操作是否可导from torch.autog
Ray Tune模型调参：以一个简单的二分类模型为例 以Titanic乘客生存预测任务为例，进一步熟悉Ray Tune调参工具。titanic数据集的目标是根据乘客信息预测他们在Titanic号撞击冰山沉没后能否生存。本示例的基础代码参考了下面两篇文章： 1-1,结构化数据建模流程范例（一个不错的PyTorch教程） How to use Tune with PyTorch 也可以看一下上一篇文章：PyTorch + Ray Tune 调参教程中的原始代码如下：import numpy as npimport panda
PyTorch + Ray Tune 调参 参考了PyTorch官方文档和Ray Tune官方文档1、HYPERPARAMETER TUNING WITH RAY TUNE2、How to use Tune with PyTorch以PyTorch中的CIFAR 10图片分类为例，示范如何将Ray Tune融入PyTorch模型训练过程中。其中，要求我们对原PyTorch程序做一些小的修改，包括：将数据加载和训练过程封装到函数中； 使一些网络参数可配置； 增加检查点（可选）； 定义用于模型调参的搜索空间。下面以示例代码解析
深度学习模型需要调哪些参数 深度学习模型训练时需要调哪些参数？1、参数初始化策略 代码示例：# Common practise for initialization.for layer in model.modules(): if isinstance(layer, torch.nn.Conv2d): torch.nn.init.kaiming_normal_(layer.weight, mode='fan_out', ..
PyTorch可视化模型结构 1、torchviz代码：import torchimport numpy as npimport torch.nn as nnimport torch.nn.functional as Fimport torchvizclass Net(nn.Module): def __init__(self): super(Net, self).__init__() self.conv1 = nn.Conv2d(in_channels=3, out_c
python读取某目录下word文档中内容并存入txt文件 将某个目录下所有word文档中内容提取出来并存入txt文件中。文档中内容如下：直接上代码：#!/usr/bin/env python# encoding: utf-8'''@file: 1_word.py@time: 2020/11/27 21:15'''import docximport osfile_dir = './doc'for root, dirs, files in os.walk(file_dir, topdown=True): pa..
博文翻译：Tackling the Cold Start Problem in Recommender Systems 博文地址：Tackling the Cold Start Problem in Recommender Systems题目：Tackling the Cold Start Problem in Recommender Systems / 解决推荐系统中的冷启动问题作者：Kojin Oshiba当我在Wish进行机器学习实习时，我要解决推荐系统中的一个常见问题“冷启动推荐”。冷启动通常发生在新用户或新产品出现在电子商务平台时。传统的推荐方法如CF假定每个用户或产品有一些评分，因此我们可以推断.
常用的Top-N产品推荐评估指标 Top-N产品推荐与传统的评分预测相比，更符合实际的业务需求，在对推荐算法产生的Top-K推荐列表进行评估时，有一些常用的指标，如Hit_Rate@k、Precision@k、Recall@k、Map@k、NDCG@k和MRR@k，下面基于Python实现这6种评估指标。主要参考了https://github.com/wubinzzu/NeuRec/blob/master/evaluator/backend/python/metric.py代码和示例如下：import numpy as np.
论文阅读笔记：Low-rank Linear Cold-Start Recommendation from Social Data 论文：Low-rank Linear Cold-Start Recommendation from Social Data / 利用社交数据进行低秩线性冷启动推荐作者：Suvash Sedhain, Aditya Krishna Menon, Scott Sanner, Lexing Xie,Darius Braziunas发表刊物：AAAI发表年度：2017下载地址：http://cm.cecs.anu.edu.au/documents/loco-aaai17-final.pdf1、背景.
论文阅读笔记：Social Collaborative Filtering for Cold-start Recommendations 论文：Social Collaborative Filtering for Cold-start Recommendations / 用户冷启动推荐的社会化协同过滤作者：Suvash Sedhain,Scott Sanner,Darius Braziunas,Lexing Xie,Jordan Christensen发表刊物：RecSys发表年度：2014下载地址：http://users.cecs.anu.edu.au/~ssanner/Papers/recsys14.pdf这篇文章研...
论文阅读笔记：Learning Attribute-to-Feature Mappings for Cold-Start Recommendations 论文：Learning Attribute-to-Feature Mappings for Cold-Start Recommendations / 通过学习属性到特征的映射进行冷启动推荐作者：Zeno Gantner, Lucas Drumond, Christoph Freudenthaler, Steffen Rendle and Lars Schmidt-Thieme发表刊物：ICDM发表年度：2010下载地址：https://citeseerx.ist.psu.edu/viewdoc/do
论文阅读笔记：Relational Learning via Collective Matrix Factorization 论文：Relational Learning via Collective Matrix Factorization / 通过协同矩阵分解进行关系学习作者：Ajit P. Singh,Geoffrey J. Gordon发表刊物：KDD发表年度：2008下载地址：https://doi.org/10.1145/1401890.1401969CMF模型是评分预测、冷启动推荐等推荐系统相关研究中经常对比的一个经典基线，其基本思想是在做关系学习任务时，可以利用与待预测的关系相关的其他关系数据来改进预.
关注
