- 博客(10)
- 收藏
- 关注
RSS订阅原创 pytorch之torch.mean()
mean方法基本用法具体使用基本用法mean()是对张量进行求均值的方法，dim用来指定在指定维度上进行求平均。具体使用生成（3，2，1）维的张量import torchtest = torch.randint(1, 4, (3, 2, 1)).float()不指定dimtest1 = test.mean()即对所有的张量进行求平均，结果为一个数值：指定dim=1在0,1，2三个维度中，dim=1的维度上求平均，结果中的dim=1的维度会因为已经求了平均而消失，因
2022-05-24 11:10:27
2484
原创 对于神经网络参数初始化的一些理解
参数初始化动机1. 预训练初始化2. 随机初始化2.1 高斯（Gaussian）分布初始化2.2 均匀分布初始化2.3 根据范数保持性（Norm-Preserving）2.3.1 通过方差缩放的方式2.3.2 正交初始化3. 固定值初始化4. 混合初始化动机神经网络本身是个非凸优化问题，并且容易出现梯度消失情况，因此参数初始化是很重要的。注意神经网络的参数初始化不能为0，因此如果为0的话，同一层的神经元就是一个固定的输出值，一直到最后的输出值，无法区分每个神经元的行为，因此无法表示出神经元的能力。1
2022-04-25 00:03:18
2127
原创 Pytorch的nn.embedding的一些理解
检验动机同class内的embedding不同class的embedding动机在做Bundle Recommendation的时候涉及到Bundle和Item的embedding，于是想到因为他们的索引都是从1开始编的，经过embedding之后的特征是否会有重叠，因此分几种情况做了如下实验。同class内的embedding不同class的embeddingimport torchimport torch.nn as nnloss_func = nn.CrossEntropyLoss()
2022-04-22 22:02:22
576
原创 对于特征编码方式的一些理解
针对类别属性的特征编码方式动机Label EncodeOne-hot EncodeMulti-Class Embedding1. 实际含义2. 分布式假设3. 降低参数量4. Embedding目标5. 训练方法动机最近在针对ASRS（Aviation Safety Reporting System）数据集做航空安全风险分析的项目时，发现数据分布十分不均衡：大部分为空值属性列各列均为字符类别各列类别大多为上千维对于该种数据，若进行One-Hot编码，则会有极为稀疏的六万多维属性。并且One
2022-04-22 21:53:59
671
原创 图神经网络中的归一化
Pytorch中的矩阵乘法动机实现问题动机最近在使用图神经网络进行捆绑推荐（Bundle Recommendation），在进行异构图的聚合时需要对节点的度进行归一化，因此需要乘以度的逆矩阵D−1D^{-1}D−1。由于我的是异构图的聚合，因此矩阵的行列并不一致，需要求出来度向量放到对角阵中，矩阵相乘的维度需要对应好。实现Bundle一共是75000个，Item是23000个，节点隐藏层特征为100。Bundle-Item matrix:75000×23000维，行代表Bundle索引，列
2022-04-22 16:25:24
1760
原创 Gym-Retro：SpaceInvaders-Atari2600环境接口介绍
目录1. 创建环境2. 初始化环境3. 状态空间4. 动作空间5. 动作空间编码6. 运行环境7. 关闭环境1. 创建环境env = retro.make(game='SpaceInvaders-Atari2600')2. 初始化环境obs = env.reset()3. 状态空间The size of our frame is : Box(0, 255, (210, 160, 3), uint8)状态空间为：210*160大小，三通道的图片4. 动作空间The action
2021-09-04 19:38:16
795
原创 基于深度强化学习的电子商务平台动态定价
基于深度强化学习的电子商务平台动态定价1. 论文介绍Dynamic Pricing on E-Commerce Platform with Deep Reinforcement Learning是阿里巴巴2019年发表的论文，提出了一个端到端的框架、采用深度强化学习的方法在电子商务平台上实现动态定价问题。2. 摘要介绍少时诵诗书所所...
2021-07-14 20:53:14
3979
4
原创 信息熵（香农熵）
应用：解决了对信息的量化度量问题，一条信息的信息量大小和它的不确定性有直接的关系。我们要搞清楚一件非常非常不确定的事，或是我们一无所知的事情，就需要了解大量的信息。相反，如果我们对某件事已经有了较多的了解，我们不需要太多的信息就能把它搞清楚。所以，从这个角度，我们可以认为，信息量的度量就等于不确定性的多少。原理：变量的不确定性越大，熵也就越大，把它搞清楚所需要的信息量也就越大。以世界杯赛为例，赛后我问一个知道比赛结果的观众“哪支球队是冠军”？ 他不愿意直接告诉我， 而要让我猜，并且我
2020-10-11 16:28:18
1785
原创 交叉验证（Cross Validation）
用处： 在实际的训练中，训练的结果对于训练集的拟合程度通常还是挺好，但是对于训练集之外的数据的拟合程度通常就不那么令人满意了。 因此我们通常并不会把所有的数据集都拿来训练，而是分出一部分来（这一部分不参加训练）对训练集生成的参数进行测试，相对客观的判断这些参数对训练集之外的数据的符合程度，解决过于严重的过拟合情况。基本思想： 将原始数据(dataset)进行分组，一部分做为训练集(train set)，另一部分做为验证集(validation set o...
2020-10-10 23:43:09
464
2
原创 关于vmvare虚拟机再次打开之后虚拟机的vmx文件打不开
纠结了好久。。。看了无数网上的方法都不行然后有一天突然发现文件里多了个奇怪的东西：是的，.vmx是配置文件，.vmdk虚拟机硬盘驱动器里的信息.vmx.lck是临时文件，所以.vmx~是什么文件，于是把.vmx剪贴出去，然后把.vmx~ 末尾的~删掉，再打开就行了。有遇到类似的情况，供参考。...
2020-01-22 02:29:38
1532
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人