weixin_45414792的博客

原创 c语言实验报告

(2)基于散列表的工作原理，采用除留余数法H(key) = key % p (p

原创 最快速的python环境搭建（pycharm安装与配置）

让新手快速的get到一个完整的python，不安装Anaconda，自动配置解释器，但是需要手动环境变量和配置镜像源

原创 3个矩阵取行拼接为新的矩阵

3个矩阵取行拼接为新的矩阵

原创 交叉验证的过程

参考视频：【小萌五分钟】机器学习 | 交叉验证 Cross-Validation_哔哩哔哩_bilibili如图，比如将所有数据分训练集（Training）,验证集（Validation）,测试集（Test）训练集：训练模型验证集：代入用训练集训练好的模型，计算一些评价模型好坏的参数，比如准确率（Acc）,用于超参数的选择。具体选择过程下面说。测试集：最终的模型测试k折交叉验证的过程（这次选k=4,也可以等于5，10等，也就是将训练集分成几等份）：1、当模型的超参数C=0.01时

原创 什么是k-mer

Meta小课题：K-mer - 简书 (jianshu.com)

原创 torch.stack()改变维度的一种用法

import torchc = []b = torch.Tensor([[1, 2, 3, 4], [5, 6, 7, 8], [9, 10, 11, 12]])# stack()函数要求输入为Tensors,而不是Tensor,这里放入两次tensorc.append(b)c.append(b)# print(c.shape) # [2, 3, 4]a = torch.stack(c, dim=1)print(a.shape) # [3, 2, 4]...

原创 GCN的Spatial-based Convolution

一、神经网络要如何聚合图结构中的信息呢？我们先来看下卷积是如何聚合信息的。一个 3×3 的权重矩阵作为滑动窗口，Element-wise 乘上图像对应位置的值后相加求和。它相当于对 (x, y) 这个位置的周边8个方向的邻居，做了加权求和。在图结构中我们没法固定窗口，不过也可以用把邻居信息加权求和的思想来聚合信息。这里的邻居都是在空间上的概念，所以这种方法也叫作 Spatial-based Convolution。一个图的节点通常是用一个嵌入向量来表征的。信息聚合意思是，让包含一个节点.

原创 向量范数与矩阵范数科普

向量范数与矩阵范数科普 - mathor (wmathor.com)

原创 深度学习中优化方法

深度学习中优化方法momentum、Nesterov Momentum、AdaGrad、Adadelta、RMSprop、Adam一、指数加权平均（Exponentially weighted average）在下面要讲的很多算法都用到了 指数加权平均，看一下 指数加权平均（Exponentially weighted average） 的定义：下面直接看实现指数加权平均（Exponentially weighted average）的伪代码：V0 = 0repeat...

原创 有关于BERT

bert做填词或者做Next Sentence Prediction，其实中间训练的过程就是在读懂这个字的意思，通过上下文读懂了这个词的意思，所以得以做填词或者Next Sentence Prediction训练好的参数，得出输出的向量就代表这个词的意思Fine-Tuning微调：过程是对参数进行再训练，然后用做bert的下游任务...

转载 nn.CrossEntropyLoss()交叉熵损失函数

在pytorch中nn.CrossEntropyLoss()为交叉熵损失函数，用于解决多分类问题，也可用于解决二分类问题。BCELoss是Binary CrossEntropyLoss的缩写，nn.BCELoss()为二元交叉熵损失函数，只能解决二分类问题。在使用nn.BCELoss()作为损失函数时，需要在该层前面加上Sigmoid函数，一般使用nn.Sigmoid()即可，而在使用nn.CrossEntropyLoss()其内部会自动加上Sofrmax层。下面会详细说明。nn.CrossEn

原创 激活函数小总结

原创 《Speech and Language Processing》

Regular Expressions, Text Normalization, Edit Distance（正则表达式，文本规范化，编辑距离）eliza是一个令人惊讶的简单程序，它使用模式匹配来识别像“我需要X”这样的短语，并将它们转换成合适的输出，比如“如果你有X，这对你意味着什么？正则表达式：描述文本模式的最重要的工具。正则表达式可以用来指定我们可能想要从文档中提取的字符串。正则表达式中的基本操作包括符号的连接、符号的分离（[]、|和。）、计数器（*、+和{n、m}）、锚点（

转载 masked_fill_(mask, value)

masked_fill_(mask, value)方法其中mask是张量，元素是布尔值， value是要填充的值。该方法会在mask中为True的位置上填充value值。mask和value的形状要么是相同的， 要么是可以进行广播的， 否则会报错。...

原创 nn.Linear的个人理解

PyTorch的nn.Linear（）是用于设置网络中的全连接层的。输入张量维度：(a, c)想要的输出张量维度：(a,d)那么就应该这样写：nn.Linear(c, d)全连接层也就是做矩阵相乘，这里相当于构建了一个矩阵维度是(c, d)那么（a, c）*(c, d) =(a, d)在分类问题中用作最后一层改变分类的个数。...

原创 随机梯度下降算法

我觉得在某种意义上来说关与权重w的损失函数loss是确定的（看到很多博客用了‘预测’这个词就带给我了很多疑惑）。先给出参数更新的公式：这里有两种情况：1.此时的w所在点导数为负的情况，就是这样的：目标是loss最低点位置，那么也就是需要增加w,此时的导数为负，在上面公式中在导数前加负号，那么计算而出的w就是不断增加的。2.此时的w所在点导数为正的情况，就是这样的：目标是loss最低点位置，那么也就是需要减少w,此时的导数为正，在上面公式中在导数前加负号，那么计算...

原创 反思、感悟与开始

我上一篇文章的内容大多数都来自一位很优秀的博主，今天我看到他很久之前，大概是18年，更新的文章，内心突然觉得很感叹，在我还什么都不懂的时候，他就已经那么优秀。当然，有一些前辈是我注定追不上的，但是，幸运的是有机会可以追随他的脚步。在回头反思自己，虽然一直在努力学习，但是终究都是应付一场场的考试；现在的我刚应付完研究生考试，虽然成功上岸，但是上来的我是两手空空脑袋空白；计算机科班出身的我写不了几行代码。研一入学的我真是从零开始！在上一篇的文章中，很多内容我都只是停留在表面的理解，数学基础不好的我，

原创 学习路线

【基础】-tensor（张量）一.创建一个tensor1.只分配空间x1 = torch.Tensor(5, 3) # 数据是随机的，只是分配了可见，没有初始化，所及数据是对应空间里的数据print(x1)1输出：tensor([[7.3470e-39, 8.9082e-39, 8.9082e-39], [1.0194e-38, 9.1837e-39, 4.6837e-39], [9.2755e-39, 1.0837e-38, 8.4490...