- 博客(28)
- 收藏
- 关注
RSS订阅
原创 从科研到抉择：我的一年探索之旅
在这样的背景下，我开始思考自己的未来规划。然而，在当前的市场环境下，我发现二本背景的C++求职难度较大，而Java则更受欢迎。幸运的是，在这一年的探索中，我也取得了一些令人欣喜的成果。前不久，我又完成了一项新的实验，论文还没来得及写，因为现在手中还有其它实验做，看其它实验弄完有没有一个好的提升。在与一些B站UP主的交流中（有幸获得机会），我意识到自己在科研方面的出路可能相对有限，而读研则成为了一个重要的选择。经过深入的了解与交流，我毅然加入了他的研究小组，这也成为了我后来深入探索深度学习领域的起点。
2024-05-19 12:15:00
502
原创 Tensorflow的gpu无法使用，明明安装了却用不了
2023年现在在安装tensorflow时，按照官网的直接pip install tensorflow，就算你安装后TensorFlow的GPU 也无法使用。你明明就看见他官网的注释下载的就是CPU 和 GPU 的当前稳定版本，但就是报错用不了。
2023-12-27 16:02:06
1021
1
原创 SSLError， ProxyError： Unable to connect to proxy解决办法
openai.proxy = proxy，当你要访问哪个端口时，就把它的proxy设置为上面所示的，即。代理，也就是说代理服务器的地址虽然大家配置的是。就是这样子啦，个人两种方法都使用过，都是有效的。的方式去连接，但是由于代理服务器其实只支持。更新库可知，因此采用低于1.25.11的版本。连接的，刚好代理服务器确实也只支持。，但是一直都是悄无声息地就按照。也就相当于是你的代理一直都是用的。在网上查找文章时发现是：现在。代理了，那么既然配置代理是。，所以没法处理请求，
2024-05-19 11:12:10
280
原创 下采样是什么
在卷积神经网络（Convolutional Neural Networks, CNNs）中，下采样通常是通过池化层（Pooling Layers）来实现的，例如最大池化（Max Pooling）或平均池化（Average Pooling）。在图像处理中，下采样指的是减少图像的分辨率或尺寸，即减少图像中的像素数量。需要注意的是，下采样可能会导致一些细节信息的丢失。因此，在设计网络结构时，需要权衡下采样层的位置和数量，以确保在保留足够信息的同时实现高效的特征提取。
2024-04-22 22:32:49
699
原创 掩码讲解，以及生成
在自注意力机制中，掩码被用来屏蔽无效的位置，即将无效位置的权重置为一个很小的负无穷，从而使其对最终结果的影响降到最小。这样，模型能够更好地捕捉到序列中的有效信息。
2024-04-22 22:29:53
766
原创 知识蒸馏（Knowledge Distillation，KD）
它不同于模型压缩中的剪枝和量化，而是通过构建一个轻量化的小模型，利用性能更好的大模型的监督信息来训练这个小模型，以期达到更好的性能和精度。这一方法最初由Hinton在2015年提出，大模型通常被称为“教师模型”（Teacher Model），而小模型则被称为“学生模型”（Student Model）。知识蒸馏的核心在于如何将教师模型的知识有效地转移到学生模型上。其中，软标签训练是指将教师模型的预测结果替换原本的二元标签，得到一组概率分布的标签。也是我最近在用的知识图谱里面学习到的。
2024-04-22 22:17:36
110
原创 softmax
Softmax函数的工作原理是将一个n维向量（通常用于表示某个实体的特征向量）作为输入，并输出一个n维概率分布，其中每个元素的值都介于0和1之间，并且所有元素的和为1。这是通过将输入向量的每个元素除以所有元素的指数和来实现的。具体来说，如果输入向量是z，那么softmax函数的数学定义是： softmax(zi) = ezi / ∑j=1n ezj 其中，zi表示输入向量的第i个元素，n表示向量的维度。较大的输入值在softmax函数后会得到较大的输出概率，而较小的输入值会得到较小的输出概率。
2024-04-22 22:15:10
229
原创 BERT（Bidirectional Encoder Representations from Transformers）
BERT（Bidirectional Encoder Representations from Transformers）在深度学习中指的是一种基于Transformer架构的预训练模型，特别用于自然语言处理（NLP）任务。BERT是由Google的研究团队在2018年提出的，并且迅速成为了NLP领域的一个里程碑。
2024-04-22 22:12:49
420
原创 “离散“（discrete）和“连续“（continuous）
在数学和统计学中，"离散"（discrete）和"连续"（continuous）是描述数据或变量类型的两个基本术语。它们具有特定的含义，尤其是在处理数据集和进行统计分析时。
2024-04-22 22:10:30
662
原创 Transformer
具体来说，对于输入序列中的每个位置，模型会计算一个查询向量（query vector）、一个键向量（key vector）和一个值向量（value vector），然后根据查询向量和键向量的相似度来计算注意力权重，最后将这些权重应用于值向量，得到一个新的表示向量。Transformer模型的主要特点是其完全依赖于注意力机制来理解输入与输出之间的全局依赖关系，与传统的循环神经网络（RNN）或卷积神经网络（CNN）相比，Transformer具有更好的并行计算能力和更强的长距离依赖建模能力。
2024-04-22 21:59:26
188
1
原创 不相似性（Dissimilarity）：
在机器学习中，不相似性是一个重要的问题，因为它可能导致模型在训练集上表现良好，但在实际应用中（即使用评估集或新数据时）性能较差，这种现象通常被称为过拟合（overfitting）。因此，了解并量化训练数据和评估数据之间的不相似性，对于提高模型的泛化能力和实际应用效果至关重要。：特征空间中的差异，比如某些特征在训练集中很重要，但在评估集中却不太相关；：对于监督学习任务，训练集和评估集的标签分布可能不同，比如类别不平衡问题，即某个类别在训练集中占比较高，而在评估集中占比较低。
2024-04-22 21:58:16
258
原创 回归（Regression）
非线性回归则允许因变量和自变量之间存在更复杂的非线性关系，可能需要使用多项式回归、决策树回归、支持向量回归、随机森林回归或深度学习模型等方法来拟合数据。回归（Regression）在统计学和机器学习中是一种预测建模技术，它研究的是因变量（目标变量）和自变量（特征）之间的关系。在回归问题中，常用的评估指标包括均方误差（MSE）、均方根误差（RMSE）、平均绝对误差（MAE）和决定系数（R²）等。通过回归分析，我们可以更好地理解数据之间的关系，预测未来的趋势，以及制定有效的决策。
2024-04-22 21:56:03
234
原创 鲁棒性是什么
深度学习中的鲁棒性指的是模型对于输入数据变化的健壮性。具体来说，一个具有鲁棒性的深度学习模型，在遇到各种不同的输入变化时，能够保持良好的性能，并准确地做出预测。这种鲁棒性不仅体现在模型对噪声、缺失数据或其他异常情况的适应能力上，也体现在模型对于新数据或未知情况的适应能力上。
2024-04-22 21:51:30
344
原创 分类器输出的熵
对于分类任务，分类器会为每个可能的类别输出一个预测概率。这些概率形成了一个概率分布，描述了分类器对于输入样本属于每个类别的信心。熵可以用来量化这个概率分布的不确定性。在分类器的上下文中，如果分类器为输入样本输出了一个概率分布（例如，通过softmax 函数得到），那么可以使用上述公式计算这个分布的熵值。这个熵值可以作为分类器对于该样本的不确定性度量：熵值越高，表示分类器对于该样本的预测越不确定；熵值越低，表示分类器对于该样本的预测越确定。
2024-04-22 21:49:34
614
原创 torch_scatter ，torch-sparse，torch-cluster等系列安装
torch_scatter ，torch-sparse，torch-cluster等系列安装
2024-04-22 21:29:29
722
原创 正确查看自己的CUDA版本（不要再被骗啦）
CUDA分为两种，驱动API和运行API，驱动API指的是指的显卡驱动支持的最高cuda版本，我们运行程序时用的是运行API。nvidia-smi显示的是驱动所能支持的最大运行API版本，nvcc --version查看的是CUDA的运行API版本。不要再傻傻地以为这就是你的cuda版本，然后再下载对应的dgl和pytorch了，不然当你配环境时你会配到怀疑人生（笔者亲自踩的坑）。
2023-10-22 13:17:28
4551
8
原创 编程入门推荐：自学是门手艺--李笑来
为什么推荐用李笑来的书来做为入门推荐？他甚至不是一个在编程方面的专家！因为这本书不仅教你编程，或者说这本书的在我看来重点在教你自学。Python是当做一个案例插入了其中，主要以编程为案例，切入自学能力，如果说全书阅读完的收获，那么一个是对自学能力的启迪，一个是对学习编程的启发。
2023-08-27 20:56:56
245
原创 双非二本的计科大一学习，以及大一的一些建议
然后在对大学的信仰崩塌之后，开始了在网上找课程上的过程，也是在这一过程中找到了一名计科生该了解的学习路线，至此可以说彻底地脱离了学校，开始了自学之路。作为大一刚进入大学的新生，肯定是怀着期望的，但当我上完大一上学期的课，考了期末考之后，对大学的信仰彻底崩塌了：考的内容与学的有多大关系？不乏认真上课，关心同学的老师，当然也有很多念PPT的老师。如果你也像当初的我一样很迷茫，我在这附上我找到的学习路线以及一些博主，你去搜索一下就应该知道的。，这个是阿秀的，也是我照着学的一个，附上了他的网站。
2023-08-27 19:51:16
97
2
原创 国内的一些搭载着对话的插件使用
在 Microsoft Edge 中，选择浏览器地址栏右侧的“ 扩展 ”。注意: 如果浏览器地址栏右侧看不到“ 扩展 ”，请选择“ 设置和更多 > 扩展 ”。选择 打开 Microsoft Edge 外接程序。查找要添加的扩展，然后选择“ 获取 ”。
2023-06-12 22:01:28
52
1
原创 容器元素是拷贝
就像我们将一个对象传递给非引用参数一样，容器中的元素与提供值的对象之间没有任何关联。随后对容器中元素的任何改变都不会影响到原始对象，反之亦然。当我们用一个对象来初始化容器时，或将一个对象插入到容器中时，实际上放入到容器中的是对象值的一个拷贝，而不是对象本身。
2023-05-30 09:37:49
40
1
原创 封装的益处
一旦把数据成员定义成private的，类的作者就可以比较自由地修改数据了。当实现部分改变时，我们只需要检查类的代码本身以确认这次改变有什么影响；换句话说，只要类的接口不变，用户代码就无须改变。如果数据是public的，则所有使用了原来数据成员的代码都可能失效，这时我们必须定位并重写所有依赖于老版本实现的代码，然后才能到重新使用该程序。：因为只有实现部分的代码可能产生这样的错误。因此，将差错限制在有限范围内将能极大地降低维护代码及修正程序错误的难度。来自《C++ Primer 5th》242页。
2023-05-30 09:21:46
128
1
原创 来自双非二本的困惑与无助以及自救
我是22计科新生，今天这篇文章纯粹仅代表个人此刻的观点看法。其中不乏错误，我也会在这里持续分享我在学习过程中的一些问题以及拙见。最后希望我一年或半年后再续写这篇文章时我能写一些让我得意的事（比如竞赛获奖之类的）！
2023-05-27 23:51:36
119
3
原创 c ++中的Sort函数
简介：c++标准库里的Sort（）函数是 c++自带的一种排序函数，可替换以前的冒泡排序和选择排序。1.Sort函数包含在头文件#include中2、Sort函数使用模板（1）Sort（start，end，排序反法）（2）Sort函数中有三个参数：第一个是要排序的数组的起始地址。第二个是结束的地址（最后一位要排序的地址的下一地址）第三个参数是排序的方法，可以是从小到大也可以是从大到小。第三个参数可以省略，默认为从小到大。
2023-04-25 21:30:52
2125
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人