- 博客(46)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 麻省理工学院 - MIT - 线性代数学习笔记
由上式可知，我们把左边的矩阵（初等矩阵）当成3个1*3的行向量，右边的结果的第一行=左边第一行的第一个数 * 中间第一行 + 左边第一行的第二个数 * 中间第二行 + 左边第一行的第三个数 *中间第三行，所以结果为：1,0,0，以此类推第二行为-3,1,0（-3 * 中间第一行+1 * 中间第二行），第三行为0,0,1。如果还是不明白，因为我们已经知道A * A逆=A逆 * A=E，所以下面那个式子还可以写成，A转置的逆*A的转置=E，逆矩阵又是唯一的，所以A逆的转置=A转置的逆。（同理也可以去掉列一）
2024-07-20 18:00:14
819
原创 PyTorch 深度学习实践-循环神经网络（高级篇）
用ASCII表作为词典，长度为128，每一个值对应一个独热向量，比如77对应128维向量中第77个位置为1其他位置为0，但是对于embed层只要告诉它哪个是1就行，这些序列长短不一，需要padding到统一长度。它会将填充后的嵌入和实际序列长度作为输入，并返回一个打包后的序列，便于 RNN 处理。，判断句子是哪类（0-negative，1-somewhat negative，2-neutral，3-somewhat positive，4-positive）情感分析。在准确率最高点save模型。
2024-07-18 12:50:32
788
原创 PyTorch 深度学习实践-循环神经网络基础篇
嵌入层的主要作用是将离散的词汇映射到连续的向量空间中，从而为RNN提供密集的、低维的输入表示，这比直接使用稀疏的one-hot编码更为高效。，但是这个线性层是共享的，如下图，每次把hi和xi+1计算得到的hi+1传送到下一层进行计算，同时xi+1还需要通过某种运算融合xi的信息（比如求和、求乘积等）h0是先验知识，比如对于图像生成文本，可以先通过cnn+fc生成h0，也可以把h0设成和h1等统一维度的向量，值都设成0。多头注意力机制是自注意力的扩展，它通过多个注意力头（head）来捕获不同的特征子空间。
2024-07-18 12:46:21
1246
原创 PyTorch 深度学习实践-卷积神经网络高级篇
而中间先经过一个1 * 1的卷积再经过一个5 * 5的卷积得到 32 * 28 * 28的输出运算为：1^2 * 28^2 * 192 * 16 + 5^2 + 28^2 * 16 * 32 = 12433648。跳连接：将H(x)的输入再加一个x，求导的时候x`=1，那么就算梯度很小也是将近于1，多个这样的数相乘梯度还是不为0，能解决梯度消失的情况，其中F(x)和x应该尺寸相同。3.复现经典工作：先读代码，训练架构，测试架构，数据读取架构，损失函数怎么构建的，根据论文讲的东西自己去写。
2024-07-18 12:38:59
1454
1
原创 PyTorch 深度学习实践-卷积神经网络基础篇
(batch, 1, 28, 28) ->卷积(1, 10, 5)->(10, 24, 24) ->下采样2->(10, 12, 12)->卷积(10, 20, 5)->(20, 8, 8)->下采样2->(20, 4, 4)->卷积(20, 10, 5, padding=2) ->(10, 4 ,4)->下采样(10,2,2)摊平view(batch_size, -1)->l1(40, 32)->l2(32, 16)->l3(16, 10)卷积层用三个，relu三个，池化三个，线性层三个，对比性能。
2024-07-18 12:33:41
1203
原创 PyTorch 深度学习实践-基于SoftMax的多分类
比如说0-9分类问题，如果y = torch.LongTensor([3])，对应的one-hot是[0,0,0,1,0,0,0,0,0,0].(这里要注意，如果使用了one-hot，标签y的类型是LongTensor，糖尿病数据集中的target的类型是FloatTensor)知识点：SoftMax激活函数，多分类交叉熵CrossEntropyLoss，图像transform预处理，训练测试单独封装，Y是经过独热编码后的值，只有一个概率最大的为1，计算损失只要计算Y为1的Y_hat的损失。
2024-07-18 12:30:11
1315
原创 PyTorch 深度学习实践-加载数据集
在深度学习时用min-batch来平衡训练时间和性能上的需求，之后训练周期要写成两层嵌套循环。epoch：所有训练样本进行完一次前向和反向传播，batch-size：训练的时候的样本数量，Iteration：总训练数据/训练样本数集成了dataset之后编写的类就可以用dataset的功能了训练的代码要用main包装起来解释：数据集，批数据大小，是否打乱，构成batch读取数据的时候是不是要用多线程，几个并行的线程1、需要mini_batch 就需要import DataSet和DataLoader。
2024-07-18 12:25:42
1041
原创 PyTorch 深度学习实践-处理多维特征的输入
3、该神经网络共3层；第一层是8维到6维的非线性空间变换，第二层是6维到4维的非线性空间变换，第三层是4维到1维的非线性空间变换。可以自己随意在Model类中改torch.nn.Linear的变换，尝试后发现激活函数改成ReLU比sigmod最后得到的精确率高一些。说明：1、乘的权重(w)都一样，加的偏置(b)也一样。神经网络的参数w和b是网络需要学习的，其他是已知的。 4、本算法中torch.nn.Sigmoid() # 将其看作是网络的一层，而不是简单的函数使用。
2024-07-18 12:21:58
484
原创 PyTorch 深度学习实践-逻辑斯蒂回归
sigmod的函数是一个在生物学中常见的S型函数，也称为S型生长曲线。在信息科学中，由于其单增以及反函数单增等性质，常被用作神经网络的激活函数，将变量映射到0,1之间。-------------摘自《百度百科》sigmod函数也叫作Logistic函数，用于隐层神经单元输出，取值范围为（0,1），它可以将一个实数映射到（0,1）的区间，可以用来做二分类。在特征相差比较复杂或者相差不是特别大的时候效果比较好。说明：1、 逻辑斯蒂回归和线性模型的明显区别是在线性模型的后面，添加了激活函数(非线性变换)
2024-07-18 12:20:22
426
原创 用pytorch实现线性回归
self.linear(x)也由于魔法函数call的实现将会调用torch.nn.Linear类中的forward，至此完成封装，也就是说forward最终是在torch.nn.Linear类中实现的，具体怎么实现，可以不用关心，大概就是y= wx + b。8、torch.nn.MSELoss也跟torch.nn.Module有关，参与计算图的构建，torch.optim.SGD与torch.nn.Module无关，不参与构建计算图。因此新写的类中需要重写forward()覆盖掉父类中的forward()
2024-07-18 12:18:27
604
原创 PyTorch 深度学习实践1-3讲
3、本算法中的随机梯度主要是指，每次拿一个训练数据来训练，然后更新梯度参数。本算法中梯度总共更新100(epoch)x3 = 300次。梯度下降法中梯度总共更新100(epoch)次。1、损失函数由cost()更改为loss()。cost是计算所有训练数据的损失，loss是计算一个训练数据的损失。2、梯度函数gradient()由计算所有训练数据的梯度更改为计算一个训练数据的梯度。随机梯度下降法在神经网络中被证明是有效的。学习三步骤：1准备数据集2.选择/设计模型3.训练4.应用层：推理。
2024-07-18 12:14:41
367
原创 创建虚拟环境运行torch和torchvision相关代码遇到的问题
确定全都没有后，查看原来base环境下的matplotlib版本，numpy等等按相同版本安装最后才正常运行。首先因为自己的电脑用的anaconda是py3.10，所以创建虚拟环境的时候也要输入。输入"conda activate 环境名" 可以进入新环境，在。以上是我执行过程，建议全用conda install 好一些。这行代码总出错，先把原来的都卸载掉，通过。
2024-07-12 22:02:22
213
原创 CO-DETR利用coco数据集训练和推理过程
环境：PyTorch 1.11.0 Python 3.8(ubuntu20.04) Cuda 11.3先是在github上下载CO-DETR模型!然后加载所需库!安装mmcv等（注意mmcv应该是1.6.1版本及以上）!!!因为出现了mmdetection 报错 TypeError: FormatCode() got an unexpected keyword argument ‘verify‘问题，用一下方案解决： yapf版本过高，目前版本为 0.40.2，重装低版本yapf即可!!
2024-06-28 19:59:53
1259
原创 git push --set-upstream origin master时超时失败的解决方案
在你的git init的本地仓库目录，执行命令。输入git.acwing的账号名和密码就能成功。使用https协议，不要使用ssh协议。然后把里面的url配置项从git格式。修改为https格式。
2024-01-18 16:29:46
821
1
原创 物联网时代的访问控制研究综述
随着物联网技术的发展，各种类型的信息，如社会资源和物理资源，被深度集成，用于不同的综合应用。社交、车联网、医疗服务、视频监控等形式的物联网信息服务模式逐渐改变着人们的日常生活。面对海量的物联网信息数据，物联网搜索技术被用来快速找到准确的信息，以满足用户的实时搜索需求。然而，物联网搜索需要使用大量用户私人信息，如个人健康信息、位置信息和社会关系信息，以提供个性化服务。如果在物联网搜索过程中缺少有效的访问控制机制，使用用户的私人信息将遇到安全问题。访问控制机制可以有效地监控资源的访问活动，确保授权用户在合法条件
2023-12-14 20:42:31
476
原创 ChatGLM3-6B和langchain知识库阿里云部署
看了几天chatglm和langchain的部署，经过不断报错，终于试出了可以运行的方案，不过本地知识库搭建还有问题，要再看看。本文主要介绍ChatGLM3-6B的部署和实现效果，和Chatglm2-6b+langchain结合的实现效果。提示：以下是本篇文章正文内容，下面案例可供参考。
2023-12-10 14:34:01
6713
18
原创 acwing-Linux学习笔记
简单的介绍tmux与vim开发项目时的两个编辑环境，此为开发项目时所必备tmux作用1.分屏：可以在一个开发框里分屏2.允许terminal在连接断开之后可以继续运行，让进程不会因为断开连接而中断结构一个tmux可以有一堆session每个sesion可开很多的window每个window可以开很多pane每个pane可以打开一个shell交互如图所示：常规操作前言:tmux创建一个session，session中包含一个window，一个界面就是一个window。
2023-12-04 18:19:20
1606
原创 物联网中基于信任的安全性调查研究：挑战与问题
随着物联网在社会中的应用越来越多，它面临的安全挑战也越来越严峻。物联网中收集和共享的数据在物联网的重要性中发挥着重要作用。从数据角度进行观察可能对理解物联网安全有很大帮助。尽管已经有许多关于物联网安全的调查，但没有一项是从这样的角度进行的。为了填补这一空白，本文从数据角度研究了物联网安全。本文将典型物联网架构的概念与数据生命周期相结合，提出了一种探索物联网安全的三维方法，即一站式、多站式和终端应用维度。一站式维度通过观察物联网设备上的数据来探索物联网安全，多站式维度则通过观察一组物联网实体之间的数据来探究，
2023-11-25 12:55:52
1379
2
原创 Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks - 翻译学习
大型预训练语言模型已被证明可以在其参数中存储事实知识，并在对下游NLP任务进行微调时获得最先进的结果。然而，他们访问和精确操作知识的能力仍然有限，因此在知识密集型任务中，他们的性能落后于特定任务的体系结构。此外，为他们的决定提供出处和更新他们的世界知识仍然是悬而未决的研究问题。具有对显式非参数记忆的可微访问机制的预训练模型可以克服这个问题，但迄今为止只针对提取下游任务进行了研究。微调方法——该模型结合了预先训练的参数和非参数记忆，用于语言生成。
2023-11-11 17:59:20
1385
原创 RAG相关内容介绍
LLM的训练数据集是固定的,一旦训练完成就很难再通过继续训练来更新其知识。LLM的参数量巨大,随时进行fine-tuning需要消耗大量的资源，并且需要相当长的时间。LLM的知识是编码在数百亿个参数中的,无法直接查询或编辑其中的知识图谱。因此,LLM的知识具有静态、封闭和有限的特点。为了赋予LLM持续学习和获取新知识的能力,RAG应运而生。提示：以下是本篇文章正文内容，下面案例可供参考。
2023-11-11 15:51:44
808
原创 Benchmarking Large Language Models in Retrieval-Augmented Generation-学习翻译
检索增强生成（RAG）是一种很有前途的减轻大型语言模型（LLM）幻觉的方法。然而，现有的研究缺乏对检索增强生成对不同大型语言模型的影响的严格评估，这使得识别不同LLM的RAG能力的潜在瓶颈具有挑战性。在本文中，我们系统地研究了**检索增强生成对大型语言模型的影响**。我们分析了不同大型语言模型在RAG所需的4种基本能力方面的性能，包括**噪声鲁棒性、负抑制、信息集成和反事实鲁棒性**。为此，我们建立了检索增强生成基准（Retrieval-Augmented Genera-tion Benchmark RG
2023-11-08 21:29:58
1247
原创 A Survey on Retrieval-Augmented Text Generation翻译
近年来，检索增强文本生成引起了计算语言学界越来越多的关注。与传统的生成模型相比，检索增强文本生成具有显著的优势，尤其是在许多NLP任务中取得了最先进的性能。本文旨在对检索增强文本生成进行一项调查。**它首先强调了检索增强生成的一般范式，然后根据不同的任务，包括对话响应生成、机器翻译和其他生成任务**，回顾了值得注意的方法。最后，在总结现有方法的基础上，提出了一些有前景的研究方向，以利于今后的研究。
2023-11-05 22:53:21
162
原创 【深度学习原理与Pytorch实战笔记-第三章 单车预测器——你的第一个神经网络】
【深度学习原理与Pytorch实战笔记-第三章 单车预测器——你的第一个神经网络】
2023-10-26 21:59:31
95
原创 讯飞平台TTS在线语音合成python
利用科大讯飞实现在线语音合成，第一次做的时候在网上改了很多代码都没能成功实现，运行时总是会出一些bug，这里做一个整体的汇总，希望大家也能顺利实现TTS
2023-07-14 17:51:00
1385
2
原创 vue3 中使用百度地图
最近一个项目要用到地图，因为微信小程序用的也是百度地图，所以想着网页端也用百度地图，在网上查了很多方法，包括引入百度地图第三方库，还是有问题，发现最简单的方法就是在index.html中引入script，然后直接在相关页面肝就完事。
2022-12-20 20:12:37
7373
3
原创 安卓Button处于colorPrimary颜色，无法修改颜色的解决方案
安卓Button处于colorPrimary颜色，无法修改颜色的解决方案
2022-12-07 17:35:31
920
Retrieval-Augmented Generation讲解
2023-11-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人