
AI相关
文章平均质量分 58
热爱生活的五柒
主要做AI、CFD、大数据方向,欢迎关注,没事喜欢发一些经验
展开
-
知识图谱(Knowledge Graph, KG)与检索增强生成(Retrieval-Augmented Generation, RAG)系统的融合
通过将知识图谱作为检索源,GraphRAG实现了更精确的实体关系匹配和多跳推理,提升了回答的准确性和解释性。:提出了一种文档级的知识图谱构建方法,结合RAG技术,提升了跨文档信息整合能力。:利用图遍历技术,提取相关三元组,并将其转换为自然语言,作为LLM的上下文输入。:LLM基于提供的上下文生成答案,结合知识图谱的信息,提升回答的准确性和相关性。:通过多智能体架构,实现了知识的持续更新和增强的推理能力,显著减少了幻觉现象。:知识图谱提供了实体之间的显式关系,帮助LLM更准确地理解和生成内容。原创 2025-04-22 10:46:59 · 942 阅读 · 0 评论 -
cursor如何回退一键回退多个文件的修改
当我们使用 Cursor 写代码时,起初可能操作得很顺利,但某次更改或许会让代码变得面目全非。这时候如果没有使用 Git 该怎么办呢?别担心,Cursor 已经为我们考虑到了。参考链接:https://blog.csdn.net/mcusun2000/article/details/144626192。如果想恢复到最后的版本,点”checkout to latest changes“再后面的弹出的对话框中点 蓝色的“continue"原创 2025-04-15 17:48:22 · 598 阅读 · 0 评论 -
免费大模型的API方法
开通百炼不会产生费用,仅调用、部署、调优模型会产生相应费用(超出免费额度后)。里面可以用通义千文的max版本的API,有免费额度。里面有蒸馏版的模型API,可以无限使用,可以平常调试,但是满血版的基本都是付费。2.硅基流动siliconflow。原创 2025-04-14 10:31:07 · 186 阅读 · 0 评论 -
时间无关和时间相关的N-S方程
如果实验案例与时间无关,可以简化问题,快速验证方法的有效性。如果实验案例与时间相关,则需要考虑时间嵌入和序列建模,以处理非定常Navier-Stokes方程。这种方法更具挑战性,但也更有学术价值和实际意义。原创 2025-02-27 23:52:15 · 914 阅读 · 0 评论 -
PyTorch Geometric(PyG)库安装方法(用于GNN、涉及到torch-scatter、torch-sparse、torch-cluster、torch-spline-convtor安装
GNN,需要使用PyTorch Geometric(PyG)库1 不能简单的直接pip install torch_sparse、pip install torch_geometric或者 conda install torch_geometric2 直接安装,到后面调用的时候还是会报错.需要先安装四个小部件再安装torch_geometric。原创 2025-02-11 21:47:34 · 867 阅读 · 0 评论 -
最简单方法本地部署deepseek及其他大模型(如Llama、千问等),有手就行
如DeepSeek-R17B4.7GB2.运行步骤(很简单,但是效果随模型大小而不同):先安装Ollama,再使用ollama run 模型名(如deepseek-r1)即可自动下载模型并运行。原创 2025-02-09 16:47:00 · 1409 阅读 · 0 评论 -
pytorch中数据和模型都要部署在cuda上面
point_features = torch.tensor(point_features, dtype=torch.float32).to('cuda') # 如果你有支持的 GPU,shape = (499,3159,3)coord_time = torch.tensor(coord_time, dtype=torch.float32).to('cuda') # 如果你有支持的 GPU shape = (3159,3)原创 2024-11-14 16:19:51 · 650 阅读 · 0 评论 -
深度学习:利用随机数据更快地测试一个新的模型在自己数据格式很复杂的时候
比如下面一个,我自己的数据很复杂,这里在代码最后用,两分钟就完成了代码的测试成功。原创 2024-11-14 15:22:50 · 461 阅读 · 0 评论 -
TensorRT基础知识
因为ONNX不像Pytorch和TensorFlow那样,还需要安装这些框架运行的依赖包(比如 conda install pytorch,不然你没办法用pytorch的代码),TensorRT可以直接从ONNX文件中读取出网络定义和权重信息。可以从步骤3可以得知,tensorrt实际上是和你的硬件绑定的,所以在部署过程中,如果你的硬件(显卡)和软件(驱动、cudatoolkit、cudnn)发生了改变,那么这一步开始就要重新走一遍了。我们将使用虚拟批次。,也有可能因为没有优化的地方,从而没有多大的提升。原创 2024-11-12 17:24:17 · 976 阅读 · 0 评论 -
总结deeponet相关论文CFDBench: A Large-Scale Benchmark for Machine Learning Methods in Fluid Dynamics
构建了 CFDBench,这是一个专门用于评估神经算子在计算流体动力学 (CFD) 问题训练后的泛化能力的基准。它具有四个经典的 CFD 问题:盖子驱动的空腔流、圆管中的层流边界层流、穿过台阶的坝流和周期性卡门涡街。该数据包含总共302K帧速度场和压力场,涉及739个不同工况参数的工况,通过数值方法生成。我们通过预测训练期间未见的非周期边界条件、流体属性和流域形状(其中 BC 始终是周期性的,并且物理属性和几何形状也是恒定的。在2.4小节中声明的。原创 2024-11-12 16:18:58 · 1024 阅读 · 0 评论 -
如何找到系统中bert-base-uncased默认安装位置
服务器中无法连接huggingface,故需要自己将模型文件上传。原创 2024-11-08 16:57:20 · 806 阅读 · 0 评论 -
Deeponet详解(提供论文、代码、中文翻译、复现过程)
𝑢 能让神经网络成功学习算子 𝐺 则成了研究的重点,在DeepONet的这篇文章中,作者主要研究了两个函数空间,分别是Gaussian random field(GRF)和orthogonal (Chebyshev) polynomials。:也就是函数随着l的取值而变化,比如x平方,x立方中的指数的取值会变化,但都是指数函数。,一旦训练完成后,这个模型则可以解决这个定义域内的所有有源热传导问题。3.相比于函数逼近,DeepONet这类算子学习的方法目标是解决。5.算子学习需要输入的是函数。原创 2024-11-06 17:32:15 · 3373 阅读 · 0 评论 -
一步步安装deeponet的详细教学
for Seq2Seq, install PyTorch(这个可先不安装,有的案例需要额外安装这些)这里给出第二个的方法代码,第一个pytorch的见torch的官网(如果没安装过torch,就至少需要花几个小时才能安装成功,注意时间)上面这俩任选一个(建议选tensorflow,因为deepxde依赖于tensorflow)2.DeepXDE(这里安装DeepXDE原创 2024-11-06 11:11:34 · 1496 阅读 · 0 评论 -
DeepONet和PINNs的介绍、对比和处理点云数据的有效性
DeepONet和PINNs(物理信息神经网络)是近年来在科学计算和工程模拟中备受关注的深度学习模型。它们在处理复杂的非线性问题和提高计算效率方面展现了良好的性能。概述: DeepONet是一个神经网络架构,旨在学习算子(如微分算子)之间的映射。它通过将输入函数(例如初始条件或边界条件)映射到输出函数(例如解)来解决问题。:处理输入函数,提取其特征。:接受位置作为输入,预测输出函数在这些位置的值。优点高效性:能够快速生成输出函数,特别适合处理高维数据。通用性:可以处理多种类型的边值问题和初值问题。原创 2024-10-17 10:08:22 · 1455 阅读 · 0 评论 -
快速使用ai来整理代码,提高开发速度
比如将几个相似功能的代码整理成统一的函数并合并到一起,这时候也很好用,自己写的话需要费不少功夫,费时间还费心。而用ai就很快,两分钟就能搞定,还不容易报错。比如在notebook上很少用函数,都是一个一个代码块执行的,这时候如果想把这个代码写成一个个函数就需要花几十分钟甚至几小时。ai写代码的时候,遇到一些复杂的代码,就会出现写出各种各样bug的代码,那么对于上百行的代码,ai做什么比较方便呢?原创 2024-08-15 15:44:38 · 310 阅读 · 0 评论 -
__init__.py是空文件和不加有什么区别?(from *** import ***不能导入包的原因)
在较新的Python版本中(Python 3.3及以上),引入了命名空间包(namespace package)的概念,允许包目录中没有。文件告诉Python解释器该目录应该被视为一个包,使其可以包含模块并被导入。这可以用于初始化包、设置包级别的变量或导入子模块。文件,但这种情况下目录不会自动被视为包,而是需要特定的包结构和导入方式。中合并多个子模块的内容到包级别的命名空间,使其使用起来更加方便。目录不会被视为一个传统的包,无法使用标准的导入语法。变量,可以控制从包中导出的模块或属性。原创 2024-08-09 10:22:24 · 352 阅读 · 0 评论 -
如何在 Jupyter Notebook 中直接设置全局随机种子的方法及易错地方、notebook和pycharm中设置随机种子的区别
这是最简单且有效的方法。在每个代码块开头设置随机种子,确保代码在每次执行时具有相同的随机数生成顺序。其中,set_seed()函数如下所示,可以放在文件代码块的第一个块,方便后面的每个块调用。直接在代码块的其中一个运行set_seed(2024),以为就全局可用了,实际上是。个代码块如果存在随机生成或者划分数据的函数,都应该在开头执行一下下面这行代码。py脚本中,执行一次上面这个函数应该是随机种子全局有效的。而notebook中是由很多个代码块构成的,所以每。,因为py脚本只有一个代码块,不能分块执行。原创 2024-08-02 16:52:26 · 485 阅读 · 0 评论 -
view 和 reshape的区别 及 测试对一个数据执行view 和 reshape之后得到的数据还一样吗
y_reshape = y_view.reshape(2,3, 4)得到的结果一样吗。的结果是一样的,因为它们在内存中的布局是连续的,并且。操作会自动处理,并在必要时创建一个新的内存区域进行存储。如果输入张量不是连续的,不会进行内存拷贝,只是改变了视图。不要求输入张量在内存中是连续的。操作可以成功地共享内存。操作将会失败,并引发错误。原创 2024-08-01 16:39:16 · 581 阅读 · 0 评论 -
jupyter-notebook运行命令报错,notebook浏览器界面显示500错误打不开界面,terminal界面报错找不到bs4这个包
jupyter-notebook运行命令报错,notebook浏览器界面显示500错误打不开界面,terminal界面报错找不到bs4这个包。安装方法的链接如下:很简单,两三行代码复制就行。验证成功后,还是报上面这个错误。原创 2024-07-31 10:26:22 · 459 阅读 · 0 评论 -
小白如何安装WNO(小波神经算子),需要安装python3.8,torch,ptwt,pywt等
下载下来后,里面的数据集需要用matlab代码生成,也可以到里面提到的google云盘里面下载数据集。运行代码会报错如下,提示安装下面的三个环境。报错内容是:找不到DWT1D这个模型。原创 2024-07-31 09:06:57 · 374 阅读 · 0 评论 -
深度学习调优:选对正确的loss函数,再超参数调优真的很重要!!!
最终选择Smooth L1 Loss这个损失函数然后反向传播和optuna时,都以这个测试集中的Smooth L1 Loss作为参数,经过optuna调优,即可得到好的结果。原创 2024-07-18 17:35:48 · 343 阅读 · 0 评论 -
神经网络中如何优化模型和超参数调优(案例为tensor的预测)
感觉现在更换更适合的损失函数之后,在train的时候backward反向传播这个loss,optuna也更改这个loss标准,现在效果好很多。optuna得出最好的超参数之后,再多一些epoch让train和testloss整体下降,然后结果就不错。原创 2024-07-18 14:15:48 · 489 阅读 · 0 评论 -
torch.manual_seed(0)报错RuntimeError: CUDA error: unspecified launch failure
代码没改动,运行出现这个报错,作者机器的原因是一张卡上跑多个任务造成的,可能会出现这种情况,看了下确实还有另一个任务在这张卡上跑,于是。情况:代码没有改动但是运行这命令时却报错了。原创 2024-05-30 16:36:26 · 367 阅读 · 0 评论 -
pytorch使用tensorboardX面板自动生成模型结构图和各类可视化图像
然后按照提示打开浏览器,输入上面这个网址就可以看到我们搭建的网络结构了,如下图所示,可以双击打开每一个节点查看其内容。参考链接:https://blog.csdn.net/Vertira/article/details/127326470。tips: 如果你在虚拟环境cd到log的上一级文件夹,那么按照上面的路径就得不到你想要的可视化结果,路径不正确,应该输入。tips:tensorboard是适用于tensorflow,而tensorboardX可以适用pytorch。原创 2024-05-30 10:57:46 · 806 阅读 · 0 评论 -
深度学习技巧:在深度学习中,模型输入为什么有多种输入shape,可以输入【20,1024,1】,也可以输入【20,2048,1】这个是如何实现的?另外提供一种加入位置编码提高模型准确率的方法
本人是在WNO案例中,做超分辨率任务重涉及到的,这个模型可以输入【20,1024,1】,也可以输入【20,2048,1】。对应的是batch-size=20,一维数据1024那么是如何实现的呢?然后再forward函数中cat连接。加入位置编码可以增加准确率。原创 2024-05-21 16:05:53 · 441 阅读 · 0 评论 -
深入理解卷积函数torch.nn.Conv2d的各个参数以及计算公式(看完写模型就很简单了)
上面修改第二层Conv2d()的输出通道数参数,改为164,发现最后输出结果output1也只是输出通道数目(也就是一个像素点用多少数字表示)变化,其他三个参数都没变。Hout公式代入:18 = [32+2x4-1x(5-1)-1]/2+1结果再向下取整 (也就是35/2+1向下取整 = 18)也就是修改的是torch.randn(10, 3, 32, 32)里面的3。也就是修改的是torch.randn(10, 3, 32, 32)里面的32x32。输出结果:torch.Size([10, 164,原创 2024-05-10 16:44:01 · 5369 阅读 · 2 评论 -
学习深度学习或者计算机找不到项目代码或者相应资源
可以到github或者gitee搜相关代码,git clone下载后,有完整的项目可以运行,非常适合练手。原创 2024-04-30 10:11:28 · 178 阅读 · 0 评论 -
基于迁移学习的语义句子分类器(微调一个预训练模型的案例,即迁移学习)
使用 Accelerate库 适用于多个 GPU 或 TPU,并且适用于PyTorch 和 TensorFlow ,还对性能做了优化。而只适用于pytorch。同等情况下优先使用Accelerate库。原创 2024-04-29 16:01:51 · 1099 阅读 · 0 评论 -
一文搞懂Transformer与Self-Attention,讲解神经网络算法最好的一篇文章!
VIT模型(Vision Transformer),这是一篇Google于2021年发表在计算机视觉顶级会议ICLR上的一篇文章。它首次将Transformer这种发源于NLP领域的模型引入到了CV领域,并在ImageNet数据集上击败了当时最先进的CNN网络。这是一个标志性的网络,代表transformer击败了CNN和RNN,同时在CV领域和NLP领域达到了统治地位,此后基本在ImageNet排行榜上都是基于transformer架构的模型了。原创 2024-04-28 11:31:32 · 675 阅读 · 0 评论 -
AI:谷歌的colab免费训练模型,并且千兆网速,下载模型和库巨快,训练的速度普通,适合测试一些预训练的任务
下面是colab的官网,可以免费使用cpu和部分GPU, 千兆网速,下载模型和库巨快。从这里也能看到网速下载很快,很适合测试预训练模型任务,也适合没有GPU的朋友们使用。打开链接后的界面如下,相当于是jupyter notebook界面。可以直接到家目录下,可以看到自己创建的ipynb文件。点击左上角的logo或者直接访问下面链接。原创 2024-04-26 15:18:14 · 524 阅读 · 0 评论 -
如何在https://huggingface.co/spaces中创建自己的远程服务器并部署AI相关项目并利用gradio创建界面(获取免费chatgpt的API_key)
这时候代码有了,但是缺少python里面import的一些库环境,还需要下载这些库,创建requirements.txt文件默认下载,系统会在修改完文件后,自动重启服务器并下载requirements里面的库,只需下载一次。下面这个网址可以免费获取chatgptAPI,但是免费版每天只有100条对话。这个默认服务器运行app.py文件。是通过README.md文件里面的。首先现在这个spaces里面创建自己的空间,相当于小型服务器。这个就可以用外部链接访问啦!原创 2024-04-25 11:33:23 · 1687 阅读 · 1 评论 -
github报错Unable to render code block
tips: 本人有两个浏览器,这个火狐浏览器不用拓展看这个文件,google浏览器使用拓展。google不能用的话就用火狐临时看一下即可。本人测试了腾讯翻译插件肯定会到导致查看失败。通过禁用浏览器的所有拓展即可成功加载。原创 2024-04-24 16:52:23 · 5510 阅读 · 3 评论 -
plt.show()输出<Figure size 1200x800 with 1 Axes>没有展示出图片在notebook里
在Jupyter Notebook中,如果使用plt.show()没有直接显示图像,可能是由于某些设置或限制导致的。您可以尝试使用%matplotlib inline魔术命令来确保图像能够直接显示在Notebook中。然后再次运行您的代码,应该能够在Notebook中看到图像。原创 2024-04-24 16:27:56 · 740 阅读 · 0 评论 -
Gradio 最快创建Web 界面部署到服务器并演示机器学习模型,本文提供教学案例以及部署方法,避免使用繁琐的django
Gradio 是通过友好的 Web 界面演示机器学习模型的最快方式,以便任何人都可以在任何地方使用它!最近学习hugging face里面的物体检测模型,发现一个方便快捷的工具!使用这个开发这种演示机器学习模型的web界面会比django会快上不少!原创 2024-04-24 11:08:31 · 1746 阅读 · 0 评论 -
重要!!!涉及huggingface、kaggle和paddlepaddle深度学习网站中各种(文本图像视频音频)任务及其对应模型和案例代码总结,利用好这些网站
https://huggingface.co/modelsKaggle: Your Machine Learning and Data Science Communityhttps://huggingface.co/datasets 预训练模型和11个用户上传的案例代码:原创 2024-04-24 09:40:15 · 862 阅读 · 0 评论 -
python中通过from_pretrained下载好模型之后,可以通过save相关函数保存模型到案例文件夹下
上面是正常下载然后加载的,通过fsearch可以搜到下载的位置在~/.cache目录下。然后下次可以直接使用下面这个方法加载代码同目录下的模型,还方便移植代码。原创 2024-04-23 16:55:46 · 515 阅读 · 0 评论 -
from_pretrained明明以及下载好模型,却突然不能加载了报错
下面是没有model_config.json文件的,直接加载会报错OSError: Error no file named model_index.json found in directory /home/jie/桌面/jiestudy/我的python学习/textToImage/sdxl-turbo.因为/home/jie/.cache/huggingface/hub/models--stabilityai--sdxl-turbo/上面是本人的下载预训练模型的代码。原创 2024-04-23 16:51:08 · 3983 阅读 · 1 评论 -
如何快速找到python里面from_pretrained下载的模型位置(利用everything或fsearch)
经常在python中会下载预训练模型,然后在pycharm中使用ctrl+鼠标点击也无法跳转位置。安装完后,把家目录添加到搜索路径,第一次搜索的话等待几分钟,然后就可随便搜索内容。/home/jie/.cache/huggingface/hub目录下。这时候在搜索stabilityai,即可查到之前下载的模型位置,位于。windows可以在软件商店下载everything。linux可以按照使用下面命令下载fsearch。原创 2024-04-23 15:15:57 · 792 阅读 · 0 评论 -
python使用PaddleOCR实现《命名实体识别项目》OCR(已实现)(ai领域必看,简单易用)
PaddleOCR是飞桨(PaddlePaddle)推出的一个端到端的光学字符识别开源工具集,支持中文、英文、数字以及特殊符号等各种类型的文字检测、识别和词语整体识别。该工具集使用PaddlePaddle深度学习框架技术,提供了多种OCR模型和算法,包括基于CNN+CTC、DenseNet+CTC等模型,能够针对不同场景和应用提供最优的OCR解决方案。同时,PaddleOCR还集成了OCR精度评估工具,可以快速地评估OCR模型的准确率和鲁棒性。原创 2024-01-26 16:26:50 · 2259 阅读 · 0 评论 -
机器学习时候必须要分为训练集、验证集和测试集嘛
在机器学习中,为了准确评估模型的性能和找到最佳的超参数配置,通常将数据集划分为训练集、验证集和测试集。在这种情况下,验证集用于调参和模型选择,而测试集则用于最终的模型评估。具体流程如下:划分数据集:将数据集划分为训练集、验证集和测试集。一般三者比例是或者0.6:0.2:0.2。训练模型:使用训练集训练模型,并根据验证集上的性能指标进行。例如,可以尝试不同的超参数组合,选择在验证集上性能最好的模型。模型评估:在完成调参和模型选择后,使用测试集对最终选定的模型进行评估。原创 2023-11-23 16:02:28 · 816 阅读 · 0 评论