AI相关
文章平均质量分 53
热爱生活的五柒
这个作者很懒,什么都没留下…
展开
-
torch.manual_seed(0)报错RuntimeError: CUDA error: unspecified launch failure
代码没改动,运行出现这个报错,作者机器的原因是一张卡上跑多个任务造成的,可能会出现这种情况,看了下确实还有另一个任务在这张卡上跑,于是。情况:代码没有改动但是运行这命令时却报错了。原创 2024-05-30 16:36:26 · 160 阅读 · 0 评论 -
pytorch使用tensorboardX面板自动生成模型结构图和各类可视化图像
然后按照提示打开浏览器,输入上面这个网址就可以看到我们搭建的网络结构了,如下图所示,可以双击打开每一个节点查看其内容。参考链接:https://blog.csdn.net/Vertira/article/details/127326470。tips: 如果你在虚拟环境cd到log的上一级文件夹,那么按照上面的路径就得不到你想要的可视化结果,路径不正确,应该输入。tips:tensorboard是适用于tensorflow,而tensorboardX可以适用pytorch。原创 2024-05-30 10:57:46 · 243 阅读 · 0 评论 -
深度学习技巧:在深度学习中,模型输入为什么有多种输入shape,可以输入【20,1024,1】,也可以输入【20,2048,1】这个是如何实现的?另外提供一种加入位置编码提高模型准确率的方法
本人是在WNO案例中,做超分辨率任务重涉及到的,这个模型可以输入【20,1024,1】,也可以输入【20,2048,1】。对应的是batch-size=20,一维数据1024那么是如何实现的呢?然后再forward函数中cat连接。加入位置编码可以增加准确率。原创 2024-05-21 16:05:53 · 235 阅读 · 0 评论 -
深入理解卷积函数torch.nn.Conv2d的各个参数以及计算公式(看完写模型就很简单了)
上面修改第二层Conv2d()的输出通道数参数,改为164,发现最后输出结果output1也只是输出通道数目(也就是一个像素点用多少数字表示)变化,其他三个参数都没变。Hout公式代入:18 = [32+2x4-1x(5-1)-1]/2+1结果再向下取整 (也就是35/2+1向下取整 = 18)也就是修改的是torch.randn(10, 3, 32, 32)里面的3。也就是修改的是torch.randn(10, 3, 32, 32)里面的32x32。输出结果:torch.Size([10, 164,原创 2024-05-10 16:44:01 · 957 阅读 · 0 评论 -
全网首发亲测有用:python免费将chatgpt机器人接入个人微信(同时支持钉钉、QQ 以及别的语言模型如文心一言等)
该项目的功能还有很多,需要的话自己探索看看GitHub - zhayujie/chatgpt-on-wechat: 基于大模型搭建的聊天机器人,同时支持 企业微信、微信 公众号、飞书、钉钉 等接入,可选择GPT3.5/GPT4.0/Claude/文心一言/讯飞星火/通义千问/Gemini/GLM-4/Claude/Kimi/LinkAI,能处理文本、语音和图片,访问操作系统和互联网,支持基于自有知识库进行定制企业智能客服。这个链接里面的功能,根据自己需要修改,比如可以实现生成图片使用文心一言接口。原创 2024-05-08 10:17:13 · 622 阅读 · 0 评论 -
学习深度学习或者计算机找不到项目代码或者相应资源
可以到github或者gitee搜相关代码,git clone下载后,有完整的项目可以运行,非常适合练手。原创 2024-04-30 10:11:28 · 47 阅读 · 0 评论 -
基于迁移学习的语义句子分类器(微调一个预训练模型的案例,即迁移学习)
使用 Accelerate库 适用于多个 GPU 或 TPU,并且适用于PyTorch 和 TensorFlow ,还对性能做了优化。而只适用于pytorch。同等情况下优先使用Accelerate库。原创 2024-04-29 16:01:51 · 1011 阅读 · 0 评论 -
一文搞懂Transformer与Self-Attention,讲解神经网络算法最好的一篇文章!
VIT模型(Vision Transformer),这是一篇Google于2021年发表在计算机视觉顶级会议ICLR上的一篇文章。它首次将Transformer这种发源于NLP领域的模型引入到了CV领域,并在ImageNet数据集上击败了当时最先进的CNN网络。这是一个标志性的网络,代表transformer击败了CNN和RNN,同时在CV领域和NLP领域达到了统治地位,此后基本在ImageNet排行榜上都是基于transformer架构的模型了。原创 2024-04-28 11:31:32 · 242 阅读 · 0 评论 -
AI:谷歌的colab免费训练模型,并且千兆网速,下载模型和库巨快,训练的速度普通,适合测试一些预训练的任务
下面是colab的官网,可以免费使用cpu和部分GPU, 千兆网速,下载模型和库巨快。从这里也能看到网速下载很快,很适合测试预训练模型任务,也适合没有GPU的朋友们使用。打开链接后的界面如下,相当于是jupyter notebook界面。可以直接到家目录下,可以看到自己创建的ipynb文件。点击左上角的logo或者直接访问下面链接。原创 2024-04-26 15:18:14 · 145 阅读 · 0 评论 -
如何在https://huggingface.co/spaces中创建自己的远程服务器并部署AI相关项目并利用gradio创建界面(获取免费chatgpt的API_key)
这时候代码有了,但是缺少python里面import的一些库环境,还需要下载这些库,创建requirements.txt文件默认下载,系统会在修改完文件后,自动重启服务器并下载requirements里面的库,只需下载一次。下面这个网址可以免费获取chatgptAPI,但是免费版每天只有100条对话。这个默认服务器运行app.py文件。是通过README.md文件里面的。首先现在这个spaces里面创建自己的空间,相当于小型服务器。这个就可以用外部链接访问啦!原创 2024-04-25 11:33:23 · 458 阅读 · 1 评论 -
github报错Unable to render code block
tips: 本人有两个浏览器,这个火狐浏览器不用拓展看这个文件,google浏览器使用拓展。google不能用的话就用火狐临时看一下即可。本人测试了腾讯翻译插件肯定会到导致查看失败。通过禁用浏览器的所有拓展即可成功加载。原创 2024-04-24 16:52:23 · 560 阅读 · 0 评论 -
plt.show()输出<Figure size 1200x800 with 1 Axes>没有展示出图片在notebook里
在Jupyter Notebook中,如果使用plt.show()没有直接显示图像,可能是由于某些设置或限制导致的。您可以尝试使用%matplotlib inline魔术命令来确保图像能够直接显示在Notebook中。然后再次运行您的代码,应该能够在Notebook中看到图像。原创 2024-04-24 16:27:56 · 261 阅读 · 0 评论 -
Gradio 最快创建Web 界面部署到服务器并演示机器学习模型,本文提供教学案例以及部署方法,避免使用繁琐的django
Gradio 是通过友好的 Web 界面演示机器学习模型的最快方式,以便任何人都可以在任何地方使用它!最近学习hugging face里面的物体检测模型,发现一个方便快捷的工具!使用这个开发这种演示机器学习模型的web界面会比django会快上不少!原创 2024-04-24 11:08:31 · 581 阅读 · 0 评论 -
重要!!!涉及huggingface、kaggle和paddlepaddle深度学习网站中各种(文本图像视频音频)任务及其对应模型和案例代码总结,利用好这些网站
https://huggingface.co/modelsKaggle: Your Machine Learning and Data Science Communityhttps://huggingface.co/datasets 预训练模型和11个用户上传的案例代码:原创 2024-04-24 09:40:15 · 620 阅读 · 0 评论 -
python中通过from_pretrained下载好模型之后,可以通过save相关函数保存模型到案例文件夹下
上面是正常下载然后加载的,通过fsearch可以搜到下载的位置在~/.cache目录下。然后下次可以直接使用下面这个方法加载代码同目录下的模型,还方便移植代码。原创 2024-04-23 16:55:46 · 173 阅读 · 0 评论 -
from_pretrained明明以及下载好模型,却突然不能加载了报错
下面是没有model_config.json文件的,直接加载会报错OSError: Error no file named model_index.json found in directory /home/jie/桌面/jiestudy/我的python学习/textToImage/sdxl-turbo.因为/home/jie/.cache/huggingface/hub/models--stabilityai--sdxl-turbo/上面是本人的下载预训练模型的代码。原创 2024-04-23 16:51:08 · 477 阅读 · 1 评论 -
如何快速找到python里面from_pretrained下载的模型位置(利用everything或fsearch)
经常在python中会下载预训练模型,然后在pycharm中使用ctrl+鼠标点击也无法跳转位置。安装完后,把家目录添加到搜索路径,第一次搜索的话等待几分钟,然后就可随便搜索内容。/home/jie/.cache/huggingface/hub目录下。这时候在搜索stabilityai,即可查到之前下载的模型位置,位于。windows可以在软件商店下载everything。linux可以按照使用下面命令下载fsearch。原创 2024-04-23 15:15:57 · 372 阅读 · 0 评论 -
python使用PaddleOCR实现《命名实体识别项目》OCR(已实现)(ai领域必看,简单易用)
PaddleOCR是飞桨(PaddlePaddle)推出的一个端到端的光学字符识别开源工具集,支持中文、英文、数字以及特殊符号等各种类型的文字检测、识别和词语整体识别。该工具集使用PaddlePaddle深度学习框架技术,提供了多种OCR模型和算法,包括基于CNN+CTC、DenseNet+CTC等模型,能够针对不同场景和应用提供最优的OCR解决方案。同时,PaddleOCR还集成了OCR精度评估工具,可以快速地评估OCR模型的准确率和鲁棒性。原创 2024-01-26 16:26:50 · 1737 阅读 · 0 评论 -
机器学习时候必须要分为训练集、验证集和测试集嘛
在机器学习中,为了准确评估模型的性能和找到最佳的超参数配置,通常将数据集划分为训练集、验证集和测试集。在这种情况下,验证集用于调参和模型选择,而测试集则用于最终的模型评估。具体流程如下:划分数据集:将数据集划分为训练集、验证集和测试集。一般三者比例是或者0.6:0.2:0.2。训练模型:使用训练集训练模型,并根据验证集上的性能指标进行。例如,可以尝试不同的超参数组合,选择在验证集上性能最好的模型。模型评估:在完成调参和模型选择后,使用测试集对最终选定的模型进行评估。原创 2023-11-23 16:02:28 · 505 阅读 · 0 评论 -
linux在anaconda环境中配置GPU版本的cuda+cudnn+pytorch深度学习环境(简单可行!一次完成!)
查看CUDA版本 ——> 选择cudatookit版本 ——> 选择cudnn版本 + pytorch版本。(请根据你的驱动版本和系统路径进行调整)安装完后配置环境变量,向。原创 2023-11-21 11:26:59 · 592 阅读 · 0 评论 -
screen中conda激活环境后登录jupyter notebook导入包提示找不到,但是在命令行中就可以导入包
screen可能有bug,当在screen中conda激活环境后登录jupyter notebook出现问题,import torch提示没有安装好的torch包时,应该是screen有bug,将screen删除掉重新创建即可。tips:下次在进入screen之前就把环境弄好可以避免这个bug。原创 2023-11-17 16:41:48 · 1124 阅读 · 0 评论 -
python训练神经网络或者循环时加上进度条,方便了解运行的进度和时间
【代码】python训练神经网络或者循环时加上进度条,方便了解运行的进度和时间。原创 2023-10-13 09:09:57 · 216 阅读 · 1 评论 -
pytorch深度学习使用DataParallel多GPU并行和保存模型的几种方法
可以再用一些optuna调优,早停法,学习率连续十次batch不下降则减低一半的方法。原创 2023-11-16 10:22:58 · 87 阅读 · 0 评论 -
如何下载huggingface.co中的bert-base-uncased加载模型
先看如何访问huggingface.co,这里可以尝试多换几个结点,有能访问的。原创 2023-11-10 11:32:10 · 2151 阅读 · 0 评论 -
python常用的高级语法
在你的代码中,Optional 用于指定一个参数或返回值的类型可以是指定类型,也可以是 None。例如,在函数签名中,Optional[torch.FloatTensor] 表示参数 pixel_values 可以是 torch.FloatTensor 类型,也可以是 None。在这种情况下,inputs 是一个字典,其键是模型期望的输入名称,值是实际的输入数据。在深度学习中,model(**inputs)是一种 Python 中的特殊语法,用于将一个字典作为输入传递给一个函数或方法。原创 2023-11-07 16:21:57 · 39 阅读 · 0 评论