人工智能
文章平均质量分 56
双天至尊20176
这个作者很懒,什么都没留下…
展开
-
您想拥有一个属于你自己的GPT-3.5-turbo吗?来吧,开始行动起来吧!!!
ubantu安装docker。欢迎来到以用户体验为优先的雨云,我们提供稳定高速的国际虚拟主机,云服务器产品,强大的功能,高效率的客户支持,简洁易用的面板,值得您的信赖。但是,如何你想申请一个openai api key的时候,发现调用失败,直接报Rate Limit!在2024年4月的时候,openai公司宣布GPT-3.5-turbo免费使用,无需注册!在雨云上购买美国的服务器,方便我们的魔法,购买成功后,安装Ubuntu系统。不过没关系,我们另辟捷径!多么激动人心的消息啊!下面就开始我的表演啦!原创 2024-05-02 18:42:18 · 288 阅读 · 1 评论 -
huggingface里如何查看具体任务的评估指标
如果我们在做一个模型训练任务的时候,可能会不知道这个任务在评估的时候使用什么指标,那么huggingface里边为我们提供了参考:下面就来看看吧:点击"Docs":原创 2024-05-02 14:43:12 · 120 阅读 · 0 评论 -
pip install -r requirements.txt时如何安装torch的cuda版本?来看这篇文章吧
pip install -r requirements.txt时如何安装torch的cuda版本?如下命令所示,后面添加 : -f https://download.pytorch.org/whl/torch_stable.html 即可!这样就能很好的安装我们的torch gpu版本了!原创 2024-05-01 10:04:11 · 154 阅读 · 1 评论 -
使用rouge计算指标评估的时候报错:RecursionError: maximum recursion depth exceeded in comparison 的解决方法
使用rouge计算指标评估的时候报错:RecursionError: maximum recursion depth exceeded in comparison 的解决方法。原创 2024-05-01 09:11:01 · 135 阅读 · 0 评论 -
人工智能训练推理必需的日志模块logging
模块存储各种格式的日志,主要用于输出运行日志,可以设置输出日志的等级、日志保存路径、日志文件回滚等。严重程度的级别依次是DEBUG原创 2024-04-27 07:17:37 · 857 阅读 · 0 评论 -
pip设置全局代理
pip设置全局代理pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple原创 2024-04-26 13:55:39 · 87 阅读 · 0 评论 -
Ubuntu 系统使用 root 用户登录
Ubuntu 系统在安装过程中默认不设置 root 帐户和密码。如有需要,可在设置中开启允许 root 用户登录。3.输入 root 的密码,按 Enter。返回如下信息,即表示 root 密码设置成功。8.按 Esc,输入 :wq,保存文件并返回。1.使用 ubuntu 帐户登录服务器。2.执行以下命令,设置 root 密码。4.重复输入 root 的密码,按。9.执行以下命令,重启 ssh 服务。5.执行以下命令,打开。10.重启ssh服务。原创 2024-04-25 09:13:32 · 206 阅读 · 2 评论 -
Ubuntu关闭防火墙、关闭selinux、关闭swap
【代码】Ubuntu打开和关闭防火墙的正确方式。打开终端,然后输入如下命令,查看防火墙状态:sudo ufw status开启防火墙命令如下:sudo ufw enable关闭防火墙命令如下:sudo ufw disable关闭selinux关闭swap原创 2024-04-25 08:23:00 · 240 阅读 · 0 评论 -
pytorch最新版源码编译,支持CUDA、cuDNN,干货满满,亲测有效
pytorch的源码在github上,网址如下:https://github.com/pytorch/pytorchhttps://github.com/pytorch/pytorch安装cuda版本的需要CUDA Toolkit 12.4 Update 1 Downloads | NVIDIA Developerhttps://developer.nvidia.com/cuda-downloads 安装了上面两步后,会自动安装nvcc。12.04 - How do I set up ccache? - A原创 2024-04-24 23:18:14 · 1523 阅读 · 0 评论 -
python相对路径导包与绝对路径导包的正确方式
python导包的难题,今天解决了,相对路径导包和绝对路径导包,均可以!这里面的水可深了(爬虫/数据分析),【全748集】字节大佬终于把Python做成了漫画书,通俗易懂,2024最新内部版,学完即就业!,2024版-零基础玩转Python Django5项目实战-学完可就业,Vitual Box安装Centos Stream9,Python爱心代码(附源码),新版C#从入门到精通全套视频教程(180集全),上分利器?用Python自动化脚本训练AI玩王者荣耀,秀得我头皮发麻,轻松爆打本地人!原创 2024-04-04 17:59:26 · 705 阅读 · 0 评论 -
huggingface使用git上传model或者Dataset到HF,当然也可以上传代码,以及大文件,很哇塞!!!
huggingface使用git上传model或者Dataset到HF,当然也可以上传代码,以及大文件,很哇塞!!!第一次使用时,需要使用设置系统全局的huggingface token,这。点击huggingface首页右上角的头像 → settings → access tokens,创建一个write权限的token,名字可以随便取。原创 2024-04-04 09:58:41 · 299 阅读 · 0 评论 -
fastllm在CPU上推理ChatGLM3-6b,即使使用CPU依然推理速度很快,就来看这篇文章
GitHub - ztxz16/fastllm: 纯c++的全平台llm加速库,支持python调用,chatglm-6B级模型单卡可达10000+token / s,支持glm, llama, moss基座,手机端流畅运行纯c++的全平台llm加速库,支持python调用,chatglm-6B级模型单卡可达10000+token / s,支持glm, llama, moss基座,手机端流畅运行 - ztxz16/fastllmfastllm是纯c++实现,无第三方依赖的高性能大模型推理库。原创 2024-03-30 22:01:04 · 837 阅读 · 0 评论 -
fastllm将chatglm3-6b转成flm文件的正确方式
【代码】fastllm将chatglm3-6b转成flm文件的正确方式。原创 2024-03-30 18:48:43 · 152 阅读 · 0 评论 -
modelscope里运行chatglm3-6b
【代码】modelscope里运行chatglm3-6b。原创 2024-03-30 17:14:44 · 135 阅读 · 0 评论 -
fastllm在CPU上推理ChatGLM2-6b,即使使用CPU依然推理速度很快,就来看这篇文章
GitHub - ztxz16/fastllm: 纯c++的全平台llm加速库,支持python调用,chatglm-6B级模型单卡可达10000+token / s,支持glm, llama, moss基座,手机端流畅运行纯c++的全平台llm加速库,支持python调用,chatglm-6B级模型单卡可达10000+token / s,支持glm, llama, moss基座,手机端流畅运行 - ztxz16/fastllmfastllm是纯c++实现,无第三方依赖的高性能大模型推理库。原创 2024-03-30 13:32:22 · 834 阅读 · 0 评论 -
Pytorch多机多卡分布式训练
Pytorch多机多卡分布式训练-nproc_per_node 指的是每个阶段的进程数,这里第一台8个GPU,第二台6个GPU。--node_rank 节点rank,对于第一台机器是0,第二台机器是1。--master_addr 主节点的ip,这里我填的第一台机器的ip。--nnodes 节点数,这里是两机,所以是2。--master_port 主节点的端口号。原创 2024-03-27 20:06:15 · 333 阅读 · 0 评论 -
torchrun在验证集使用一个GPU时报NCCL超时:Watchdog caught collective operation timeout的解决方案
有时候在分布式训练时,可能会出现nccl通信超时的问题,出现的原因好像是在某些数据处理、加载等过程,多个进程一起完成,但是某些计算(比如loss具体不知道都有啥)需要rank0自己来做,但是由于默认的30分钟没算完,没完成不同rank之间的正常通信,导致报错。增加超时时间:你可以尝试增加NCCL操作的超时时间。在PyTorch中,你可以通过设置。原创 2024-03-26 20:28:07 · 618 阅读 · 0 评论 -
向量数据库milvus的docker compose安装
2、将milvus-standalone-docker-compose.yml放到milvus文件夹内,改名为docker-compose.yml。将milvus-standalone-docker-compose.yml下载到本地。5、再次执行docker compose up -d。访问:http://IP:8000,即可看到如下界面。4、执行docker compose down。加入到docker-compose.yml。这个可以看到milvus的操作。1、新建一个目录milvus。原创 2023-10-15 18:56:16 · 1166 阅读 · 0 评论 -
miniconda和miniforge之间,我选miniforge
Miniconda和Miniforge是Anaconda发行版的轻量级版本。Anaconda是一个用于科学计算的Python发行版,它包含了大量的科学计算和数据分析库。然而,对于某些用户来说,Anaconda可能过于庞大或不必要。因此,Miniconda和Miniforge作为更加精简的替代选择出现。Miniconda是一个仅包含Python和conda包管理器的最小发行版。它提供了一个最小化的开发环境,并允许用户根据自己的需要安装所需的库和工具。原创 2024-03-16 12:46:31 · 1109 阅读 · 0 评论 -
解决使用torch.cuda.empty_cache()仍然GPU显存无法释放的问题
使用pytorch设置多线程(threads)进行数据读取(DataLoader),其实是假的多线程,他是开了N个子进程(PID都连着)进行模拟多线程工作,所以你的程序跑完或者中途kill掉主进程的话,子进程的GPU显存并不会被释放,需要手动一个一个kill才行.在开发的过程中,程序已经关闭,但是GPU显存无法释放,在使用pytorch写程序的时候, 有时候会在控制台终止掉正在运行的程序,但是有时候程序已经结束了,nvidia-smi也看到没有程序了,但是GPU的内存并没有释放,这是怎么回事呢?原创 2024-03-13 20:05:54 · 557 阅读 · 0 评论 -
Google Colab运行.py文件
Google Colab运行.py文件原创 2024-03-10 17:45:27 · 229 阅读 · 0 评论 -
pandas逐行追加到csv的正确方式
【代码】pandas逐行追加到csv的正确方式。原创 2024-03-10 16:47:38 · 217 阅读 · 0 评论 -
解决Ubuntu下SSH无法连接的问题
以前经常使用Centos,但Centos不维护了,然后我又实用了Centos Stream8、Centos Stream9,但是目前我现在做的工作是人工智能的工作,于是使用了Ububtu系统。在安装Ubuntu最新版的时候,发现无法进行ssh远程登录。因为Ubuntu没有安装ssh服务和启动ssh服务。原创 2024-03-03 14:57:50 · 342 阅读 · 0 评论 -
tensorflow2.10 GPU版本官方安装的正确方式,亲测有效
tensorflow2.10 GPU版本官方安装的正确方式,点击上面的链接,选择右上角的语言为英文,选择"Windows Native",安装步骤:1、用conda创建一个环境:这里强调要python3.9的环境2、激活环境,在该环境下进行操作3、验证是否GPU版安装成功原创 2024-02-21 06:52:14 · 308 阅读 · 0 评论 -
tf.linspace时出现Could not find valid device for node.
背景:在使用tensorflow2.x的时候,当使用tf.linspace的时候会出现如下的报错:解决方案:查看官方文档:上面说的很清楚,start、stop必须是float类型的,原创 2024-02-17 10:46:21 · 159 阅读 · 0 评论 -
Keras的默认下载位置
Keras的默认下载位置,总之,.keras/目录都是放在用户的 "home" 目录下。原创 2024-02-16 16:56:32 · 219 阅读 · 0 评论 -
训练集,验证集,测试集比例
在神经网络中, 我们用验证数据集去寻找最优的网络深度(number of hidden layers),或者决定反向传播算法的停止点或者在神经网络中选择隐藏层神经元的数量;在普通的机器学习中常用的交叉验证(Cross Validation) 就是把训练数据集本身再细分成不同的验证数据集去训练模型。原创 2024-02-07 20:04:59 · 475 阅读 · 0 评论 -
安装Pytorch中的torchtext之CUDA版的正确方式
安装Pytorch中的torchtext之CUDA版的正确方式:安装Pytorch和torchtext,只需将torchtext的版本和torchvision的版本一致即可:原创 2024-02-07 19:50:13 · 543 阅读 · 0 评论 -
Pytorch模型转ONNX模型并运行
onnx(Open Neural Network Exchange)主要用于部署,训练一般使用pytorch和tensorflow,等训练完成,我们需要模型转成onnx,用于部署在云或者边缘计算上。而为什么要要转成onnx模型呢,主要是因为onnx没有训练,只有推理,速度很快,而且目前大多数芯片都适配onnx模型,相当于一个通用莫模型,易部署,而且速度快。原创 2024-02-03 16:35:16 · 742 阅读 · 0 评论 -
GPT3.5\GPT4系列计算完整prompt token数的官方方法
GPT3.5\GPT4系列计算完整prompt token数的官方方法ChatGPT如何计算token数?原创 2024-02-03 16:16:05 · 1450 阅读 · 0 评论 -
Tensorflow2 GPU版本-极简安装方式
【代码】Tensorflow2 GPU版本-极简安装方式。原创 2024-01-20 23:44:10 · 619 阅读 · 0 评论 -
DrissionPage获取浏览器Network数据包
GitHub - g1879/DrissionPage: 基于python的网页自动化工具。既能控制浏览器,也能收发数据包。可兼顾浏览器自动化的便利性和requests的高效率。功能强大,内置无数人性化设计和便捷功能。语法简洁而优雅,代码量少。基于python的网页自动化工具。既能控制浏览器,也能收发数据包。可兼顾浏览器自动化的便利性和requests的高效率。功能强大,内置无数人性化设计和便捷功能。语法简洁而优雅,代码量少。原创 2024-01-14 07:23:05 · 1319 阅读 · 0 评论 -
Linux完全卸载Anaconda3和MiniConda3
如何安装Anaconda3和MiniConda3请看这篇文章:安装Anaconda3和MiniConda3_minianaconda3-CSDN博客文章浏览阅读474次。MiniConda3官方版是一款优秀的Python环境管理软件。MiniConda3最新版只包含conda及其依赖项如果您更愿意拥有conda以及超过720个开源软件包,请安装Anaconda。MiniConda3官方版还是一个开源的软件包管理系统和环境管理系统,能够帮助用户安装多个版本的软件包。_minianaconda3htt原创 2024-01-13 14:21:01 · 779 阅读 · 0 评论 -
Python调用谷歌翻译API实现文本翻译
使用Python向谷歌翻译URL进行GET请求,得到网页内容后使用正则表达式进行解析,获得翻译结果;本文将用Python调用谷歌翻译API实现文本翻译;原创 2023-12-20 20:46:24 · 184 阅读 · 0 评论 -
ChatGPT如何计算token数?
GPT 不是适用于某一门语言的大型语言模型,它适用于几乎所有流行的自然语言。所以 GPT 的 token 需要几乎人类的所有自然语言,那意味着 GPT 有一个非常全的 token 词汇表,它能表达出所有人类的自然语言。如何实现这个目的呢?Unicode(统一码、万国码、单一码)是一种在计算机上使用的字符编码。Unicode 是为了解决传统的字符编码方案的局限而产生的,它为每种语言中的每个字符设定了统一并且唯一的二进制编码,以满足跨语言、跨平台进行文本转换、处理的要求。原创 2023-12-20 20:20:27 · 869 阅读 · 0 评论 -
FastAPI通过SSE进行流式输出
SSE 是一种在基于浏览器的 Web 应用程序中仅从服务器向客户端发送文本消息的技术。SSE基于 HTTP 协议中的持久连接, 具有由 W3C 标准化的网络协议和 EventSource 客户端接口,作为 HTML5 标准套件的一部分。在服务器推送技术中,服务器在消息可用后立即主动向客户端发送消息。其中,有两种类型的服务器推送:SSE和 WebSocket。那么,在FastAPI中怎么实现呢?原创 2023-11-23 10:01:05 · 1807 阅读 · 0 评论 -
FastAPI实现event-stream响应式流式输出
【代码】FastAPI实现event-stream响应式流式输出。原创 2023-11-22 16:48:14 · 2003 阅读 · 1 评论 -
Python requests请求响应以流stream的方式打印输出
Python requests请求响应以流stream的方式打印输出如果你使用的请求库是requests,那么你必须了解的大模型里的请求怎么响应式的接收并打印出来的。注意:1、如果响应内容过大,可能会占用较多内存空间,需要设置合理的chunk_size参数避免内存溢出。2、如果设置了stream=True,那么不能使用response.text或response.content属性读取响应内容,否则会抛出异常。原创 2023-11-22 16:38:20 · 1223 阅读 · 0 评论 -
深度学习之生成唐诗案例(Pytorch版)
首先数据预处理,将唐诗加载到内存,生成对应的word2idx、idx2word、以及唐诗按顺序的字序列。对于唐诗生成来说,我们定义一个"S" 和 "E"作为开始和结束。TangShiModel.py:唐诗的模型。示例的唐诗大概有40000多首,原创 2023-11-21 11:06:46 · 912 阅读 · 2 评论 -
CrossEntropyLoss计算损失的时候可以传3维或者更高维的变量
红框中的minibatch表示batch_size, C表示class_num,后面可以跟着其他维度。这样就可以使用3维或者更高维的变量!原创 2023-11-20 20:57:24 · 81 阅读 · 0 评论