python
文章平均质量分 54
双天至尊20176
人工智能Developer
展开
-
ollama api只能局域网访问,该怎么破?
ollama api只能局域网访问,该怎么破? ollama离线安装,在CPU运行它所支持的哪些量化的模型 总共需要修改两个点,第一:Ollama下载地址;第二:Ollama安装包存放目录。第二处修改,修改ollama安装目录。第一处修改,注释下载链接。但是安装在服务器上的时候,只能本地服务器上访问接口,域名和ip是访问不到的。ollama离线安装,在CPU运行它所支持的那些量化的模型-CSDN博客。原创 2024-05-13 20:00:13 · 220 阅读 · 0 评论 -
ollama离线安装,在CPU运行它所支持的那些量化的模型
ollama离线安装,在CPU运行它所支持的哪些量化的模型 总共需要修改两个点,第一:Ollama下载地址;第二:Ollama安装包存放目录。第二处修改,修改ollama安装目录。第一处修改,注释下载链接。原创 2024-05-12 21:34:21 · 280 阅读 · 0 评论 -
python代码无法点击进入,如何破???
【代码】python代码无法点击进入,如何破???原创 2024-05-09 21:07:08 · 263 阅读 · 0 评论 -
在Ubuntu 24.04 LTS (Noble Numbat)上安装nfs server以及nfs client
在Ubuntu 24.04 LTS (Noble Numbat)上安装nfs server以及nfs client 在Ubuntu 24.04 LTS (Noble Numbat)上,我使用的是最小化安装,当然server版本的Ubuntu在安装的时候可能会有网络不通的问题,解决办法见如下文章:ubuntu 24.04 server 仅NAT模式上网设置静态IP设置-CSDN博客在Ubuntu 24.04 上设置网络通常涉及使用命令行工具。如果文件不存在,可能是 50-cloud-init.yaml。原创 2024-05-06 19:08:41 · 589 阅读 · 0 评论 -
在Ubuntu 24.04 LTS (Noble Numbat)上搭建Kubernetes1.30集群
准备工作系统准备主机和IP地址准备编辑安装步骤安装前准备关闭防火墙设置服务器时区关闭 swap 分区关闭SELinux配置hosts配置文件转发 IPv4 并让 iptables 看到桥接流量每台机器设置hostname安装容器运行时安装Kubernetes配置并安装apt包初始化集群编辑验证kubernetes是否安装成功安装calico网络插件部署应用原创 2024-05-05 22:27:35 · 1338 阅读 · 0 评论 -
您想拥有一个属于你自己的GPT-3.5-turbo吗?来吧,开始行动起来吧!!!
ubantu安装docker。欢迎来到以用户体验为优先的雨云,我们提供稳定高速的国际虚拟主机,云服务器产品,强大的功能,高效率的客户支持,简洁易用的面板,值得您的信赖。但是,如何你想申请一个openai api key的时候,发现调用失败,直接报Rate Limit!在2024年4月的时候,openai公司宣布GPT-3.5-turbo免费使用,无需注册!在雨云上购买美国的服务器,方便我们的魔法,购买成功后,安装Ubuntu系统。不过没关系,我们另辟捷径!多么激动人心的消息啊!下面就开始我的表演啦!原创 2024-05-02 18:42:18 · 350 阅读 · 1 评论 -
huggingface里如何查看具体任务的评估指标
如果我们在做一个模型训练任务的时候,可能会不知道这个任务在评估的时候使用什么指标,那么huggingface里边为我们提供了参考:下面就来看看吧:点击"Docs":原创 2024-05-02 14:43:12 · 5 阅读 · 0 评论 -
pip install -r requirements.txt时如何安装torch的cuda版本?来看这篇文章吧
pip install -r requirements.txt时如何安装torch的cuda版本?如下命令所示,后面添加 : -f https://download.pytorch.org/whl/torch_stable.html 即可!这样就能很好的安装我们的torch gpu版本了!原创 2024-05-01 10:04:11 · 178 阅读 · 1 评论 -
使用rouge计算指标评估的时候报错:RecursionError: maximum recursion depth exceeded in comparison 的解决方法
使用rouge计算指标评估的时候报错:RecursionError: maximum recursion depth exceeded in comparison 的解决方法。原创 2024-05-01 09:11:01 · 60 阅读 · 0 评论 -
人工智能训练推理必需的日志模块logging
模块存储各种格式的日志,主要用于输出运行日志,可以设置输出日志的等级、日志保存路径、日志文件回滚等。严重程度的级别依次是DEBUG原创 2024-04-27 07:17:37 · 861 阅读 · 0 评论 -
pip设置全局代理
pip设置全局代理pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple原创 2024-04-26 13:55:39 · 94 阅读 · 0 评论 -
Ubuntu 系统使用 root 用户登录
Ubuntu 系统在安装过程中默认不设置 root 帐户和密码。如有需要,可在设置中开启允许 root 用户登录。3.输入 root 的密码,按 Enter。返回如下信息,即表示 root 密码设置成功。8.按 Esc,输入 :wq,保存文件并返回。1.使用 ubuntu 帐户登录服务器。2.执行以下命令,设置 root 密码。4.重复输入 root 的密码,按。9.执行以下命令,重启 ssh 服务。5.执行以下命令,打开。10.重启ssh服务。原创 2024-04-25 09:13:32 · 202 阅读 · 2 评论 -
Ubuntu关闭防火墙、关闭selinux、关闭swap
【代码】Ubuntu打开和关闭防火墙的正确方式。打开终端,然后输入如下命令,查看防火墙状态:sudo ufw status开启防火墙命令如下:sudo ufw enable关闭防火墙命令如下:sudo ufw disable关闭selinux关闭swap原创 2024-04-25 08:23:00 · 304 阅读 · 0 评论 -
pytorch最新版源码编译,支持CUDA、cuDNN,干货满满,亲测有效
pytorch的源码在github上,网址如下:https://github.com/pytorch/pytorchhttps://github.com/pytorch/pytorch安装cuda版本的需要CUDA Toolkit 12.4 Update 1 Downloads | NVIDIA Developerhttps://developer.nvidia.com/cuda-downloads 安装了上面两步后,会自动安装nvcc。12.04 - How do I set up ccache? - A原创 2024-04-24 23:18:14 · 1531 阅读 · 0 评论 -
python相对路径导包与绝对路径导包的正确方式
python导包的难题,今天解决了,相对路径导包和绝对路径导包,均可以!这里面的水可深了(爬虫/数据分析),【全748集】字节大佬终于把Python做成了漫画书,通俗易懂,2024最新内部版,学完即就业!,2024版-零基础玩转Python Django5项目实战-学完可就业,Vitual Box安装Centos Stream9,Python爱心代码(附源码),新版C#从入门到精通全套视频教程(180集全),上分利器?用Python自动化脚本训练AI玩王者荣耀,秀得我头皮发麻,轻松爆打本地人!原创 2024-04-04 17:59:26 · 719 阅读 · 0 评论 -
huggingface使用git上传model或者Dataset到HF,当然也可以上传代码,以及大文件,很哇塞!!!
huggingface使用git上传model或者Dataset到HF,当然也可以上传代码,以及大文件,很哇塞!!!第一次使用时,需要使用设置系统全局的huggingface token,这。点击huggingface首页右上角的头像 → settings → access tokens,创建一个write权限的token,名字可以随便取。原创 2024-04-04 09:58:41 · 319 阅读 · 0 评论 -
fastllm在CPU上推理ChatGLM3-6b,即使使用CPU依然推理速度很快,就来看这篇文章
GitHub - ztxz16/fastllm: 纯c++的全平台llm加速库,支持python调用,chatglm-6B级模型单卡可达10000+token / s,支持glm, llama, moss基座,手机端流畅运行纯c++的全平台llm加速库,支持python调用,chatglm-6B级模型单卡可达10000+token / s,支持glm, llama, moss基座,手机端流畅运行 - ztxz16/fastllmfastllm是纯c++实现,无第三方依赖的高性能大模型推理库。原创 2024-03-30 22:01:04 · 854 阅读 · 0 评论 -
fastllm将chatglm3-6b转成flm文件的正确方式
【代码】fastllm将chatglm3-6b转成flm文件的正确方式。原创 2024-03-30 18:48:43 · 165 阅读 · 0 评论 -
modelscope里运行chatglm3-6b
【代码】modelscope里运行chatglm3-6b。原创 2024-03-30 17:14:44 · 137 阅读 · 0 评论 -
fastllm在CPU上推理ChatGLM2-6b,即使使用CPU依然推理速度很快,就来看这篇文章
GitHub - ztxz16/fastllm: 纯c++的全平台llm加速库,支持python调用,chatglm-6B级模型单卡可达10000+token / s,支持glm, llama, moss基座,手机端流畅运行纯c++的全平台llm加速库,支持python调用,chatglm-6B级模型单卡可达10000+token / s,支持glm, llama, moss基座,手机端流畅运行 - ztxz16/fastllmfastllm是纯c++实现,无第三方依赖的高性能大模型推理库。原创 2024-03-30 13:32:22 · 844 阅读 · 0 评论 -
Pytorch多机多卡分布式训练
Pytorch多机多卡分布式训练-nproc_per_node 指的是每个阶段的进程数,这里第一台8个GPU,第二台6个GPU。--node_rank 节点rank,对于第一台机器是0,第二台机器是1。--master_addr 主节点的ip,这里我填的第一台机器的ip。--nnodes 节点数,这里是两机,所以是2。--master_port 主节点的端口号。原创 2024-03-27 20:06:15 · 374 阅读 · 0 评论 -
torchrun在验证集使用一个GPU时报NCCL超时:Watchdog caught collective operation timeout的解决方案
有时候在分布式训练时,可能会出现nccl通信超时的问题,出现的原因好像是在某些数据处理、加载等过程,多个进程一起完成,但是某些计算(比如loss具体不知道都有啥)需要rank0自己来做,但是由于默认的30分钟没算完,没完成不同rank之间的正常通信,导致报错。增加超时时间:你可以尝试增加NCCL操作的超时时间。在PyTorch中,你可以通过设置。原创 2024-03-26 20:28:07 · 848 阅读 · 0 评论 -
向量数据库milvus的docker compose安装
2、将milvus-standalone-docker-compose.yml放到milvus文件夹内,改名为docker-compose.yml。将milvus-standalone-docker-compose.yml下载到本地。5、再次执行docker compose up -d。访问:http://IP:8000,即可看到如下界面。4、执行docker compose down。加入到docker-compose.yml。这个可以看到milvus的操作。1、新建一个目录milvus。原创 2023-10-15 18:56:16 · 1176 阅读 · 0 评论 -
miniconda和miniforge之间,我选miniforge
Miniconda和Miniforge是Anaconda发行版的轻量级版本。Anaconda是一个用于科学计算的Python发行版,它包含了大量的科学计算和数据分析库。然而,对于某些用户来说,Anaconda可能过于庞大或不必要。因此,Miniconda和Miniforge作为更加精简的替代选择出现。Miniconda是一个仅包含Python和conda包管理器的最小发行版。它提供了一个最小化的开发环境,并允许用户根据自己的需要安装所需的库和工具。原创 2024-03-16 12:46:31 · 1171 阅读 · 0 评论 -
解决使用torch.cuda.empty_cache()仍然GPU显存无法释放的问题
使用pytorch设置多线程(threads)进行数据读取(DataLoader),其实是假的多线程,他是开了N个子进程(PID都连着)进行模拟多线程工作,所以你的程序跑完或者中途kill掉主进程的话,子进程的GPU显存并不会被释放,需要手动一个一个kill才行.在开发的过程中,程序已经关闭,但是GPU显存无法释放,在使用pytorch写程序的时候, 有时候会在控制台终止掉正在运行的程序,但是有时候程序已经结束了,nvidia-smi也看到没有程序了,但是GPU的内存并没有释放,这是怎么回事呢?原创 2024-03-13 20:05:54 · 615 阅读 · 0 评论 -
Google Colab运行.py文件
Google Colab运行.py文件原创 2024-03-10 17:45:27 · 254 阅读 · 0 评论 -
pandas逐行追加到csv的正确方式
【代码】pandas逐行追加到csv的正确方式。原创 2024-03-10 16:47:38 · 227 阅读 · 0 评论 -
tensorflow2.10 GPU版本官方安装的正确方式,亲测有效
tensorflow2.10 GPU版本官方安装的正确方式,点击上面的链接,选择右上角的语言为英文,选择"Windows Native",安装步骤:1、用conda创建一个环境:这里强调要python3.9的环境2、激活环境,在该环境下进行操作3、验证是否GPU版安装成功原创 2024-02-21 06:52:14 · 322 阅读 · 0 评论 -
tf.linspace时出现Could not find valid device for node.
背景:在使用tensorflow2.x的时候,当使用tf.linspace的时候会出现如下的报错:解决方案:查看官方文档:上面说的很清楚,start、stop必须是float类型的,原创 2024-02-17 10:46:21 · 162 阅读 · 0 评论 -
Keras的默认下载位置
Keras的默认下载位置,总之,.keras/目录都是放在用户的 "home" 目录下。原创 2024-02-16 16:56:32 · 231 阅读 · 0 评论 -
训练集,验证集,测试集比例
在神经网络中, 我们用验证数据集去寻找最优的网络深度(number of hidden layers),或者决定反向传播算法的停止点或者在神经网络中选择隐藏层神经元的数量;在普通的机器学习中常用的交叉验证(Cross Validation) 就是把训练数据集本身再细分成不同的验证数据集去训练模型。原创 2024-02-07 20:04:59 · 482 阅读 · 0 评论 -
安装Pytorch中的torchtext之CUDA版的正确方式
安装Pytorch中的torchtext之CUDA版的正确方式:安装Pytorch和torchtext,只需将torchtext的版本和torchvision的版本一致即可:原创 2024-02-07 19:50:13 · 568 阅读 · 0 评论 -
Pytorch模型转ONNX模型并运行
onnx(Open Neural Network Exchange)主要用于部署,训练一般使用pytorch和tensorflow,等训练完成,我们需要模型转成onnx,用于部署在云或者边缘计算上。而为什么要要转成onnx模型呢,主要是因为onnx没有训练,只有推理,速度很快,而且目前大多数芯片都适配onnx模型,相当于一个通用莫模型,易部署,而且速度快。原创 2024-02-03 16:35:16 · 753 阅读 · 0 评论 -
GPT3.5\GPT4系列计算完整prompt token数的官方方法
GPT3.5\GPT4系列计算完整prompt token数的官方方法ChatGPT如何计算token数?原创 2024-02-03 16:16:05 · 1514 阅读 · 0 评论 -
Tensorflow2 GPU版本-极简安装方式
【代码】Tensorflow2 GPU版本-极简安装方式。原创 2024-01-20 23:44:10 · 622 阅读 · 0 评论 -
conda国内加速
conda国内加速原创 2024-01-20 22:36:36 · 990 阅读 · 0 评论 -
DrissionPage获取浏览器Network数据包
GitHub - g1879/DrissionPage: 基于python的网页自动化工具。既能控制浏览器,也能收发数据包。可兼顾浏览器自动化的便利性和requests的高效率。功能强大,内置无数人性化设计和便捷功能。语法简洁而优雅,代码量少。基于python的网页自动化工具。既能控制浏览器,也能收发数据包。可兼顾浏览器自动化的便利性和requests的高效率。功能强大,内置无数人性化设计和便捷功能。语法简洁而优雅,代码量少。原创 2024-01-14 07:23:05 · 1349 阅读 · 0 评论 -
Python自动化我选DrissionPage,弃用Selenium
DrissionPage 是一个基于 python 的网页自动化工具。它既能控制浏览器,也能收发数据包,还能把两者合而为一。可兼顾浏览器自动化的便利性和 requests 的高效率。它功能强大,内置无数人性化设计和便捷功能。它的语法简洁而优雅,代码量少,对新手友好。原创 2024-01-13 18:10:10 · 2334 阅读 · 0 评论 -
Linux完全卸载Anaconda3和MiniConda3
如何安装Anaconda3和MiniConda3请看这篇文章:安装Anaconda3和MiniConda3_minianaconda3-CSDN博客文章浏览阅读474次。MiniConda3官方版是一款优秀的Python环境管理软件。MiniConda3最新版只包含conda及其依赖项如果您更愿意拥有conda以及超过720个开源软件包,请安装Anaconda。MiniConda3官方版还是一个开源的软件包管理系统和环境管理系统,能够帮助用户安装多个版本的软件包。_minianaconda3htt原创 2024-01-13 14:21:01 · 870 阅读 · 0 评论 -
Python装饰器的专业解释
Python装饰器的专业解释装饰器,其实是用到了闭包的原理来进行操作的。原创 2023-12-30 18:40:52 · 520 阅读 · 0 评论