![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
文章平均质量分 53
Linux1991gnu
人工智能Developer
展开
-
机器翻译BPE编码与subword-nmt碰撞出火花
2016年左右(该论文发表于2016)Neural machine translation(NMT)中有着一个众所周知的问题——稀有词与未知词的翻译问题。一般来说,神经网络中的词表被限制在30000-50000个词汇,但是对于翻译来说,各种词汇都可能出现(比如英语中的复合词汇,网络新词等),这种限制无疑使问题解决得效果大打折扣。原创 2024-07-12 14:57:16 · 490 阅读 · 0 评论 -
模型加载20G以上的超大语料,无法加载,怎么办呢?
在做机器翻译的时候,我们的单边语料大约20G大小的纯文本语料,在DataLoader加载的时候不可能一次性加载进来,所以就有了这个超大语料的加载问题。主要就是通过记录每行的偏移量的方式来记录文本位置!原创 2024-07-12 14:37:45 · 186 阅读 · 0 评论 -
深入理解model.eval()与torch.no_grad()
使用model.eval()切换到测试模式,不会更新模型的w(权重),b(偏置)参数通知dropout层和batchnorm层在train和val中间进行切换:在train模式,dropout层会按照设定的参数p设置保留激活单元的概率(保留概率=p,比如keep_prob=0.8),batchnorm层会继续计算数据的mean和var并进行更新在val模式下,dropout层会让所有的激活单元都通过,而batchnorm层会停止计算和更新mean和var,直接使用在训练阶段已经学出的mean和var值原创 2024-07-10 18:36:28 · 158 阅读 · 0 评论 -
Ubuntu24.04 apt换国内源 清华源 阿里源 中科大源 163源
作为 LTS 版本,它会有 5 年的常规维护和安全更新。如果订阅 Ubuntu Pro,还能享受额外7年的支持。也就是说, Ubuntu Pro将享有长达 12 年的系统更新保障!接下来,我们将重点介绍 Ubuntu 24.04 LTS 中那些值得关注的新特性,以方便你决定是否进行升级。Ubuntu 24.04 LTS,代号 「Noble Numbat」,即将与我们见面!Canonical 已经宣布, Ubuntu 24.04 LTS。源文件地址 已经更换为。原创 2024-06-30 17:18:31 · 254 阅读 · 0 评论 -
Rocky Linux设置静态IP
【代码】Rocky Linux设置静态IP。原创 2024-06-22 22:35:19 · 443 阅读 · 0 评论 -
Rocky Linux archive下载地址
Index of /vault/rocky/https://dl.rockylinux.org/vault/rocky/原创 2024-06-22 22:03:04 · 193 阅读 · 0 评论 -
Centos Stream9 和Centos Stream10的下载网址
Centos Stream9 和Centos Stream10的下载网址原创 2024-06-22 15:33:50 · 447 阅读 · 0 评论 -
大模型下nohup运行后台进程
在大模型的情况下,往往可以使用screen命令进行操作,但是screen不能操作写入日志,因此,为了保留痕迹,使用nohup进行操作后台运行。原创 2024-06-22 10:53:20 · 191 阅读 · 0 评论 -
Windows下设置pip代理(proxy)
但是,当这台被限制上网时(公司安全考虑)就不能连外网了,如果懒得一个个下载,又懒得找运维开网络权限时,可以选择设置代理来解决。正常网络情况下我们安装如果比较多的python包时,会选择使用这种。2、打开上图的文件夹中的文件pip.ini。1、命令设置代理,生成pip.ini文件。国内的镜像来加快下载速度。原创 2024-06-03 23:06:46 · 633 阅读 · 0 评论 -
VSCode配置cuda C++编程代码提示的详细步骤
VSCode配置cuda C++编程代码提示的详细步骤:1、cuda编译环境的安装:2、配置nvcc命令以及库函数的指向3、vscode里安装如下的插件:4、wsl ubuntu安装后以及三个插件安装后的工作原创 2024-03-16 13:51:37 · 676 阅读 · 0 评论 -
WSL卸载子系统
【代码】WSL卸载子系统。原创 2024-05-19 04:57:17 · 143 阅读 · 0 评论 -
ollama api只能局域网访问,该怎么破?
ollama api只能局域网访问,该怎么破? ollama离线安装,在CPU运行它所支持的哪些量化的模型 总共需要修改两个点,第一:Ollama下载地址;第二:Ollama安装包存放目录。第二处修改,修改ollama安装目录。第一处修改,注释下载链接。但是安装在服务器上的时候,只能本地服务器上访问接口,域名和ip是访问不到的。ollama离线安装,在CPU运行它所支持的那些量化的模型-CSDN博客。原创 2024-05-13 20:00:13 · 468 阅读 · 0 评论 -
ollama离线安装,在CPU运行它所支持的那些量化的模型
ollama离线安装,在CPU运行它所支持的哪些量化的模型 总共需要修改两个点,第一:Ollama下载地址;第二:Ollama安装包存放目录。第二处修改,修改ollama安装目录。第一处修改,注释下载链接。原创 2024-05-12 21:34:21 · 624 阅读 · 0 评论 -
python代码无法点击进入,如何破???
【代码】python代码无法点击进入,如何破???原创 2024-05-09 21:07:08 · 290 阅读 · 0 评论 -
在Ubuntu 24.04 LTS (Noble Numbat)上安装nfs server以及nfs client
在Ubuntu 24.04 LTS (Noble Numbat)上安装nfs server以及nfs client 在Ubuntu 24.04 LTS (Noble Numbat)上,我使用的是最小化安装,当然server版本的Ubuntu在安装的时候可能会有网络不通的问题,解决办法见如下文章:ubuntu 24.04 server 仅NAT模式上网设置静态IP设置-CSDN博客在Ubuntu 24.04 上设置网络通常涉及使用命令行工具。如果文件不存在,可能是 50-cloud-init.yaml。原创 2024-05-06 19:08:41 · 748 阅读 · 0 评论 -
在Ubuntu 24.04 LTS (Noble Numbat)上搭建Kubernetes1.30集群
准备工作系统准备主机和IP地址准备编辑安装步骤安装前准备关闭防火墙设置服务器时区关闭 swap 分区关闭SELinux配置hosts配置文件转发 IPv4 并让 iptables 看到桥接流量每台机器设置hostname安装容器运行时安装Kubernetes配置并安装apt包初始化集群编辑验证kubernetes是否安装成功安装calico网络插件部署应用原创 2024-05-05 22:27:35 · 1532 阅读 · 0 评论 -
您想拥有一个属于你自己的GPT-3.5-turbo吗?来吧,开始行动起来吧!!!
ubantu安装docker。欢迎来到以用户体验为优先的雨云,我们提供稳定高速的国际虚拟主机,云服务器产品,强大的功能,高效率的客户支持,简洁易用的面板,值得您的信赖。但是,如何你想申请一个openai api key的时候,发现调用失败,直接报Rate Limit!在2024年4月的时候,openai公司宣布GPT-3.5-turbo免费使用,无需注册!在雨云上购买美国的服务器,方便我们的魔法,购买成功后,安装Ubuntu系统。不过没关系,我们另辟捷径!多么激动人心的消息啊!下面就开始我的表演啦!原创 2024-05-02 18:42:18 · 451 阅读 · 1 评论 -
huggingface里如何查看具体任务的评估指标
如果我们在做一个模型训练任务的时候,可能会不知道这个任务在评估的时候使用什么指标,那么huggingface里边为我们提供了参考:下面就来看看吧:点击"Docs":原创 2024-05-02 14:43:12 · 26 阅读 · 0 评论 -
pip install -r requirements.txt时如何安装torch的cuda版本?来看这篇文章吧
pip install -r requirements.txt时如何安装torch的cuda版本?如下命令所示,后面添加 : -f https://download.pytorch.org/whl/torch_stable.html 即可!这样就能很好的安装我们的torch gpu版本了!原创 2024-05-01 10:04:11 · 391 阅读 · 1 评论 -
使用rouge计算指标评估的时候报错:RecursionError: maximum recursion depth exceeded in comparison 的解决方法
使用rouge计算指标评估的时候报错:RecursionError: maximum recursion depth exceeded in comparison 的解决方法。原创 2024-05-01 09:11:01 · 108 阅读 · 0 评论 -
人工智能训练推理必需的日志模块logging
模块存储各种格式的日志,主要用于输出运行日志,可以设置输出日志的等级、日志保存路径、日志文件回滚等。严重程度的级别依次是DEBUG原创 2024-04-27 07:17:37 · 907 阅读 · 1 评论 -
pip设置全局代理
pip设置全局代理pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple原创 2024-04-26 13:55:39 · 144 阅读 · 0 评论 -
Ubuntu 系统使用 root 用户登录
Ubuntu 系统在安装过程中默认不设置 root 帐户和密码。如有需要,可在设置中开启允许 root 用户登录。3.输入 root 的密码,按 Enter。返回如下信息,即表示 root 密码设置成功。8.按 Esc,输入 :wq,保存文件并返回。1.使用 ubuntu 帐户登录服务器。2.执行以下命令,设置 root 密码。4.重复输入 root 的密码,按。9.执行以下命令,重启 ssh 服务。5.执行以下命令,打开。10.重启ssh服务。原创 2024-04-25 09:13:32 · 453 阅读 · 2 评论 -
Ubuntu关闭防火墙、关闭selinux、关闭swap
【代码】Ubuntu打开和关闭防火墙的正确方式。打开终端,然后输入如下命令,查看防火墙状态:sudo ufw status开启防火墙命令如下:sudo ufw enable关闭防火墙命令如下:sudo ufw disable关闭selinux关闭swap原创 2024-04-25 08:23:00 · 899 阅读 · 0 评论 -
pytorch最新版源码编译,支持CUDA、cuDNN,干货满满,亲测有效
pytorch的源码在github上,网址如下:https://github.com/pytorch/pytorchhttps://github.com/pytorch/pytorch安装cuda版本的需要CUDA Toolkit 12.4 Update 1 Downloads | NVIDIA Developerhttps://developer.nvidia.com/cuda-downloads 安装了上面两步后,会自动安装nvcc。12.04 - How do I set up ccache? - A原创 2024-04-24 23:18:14 · 1595 阅读 · 0 评论 -
python相对路径导包与绝对路径导包的正确方式
python导包的难题,今天解决了,相对路径导包和绝对路径导包,均可以!这里面的水可深了(爬虫/数据分析),【全748集】字节大佬终于把Python做成了漫画书,通俗易懂,2024最新内部版,学完即就业!,2024版-零基础玩转Python Django5项目实战-学完可就业,Vitual Box安装Centos Stream9,Python爱心代码(附源码),新版C#从入门到精通全套视频教程(180集全),上分利器?用Python自动化脚本训练AI玩王者荣耀,秀得我头皮发麻,轻松爆打本地人!原创 2024-04-04 17:59:26 · 793 阅读 · 0 评论 -
huggingface使用git上传model或者Dataset到HF,当然也可以上传代码,以及大文件,很哇塞!!!
huggingface使用git上传model或者Dataset到HF,当然也可以上传代码,以及大文件,很哇塞!!!第一次使用时,需要使用设置系统全局的huggingface token,这。点击huggingface首页右上角的头像 → settings → access tokens,创建一个write权限的token,名字可以随便取。原创 2024-04-04 09:58:41 · 649 阅读 · 0 评论 -
fastllm在CPU上推理ChatGLM3-6b,即使使用CPU依然推理速度很快,就来看这篇文章
GitHub - ztxz16/fastllm: 纯c++的全平台llm加速库,支持python调用,chatglm-6B级模型单卡可达10000+token / s,支持glm, llama, moss基座,手机端流畅运行纯c++的全平台llm加速库,支持python调用,chatglm-6B级模型单卡可达10000+token / s,支持glm, llama, moss基座,手机端流畅运行 - ztxz16/fastllmfastllm是纯c++实现,无第三方依赖的高性能大模型推理库。原创 2024-03-30 22:01:04 · 943 阅读 · 0 评论 -
fastllm将chatglm3-6b转成flm文件的正确方式
【代码】fastllm将chatglm3-6b转成flm文件的正确方式。原创 2024-03-30 18:48:43 · 183 阅读 · 0 评论 -
modelscope里运行chatglm3-6b
【代码】modelscope里运行chatglm3-6b。原创 2024-03-30 17:14:44 · 164 阅读 · 0 评论 -
fastllm在CPU上推理ChatGLM2-6b,即使使用CPU依然推理速度很快,就来看这篇文章
GitHub - ztxz16/fastllm: 纯c++的全平台llm加速库,支持python调用,chatglm-6B级模型单卡可达10000+token / s,支持glm, llama, moss基座,手机端流畅运行纯c++的全平台llm加速库,支持python调用,chatglm-6B级模型单卡可达10000+token / s,支持glm, llama, moss基座,手机端流畅运行 - ztxz16/fastllmfastllm是纯c++实现,无第三方依赖的高性能大模型推理库。原创 2024-03-30 13:32:22 · 887 阅读 · 0 评论 -
Pytorch多机多卡分布式训练
Pytorch多机多卡分布式训练-nproc_per_node 指的是每个阶段的进程数,这里第一台8个GPU,第二台6个GPU。--node_rank 节点rank,对于第一台机器是0,第二台机器是1。--master_addr 主节点的ip,这里我填的第一台机器的ip。--nnodes 节点数,这里是两机,所以是2。--master_port 主节点的端口号。原创 2024-03-27 20:06:15 · 792 阅读 · 0 评论 -
torchrun在验证集使用一个GPU时报NCCL超时:Watchdog caught collective operation timeout的解决方案
有时候在分布式训练时,可能会出现nccl通信超时的问题,出现的原因好像是在某些数据处理、加载等过程,多个进程一起完成,但是某些计算(比如loss具体不知道都有啥)需要rank0自己来做,但是由于默认的30分钟没算完,没完成不同rank之间的正常通信,导致报错。增加超时时间:你可以尝试增加NCCL操作的超时时间。在PyTorch中,你可以通过设置。原创 2024-03-26 20:28:07 · 2043 阅读 · 0 评论 -
向量数据库milvus的docker compose安装
2、将milvus-standalone-docker-compose.yml放到milvus文件夹内,改名为docker-compose.yml。将milvus-standalone-docker-compose.yml下载到本地。5、再次执行docker compose up -d。访问:http://IP:8000,即可看到如下界面。4、执行docker compose down。加入到docker-compose.yml。这个可以看到milvus的操作。1、新建一个目录milvus。原创 2023-10-15 18:56:16 · 1241 阅读 · 0 评论 -
miniconda和miniforge之间,我选miniforge
Miniconda和Miniforge是Anaconda发行版的轻量级版本。Anaconda是一个用于科学计算的Python发行版,它包含了大量的科学计算和数据分析库。然而,对于某些用户来说,Anaconda可能过于庞大或不必要。因此,Miniconda和Miniforge作为更加精简的替代选择出现。Miniconda是一个仅包含Python和conda包管理器的最小发行版。它提供了一个最小化的开发环境,并允许用户根据自己的需要安装所需的库和工具。原创 2024-03-16 12:46:31 · 1454 阅读 · 0 评论 -
解决使用torch.cuda.empty_cache()仍然GPU显存无法释放的问题
使用pytorch设置多线程(threads)进行数据读取(DataLoader),其实是假的多线程,他是开了N个子进程(PID都连着)进行模拟多线程工作,所以你的程序跑完或者中途kill掉主进程的话,子进程的GPU显存并不会被释放,需要手动一个一个kill才行.在开发的过程中,程序已经关闭,但是GPU显存无法释放,在使用pytorch写程序的时候, 有时候会在控制台终止掉正在运行的程序,但是有时候程序已经结束了,nvidia-smi也看到没有程序了,但是GPU的内存并没有释放,这是怎么回事呢?原创 2024-03-13 20:05:54 · 858 阅读 · 0 评论 -
Google Colab运行.py文件
Google Colab运行.py文件原创 2024-03-10 17:45:27 · 341 阅读 · 0 评论 -
pandas逐行追加到csv的正确方式
【代码】pandas逐行追加到csv的正确方式。原创 2024-03-10 16:47:38 · 323 阅读 · 0 评论 -
tensorflow2.10 GPU版本官方安装的正确方式,亲测有效
tensorflow2.10 GPU版本官方安装的正确方式,点击上面的链接,选择右上角的语言为英文,选择"Windows Native",安装步骤:1、用conda创建一个环境:这里强调要python3.9的环境2、激活环境,在该环境下进行操作3、验证是否GPU版安装成功原创 2024-02-21 06:52:14 · 433 阅读 · 0 评论 -
tf.linspace时出现Could not find valid device for node.
背景:在使用tensorflow2.x的时候,当使用tf.linspace的时候会出现如下的报错:解决方案:查看官方文档:上面说的很清楚,start、stop必须是float类型的,原创 2024-02-17 10:46:21 · 169 阅读 · 0 评论