victor_manches的博客

今天给大家分享40个 python 日常使用最频繁的自动化脚本。

今天给大家分享20个 python 日常使用最频繁的自动化脚本。

当你已经用Python编程一段时间，或许对StackOverflow也变得熟悉，可能就会想要一些脚本来提升你的编程水平。本文将介绍20个实用的Python脚本，它们不仅能帮你在同事中脱颖而出，还能自动化那些看似不可能的任务，甚至解决你未曾意识到的问题。我们不只讨论基本的抓取或HTTP请求，而是更深入的内容。让我们开始探索吧！

Hugging Face提供了一个庞大的预训练模型库，这些模型覆盖了文本分类、命名实体识别、情感分析、问答等多种NLP任务。这些模型包括BERT、RoBERTa、GPT-2等，它们在各自的领域都取得了显著的成功。通过上述步骤，我们可以看到ModelScope如何方便地集成和使用Hugging Face的模型。从模型的下载、训练、评估到推理，ModelScope提供了一套完整的解决方案，使得用户可以专注于模型的应用和业务逻辑，而无需过多关注底层的实现细节。

对照了下2080Ti系列都是Turing 架构， 所以不支持，所以只有P系列 / V系列 / A / H 系列 以及30XX以上才行。去DeepSpeed官网看了一眼，英伟达只支持Pascal / Volta / Ampere / Hopper 架构。跑deepspeed 代码，环境都支持但是用的2080Ti的显卡，不支持Zero框架。以常见的英伟达显卡系列架构。

范例：用于定义文件规范的版本。范例：适合需要自定义镜像的场景。范例：如加载文件中的数据库密码。范例：挂载主机目录到容器目录。范例：包括服务名称、镜像信息和容器配置。以下是 docker-compose 文件的常用字段分类和用途解析，附带简单的范例说明。范例：如 web 服务依赖 db 和 redis。范例：定义服务副本数和更新策略。范例：如 my_nginx。范例：挂载应用程序配置到容器。范例：将主机 8080 映射到容器的 80。范例：如 always 表示容器总是自动重启。

在确定了官网说的几个要素pytorch / cuda / ninja / packaging 都装好了之后，对应版本去官网对应的下载地址 ，找到自己对应的文件 ，https://github.com/bdashore3/flash-attention/releases ，下好了之后pip 安装 xxxx.whl就可以了。最近在搞TGI，然后就需要安装对应版本2.6.1的flash_attention，按照官网上的几大要素都是ok的，结果安装还是卡死，查了查感觉也没有很好的解释。

这里主要阐述的是Lora与LLM合并后，可以直接由Transformer的AutoModel去加载与推理。这里就不再赘述了，大概原理就是。

flash attention是一个用于加速模型训练推理的可选项，且仅适用于Turing、Ampere、Ada、Hopper架构的Nvidia GPU显卡（如H100、A100、RTX X090、T4）2.如果不支持，将模型文件夹中的config.json文件中的use_flash_attn改为false。1.首先检查一下GPU是否支持：FlashAttention。3.如果支持，将FlashAttention升级版本。use_flash_attn参数名称可能会有些不同。

接上文，在解决了catboost可以做多任务回归之后，shap又遇到了kernel崩溃的问题，心态崩溃ing，如下图。既然是深度太深了爆内存，那么就把catboost的树的深度降到最低就好了，我这里试了试大概是5层。在尝试了各种解决方法之后，发现是因为SHAP跑的时候，树的深度太深会使得内存爆掉。吐槽一下SHAP网上资料太少了。

Catboost 默认用的回归的损失是RMSE，所以针对多变量的回归任务/分类任务需要更改损失函数。

今天远程用todesk 和向日葵连接对方ubuntu22.04 LTS的 电脑，无法连接，一开始以为是防火墙问题，后来发现不是，找了半天资料最后解决。把#WaylandEnable=false前的#号删掉 ， 按ctrl + x保存退出。没有安装X11桌面环境，还是原先的wayland。打开配置确认是x1桌面，成功！

使用vscode 用git 拉取代码，提示：在签出前，请清理存储库工作树**git仓库上的代码和本地代码存在冲突了所以会报这个报错。

其次需要注意的是由于我电脑只装了wps，所以在下面的clinet.启动的是kwps.Application 如果你装了word 就启动word。最后就利用docx直接提取里面的文字就行了，但是如果是图片格式的话，需要利用OCR，感兴趣的可以留言，可以后期发。docx可以直接处理docx文件，但是对于doc格式的文件需要转换一下，转换代码如下，

好不容易部署的Vercel，发现APIkeys过期了显示，查了查资料发现只要更新下新的apikeys，然后再重新部署下就好了。

Midjourney 使用教程

Midjourney保姆级教程

如题，原本是装在F盘的Vscode然后由于自己把F盘删了，所以再装vscode的时候就显示。这是因为非正常移动/卸载vscode导致的，所以二话不说直接上干货！

CUDA Driver API 显卡驱动, 驱动API 也是当前驱动支持的最高CUDA版本，就是平时你看电影打游戏的时候装的驱动，这里是越高越好。装完了可以确认下是不是自动配置了环境变量,打开终端输入下面bash指令，就可以看到加入了，那就欧了，如果没有加可以自己配置下新的环境变量就可以了。虽然我的torch.cuda是ture,但是在编译的时候用的主还是CUDA所以这里编译的时候就报错了。， 不用删除之前的CUDA版本，只要下对应的pytorch对应的CUDA版本以及下好对应。

今天需要把一个python文件转换成exe文件部署给其他人用，然后按照网上的方法用pyinstaller执行打包文件。然后，就遇到了深坑，按照作者给的方法改了test.spec 文件然后再去执行pyinstaller之后，还是没解决,国内百度一下告诉我的都跟作者说的一样，并没什么ruan用。去github上提问了，上面大神给出了一个建议，让我重新安装下环境，只放整个文件需要的包。。

今天在想创建一个新的环境于是乎打开终端执行了一波接下来就给来了一大波报错。。。看着令人发出。