qq_38148600的博客

原创 读取utf-8和ansi两种格式的文件数据

try:

原创 下载官方llama

每个账号只能填一次申请表，只要国家填了中国，目前是百分百被拒绝（试了三个号，地址写中国都被拒）。核心方法，切换为别的国家ip地址，然后填写别的国家，申请经过一段较长时间（大概10-30分钟），差不多就能通过。转换为safetensors格式（hugging face版本）（视频是llama2，下载llama3是另外一个git）需要不停的更换节点，一直到合适为止。有好心人号称上传了GGUF格式。不出意外的话，会报403错误。这是因为对方屏蔽了你的地址（具体可以看这个B站视频。然后输入申请到的链接。

原创 excel方向键生效，无法上下格移动

windows下面，运行（windows徽标键+R），输入osk。然后就会弹出一个虚拟键盘。

原创 按照数字顺序读取文件

读取文件夹下面的txt，希望按照顺序读取，而不是1,10,100,2（['0.txt', '1.txt', '10.txt', '100.txt', '101.txt', '102.txt', '103.txt', '104.txt）这样读取。# 按照文件名中的数字排序。

原创 从头安装基于linux的大模型框架

参考这个视频。

转载 自己搭建简单服务器

推荐一款免费的内网穿透工具——cpolar，不限制流量，支持http/https/tcp协议，免费套餐有4条隧道可以用，1M的带宽，不过基本的测试发布都可以满足，无需公网IP。如果想要使用固定的域名访问，增大带宽，可以升级cpolar套餐。PS：cpolar付费套餐支持21天退款保证。cpolar官网：https://www.cpolar.com/首先下载安装phpstudy。

原创 Ubuntu - 安装向日葵与设置其开机自启

Ubuntu - 安装向日葵与设置其开机自启_ubuntu xiangrikui kaijiziqidong-CSDN博客

原创 Ubuntu小键盘消失，并且安装好搜狗输入法后无法打出中文的问题

Ubuntu右上角的键盘图标不见了_ubuntu虚拟机键盘选项消失了-CSDN博客

原创 liunx装了torch-cuda，运行的却是cpu版的torch

重装pytorch和CUDA也无济于事，后面查到是因为ubuntu在。正常运行下面测试代码，但是显示的是cpu。出现的问题，重启服务器。

原创 linux安装git

Git安装和使用(Linux系统)_linux安装git-CSDN博客

原创 ubuntu安装搜狗输入法

Ubuntu安装搜狗输入法以及入坑和填坑教程_dpkg: error processing package sogoupinyin (--inst-CSDN博客

原创 Ubuntu环境下移动硬盘不能新建文件夹,不能粘贴的问题

原创 ubuntu 如何给外接盘重命名

ubuntu重命名（移动）硬盘_ubuntu 移动硬盘重命名-CSDN博客ubuntu重命名硬盘 - CSDN文库

原创 ubuntu将软件放到任务栏

请将“/path/to/PyCharm.sh”替换为实际的PyCharm启动脚本路径。如果不知道PyCharm的安装路径，可以在PyCharm安装目录下查找名为“bin”的文件夹，并找到名为“idea.sh”的文件。

原创 ubuntu创建txt

【代码】ubuntu创建txt。

原创 构建本地服务器网站

推荐一款免费的内网穿透工具——cpolar，不限制流量，支持http/https/tcp协议，免费套餐有4条隧道可以用，1M的带宽，不过基本的测试发布都可以满足，无需公网IP。选择localhost 80的默认站点，点击管理，弹出下拉菜单，选择打开网站，会弹出浏览器，打开本地默认站点http://localhost。隧道创建成功后，可以在“状态——在线隧道列表”，查看到刚刚创建的隧道，其有生成相应的公网地址，公网用户复制到浏览器访问就可以了。如果想要使用固定的域名访问，增大带宽，可以升级cpolar套餐。

原创 linux安装百度网盘

参考 官网。

原创 linux安装anaconda

【代码】linux安装anaconda。

原创 Linux安装pycharm

你会下载到pycharm 社区版 Linux环境下的tar.gz这个包。选择Linux的社区版，这是免费的，即community。

原创 有梦想的鱼

有梦想的鱼，方便定位账号。

原创 驱动、cuda和安装pytorch GPU方法

参考整体来看，是下面三个安装步骤：显卡驱动（nvidia-smi）-》深度学习驱动（cuda）-》代码驱动（torch-gpu）

原创 验证cuda和pytorch都按照成功了

确保在执行这些步骤之前，您的PyTorch版本是CUDA兼容的，并且您的GPU驱动程序与安装的CUDA版本相匹配。如果您的系统满足所有这些条件，PyTorch应该能够无缝地调用CUDA。如果输出为 `True`，则表示您的系统已安装了CUDA，并且PyTorch可以访问它。如果这一步也能成功执行，那么您的PyTorch安装已正确配置，可以调用CUDA。如果没有错误，并且能够打印出张量，那么PyTorch可以成功地使用CUDA。这将告诉您有多少个GPU可用，以及它们的名称。

原创 CUDA_VISIBLE_DEVICES=0 : 无法将“CUDA_VISIBLE_DEVICES=0”项识别为 cmdlet、函数、脚本文件或可运行程序的名称。请检查名称的拼写，如果包括路径，请确保

这是因为CUDA_VISIBLE_DEVICES=0 USE_MODELSCOPE_HUB=1 python src/webui.py只能在linux上跑。

原创 微调LLaMA-Factory的数据集格式-fintech.json

在这个上下文中，它说明了你希望模型执行什么样的操作或理解什么样的指导信息。这样的数据格式有助于模型理解特定的指令，并根据输入数据生成相应的输出。在微调过程中，大量的这类数据样本会被用来训练模型，以提高其在特定任务上的性能。这些数据可以是文本、问题、对话的一部分或者是任何模型需要处理的信息。在微调过程中，这些输入将用来训练模型如何根据指令来生成正确的输出。: 这个元素定义了基于给定指令和输入数据，模型应该生成的正确输出。在训练过程中，模型会尝试学习如何将输入映射到这些期望的输出上。告诉模型需要执行翻译任务，

原创 llamafactory调用model

【代码】llamafactory调用model。

原创 llamafactory-cli api方法

zly='[QUESTION]总是为别人找想，总是在友情中卑微？#CUDA_VISIBLE_DEVICES=0 API_PORT=8000 llamafactory-cli api --model_name_or_path /media/ldx/陈启的机械硬盘/models/Llama3-8B-Chinese-Chat-cq --template llama3 --infer_backend vllm --vllm_enforce_eager。# autodl 中指令。#微调代码，启动服务器。

转载 大模型加载的参数介绍及推荐表，temperature、top_k、top_p、num_beams、num_beam_groups、do_sample等

https://blog.csdn.net/a1920993165/article/details/134691021

原创 python-进度条和计时器

【代码】python-进度条和计时器。

原创 正则表达式-将一段话隔开为两个list，其中一个为标签list，一个为文本list，然后组成json

这种方式可以确保匹配所有标签及其对应的内容。在这个改进的正则表达式。

原创 Alternatively, you can pin your installation to the old version, e.g. `pip install openai==0.28`

这个错误表明您正在尝试使用OpenAI的旧API，但在版本1.0.0及以上中不再支持。解决这个问题的方法取决于您想要如何处理API升级。使用python 11和。

原创 Transform调用LLaMA

【代码】Transform调用LLaMA。

原创 vllm的回复代码

【代码】vllm。【代码】vllm。【代码】vllm。【代码】vllm。

原创 检查显卡驱动和cuda版本的对应关系并下载

（驱动下载）

原创 ubuntu安装显卡驱动

获取权限安装程序。

原创 安装和微调大模型（基于LLaMA-Factory）2-补充资料

（命令行执行：llamafactory-cli train cust/train_llama3_lora_sft.yaml）微调命令（构建 cust/train_llama3_lora_sft.yaml）

原创 huggingface镜像站

huggingface下载太慢，大模型文件太大。用huggingface_hub镜像。

原创 llama.cpp

https://github.com/echonoshy/cgft-llm【大模型量化】- Llama.cpp轻量化模型部署及量化_哔哩哔哩_bilibiligithub.com/ggerganov/llama.cppcd ~/code/llama.cpp/build_cuda/bin./quantize --allow-requantize /root/autodl-tmp/models/Llama3-8B-Chinese-Chat-GGUF/Llama3-8B-Chinese-Chat-q8_0-v2

原创 安装llm的UI界面

然后，继续执行后续的安装步骤。确保在每一步完成后检查是否有错误信息，如果有问题，请根据错误信息进行调试。安装完成后，您应该可以通过激活。环境并运行Web UI来使用服务。

原创 安装和微调大模型（基于LLaMA-Factory）

傻瓜式安装lora微调文件

原创 微软AutoGen原理、代码（更换LLMs）和差异性分析

微软AutoGen原理、代码（更换LLMs）和差异性分析