m0_65156252的博客

结合多模态大模型的不完整多组学数据特征选择策略为精准医学提供了强大的支持。通过自监督学习、图神经网络、Transformer、强化学习等先进的技术手段，不仅可以解决数据缺失问题，还能够有效地进行跨模态数据融合，提升特征选择的准确性和鲁棒性。随着技术的不断进步，这些策略将在疾病预测、治疗方案制定等领域发挥越来越重要的作用。

创建虚拟环境：conda create -n env_name python=3.8。删除虚拟环境：conda env remove -n env_name。激活虚拟环境：conda activenv_name。退出虚拟环境：conda deactivate。查看所有虚拟环境：conda env list。

data = [json.loads(line) for line in f] #使用列表推导式读取文件中的每一行，并使用json.loads函数将每一行解析为Python对象。因此，data最终会是一个包含多个字典或列表的列表，每个元素对应文件中的一行JSON数据。核心思想是：通过在输入样本上添加一个微小的扰动，这个扰动的方向是模型损失函数关于输入的梯度方向，可以使得模型的预测结果发生变化。是 PyTorch 的一个扩展库，专门用于处理图像数据，它包含数据集、模型、转换函数等。

1，VsCode安装插件Remote Development(内含四个集成插件如图所示-拓展包（4）)解决方法：右击SSH插件，选择设置，将SSH 配置文件的绝对文件路径设置成连接远程服务器时的路径。输入远程服务器的名称、地址、端口号，如ssh 服务器名@服务器地址 -A。3，连接远程服务器失败与解决方案。2，输入SSH连接命令。

分治法（Divide and Conquer）是一种算法设计范式，它将一个难以直接解决的大问题分解（Divide）成一系列规模较小的相似问题，这些小问题可以递归地解决（Conquer），然后将这些小问题的解合并（Combine）以得到原始大问题的解。它的基本思想是将原问题分解为子问题，通过求解子问题来构建原问题的解。动态规划通常采用自底向上的方式，即先求解基础情形，然后逐步扩大问题规模，利用已解决的子问题来构建更大问题的解。贪心算法在有最优子结构的问题中尤为有效，即问题的最优解包含其子问题的最优解。

2，配置模型本地路径：/home/user2/liu/qwen/Qwen2-7B（此处也可以直接使用Hugging Face模型库中的模型）1，编写python脚本d.py使用modelscope的API下载所需模型。1，Google浏览器访问UI界面： http://0.0.0.0:6006。2，执行脚本：python /home/user2/liu/d.py。方式2：github上下载压缩包并解压至服务器（此处选用方式2）一、安装modelscope。3，微调参数配置+预览+训练。（实验室GPU上跑）

一个高效的大型语言模型（LLM）微调平台，旨在通过简单的 WebUI 界面，让用户无需编写代码即可在本地微调上百种预训练模型。该项目支持多种模型和微调方法，包括 LoRA、QLoRA 等，适用于从初学者到高级用户的需求。安装：sudo dpkg -i google-chrome-stable_current_amd64.deb。5，linux系统下安装Google浏览器（远程服务器上的界面可以映射到自己笔记本上）安装依赖项：sudo apt-get install -f。获取安装包：sudo wget。

近几年, 随着深度学习的发展，尤其是预训练语言模型的出现极大的推动了文本表示技术的发展, 基于预训练语言模型的文本表示模型在学术研究数据、工业实际应用中都明显优于传统的基于统计模型或者浅层神经网络的文本表示模型。它提供了必要的抽象，可以更轻松地摄取、构建和访问私有或特定领域的数据，以便将这些数据安全可靠地注入 LLM 中，以实现更准确的文本生成。1，RAG 通过在语言模型生成答案之前，先从广泛的文档数据库中检索相关信息，然后利用这些信息来引导生成过程，极大地提升了内容的准确性和相关性。

2，微调后模型推理：CUDA_VISIBLE_DEVICES=0 swift infer --ckpt_dir llm_sft_output/qwen1half-0_5b-chat/v2-20240924-164207/checkpoint-79。1，微调前模型推理：CUDA_VISIBLE_DEVICES=0 swift infer --model_type qwen1half-0_5b-chat --model_id_or_path Qwen1.5-0.5B-Chat。执行--bash run.sh。

微调过程：微调前模型输出：微调后模型输出：

(2)微调执行python finetune.py...... == bash finetune/finetune_qlora_single_gpu.sh。2,使用提供的shell脚本微调，文件目录finetune/finetune_qlora_single_gpu.sh。1， ModelScope 本地加载模型。1，数据准备zy.json。2，切换到Qwen目录下。三、微调(Qlora)1，qwen代码下载。

需要修改infer.sh中路径为训练模型的输出路径----ckpt_dir "/mnt/workspace/swift/examples/pytorch/llm/output/qwen-7b-chat-int8/v0-20240906-094214/checkpoint-100" \。一、qwen_7b_chat_int8。

2，读取（使用LlamaIndex读取结构化文件中的embedding向量和向量索引数据）一、RAG实战2：如何使用LlamaIndex存储和读取embedding向量。表示从doc_emb目录中读取embedding向量和向量索引，表示根据存储的embedding向量和向量索引重新构建检索索引。二、RAG实战3：如何追踪哪些文档片段被用于检索增强生成。注：下面两项工作在RAG实战1基础上展开。

llama-index-embeddings-huggingface允许我们使用本地的embedding模型去完成文档的切分和编码等操作；llama-index-llms-huggingface允许我们使用本地的大模型去开发RAG应用。4，下载模型文件：git clone https://www.modelscope.cn/qwen/Qwen1.5-14B-Chat.git。中广泛应用的技术，旨在将高维度的数据（如文字、图片、视频等）映射到低维度的空间。3，下载embedding模型权重：‌。

6，单卡部署：CUDA_VISIBLE_DEVICES=0 swift deploy --model_type qwen1half-4b-chat --model_id_or_path /mnt/workspace/swift/Qwen1.5-0.5B-Chat。5，模型文件下载：git clone https://www.modelscope.cn/qwen/Qwen1.5-0.5B-Chat.git。3，安装swift：pip install -e .[llm]2，切换到swift路径。

样本放入列表存为json文件，命名为chat.json（可以先下载再上传）（2）fp16精度问题：true改为false。（1）相关依赖包不匹配：根据错误提示更新即可。三、保存微调后模型并测试。此处容易出现的问题-

连接服务器‌：首先，你需要通过MobaXterm的SSH功能连接到你的远程服务器。在MobaXterm中，选择Session -> SSH，输入服务器的IP地址、用户名和密码，然后点击OK连接到服务器。检查显卡信息‌：连接成功后，你可以通过在MobaXterm的终端中输入nvidia-smi命令来查看显卡的信息，包括显卡型号、驱动版本等。‌监控GPU使用情况‌：在训练或推理过程中，你可以通过nvidia-smi命令实时监控GPU的使用情况，包括显存使用、GPU负载等，以确保GPU资源被合理利用。

广义上指的是一切相关的书籍、期刊文章、学位论文、报告等学术资料，狭义上指的是已经发表的学术研究成果，包括各类学术期刊、会议论文集、学位论文等。文献的主要目的是提供学术研究领域内已经发表的相关资料和知识，包括理论性的综述、实证研究、案例分析等，以支持研究论证、提供背景信息和引用先前的研究成果。（收集和整理已经发表的学术资料）则是一篇完整的学术写作，通常包含研究问题、目的、方法、数据分析、结果和结论等内容，是学术研究成果的主要表达形式，通过发表在学术期刊或会议上来与学术界分享研究成果。（原创研究成果的描述）

PyTorch是一个广泛使用的深度学习框架，它的易用性和灵活性都非常高，适合于各种类型的神经网络模型。此外，PyTorch还有一个庞大的社区，提供了大量的教程和资源，可以帮助你快速上手并掌握PyTorch的使用。4，检索增强生成 (RAG) 是一种人工智能框架，用于通过将模型建立在外部知识源的基础上来补充 LLMs 的内部信息表示，从而提高 LLMs 生成的响应的质量。5，LlamaIndex是一个用于连接大语言模型（LLMs）和外部数据源的数据框架，它可以让LLMs访问和利用私有或领域特定的数据。

法一：针对.bin文件点击进入模型权重页面后，鼠标右击download选择复制链接地址，进入终端后使用wget 链接地址方式下载。7，模型下载：git clone https://huggingface.co/THUDM/chatglm3-6b。下载前需要先安装git-lfs工具（拉取大文件）：apt-get install git-lfs。将THUND/chatglm3-6b修改为../chatglm3-6b。5，升级pip版本：python -m pip install --upgrade pip。