- 博客(153)
- 收藏
- 关注
RSS订阅原创 华为atlas800T 算力服务器基础环境搭建指南-910b算力卡
安装run包驱动时，会将动态库libdcmi.so和头文件dcmi_interface_api.h拷贝到“/usr/local/dcmi/”目录下。终于搞明白华为的这一套架构了，ascend-toolkit的latest是用于存放最近安装的版本，并非是最高的版本，所以存在多个也无所谓。失败了，检查发现是CANN版本不一致导致，toolkit的版本是8.3，驱动的版本是8.0.0。执行如下命令，完成驱动安装，软件包默认安装路径为“/usr/local/Ascend”。执行如下命令，增加软件包的可执行权限。
2026-01-03 14:29:40
376
原创 AI大模型推理服务接口响应类型
这些向量在一个连续的向量空间中，保持了原始数据的语义或结构信息，使得相似的数据点在空间上距离较近。例如，在自然语言处理中，语义相似的词语在向量空间中的距离也很近。果然获取维度失败是有原因的，有些模型是支持嵌入的，有些则不支持，如qwen-1.5B, deepseek-70B它就支持，查看API文档。支持嵌入的一般是比较小的模型，灵活，像稍大一点的模型就不支持嵌入了比如qwen-32B，Qwen2.5-7B-Instruct。
2026-01-03 14:17:25
401
原创 one-api安装部署搞定分词器
下载文件：https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken。设置容器环境变量：在 docker-compose.yml 文件如图位置添加 TIKTOKEN_CACHE_DIR=/data/cache。改docker-compose pull为docker pull mysql/one-api/redis …确保下面的路径是这样 volumes: - ./oneapi:/data。
2026-01-03 14:15:44
136
原创 昇腾NPU-算子The operator ‘aten::isin. Tensor_Tensor_out‘ is not currently supported on the NPU
backend and will fall back to run on the CPU. This may have performance implications. (function npu_cpu_fallback)Exception in thread Thread-5:原模型直接推理可以跑起来，但是回答问题的时候它没法用npu，还要迁移到CPU计算，这个过程可能需要花费数小时，官方解释如下：
2026-01-03 14:10:30
158
原创 昇腾NPU-RuntimeError: call aclnnCast failed之bf16数据类型支持
bf16是Facebook新提出的深度学习数据格式，华为的机器并不一定支持，所以将其设置为false。这个问题在最新的A2系列服务器可直接解决，驱动用24及以上。只有A2系列的才支持。确实是的，在ascend-toolkit下ls。重新装kernel算子,opp_kernel。
2026-01-03 14:08:48
809
1
原创 昇腾NPU-Warning: expandable_segments feature is not supportted
尝试关闭expandable_segments不行，export PYTORCH_NPU_ALLOC_CONF=max_split_size_mb:32,garbage_collection_threshold:0.6,expandable_segments:True。找到原因了，从这里开始-CANN社区版8.0.0.alpha001开发文档-昇腾社区。找到原因了，内存池扩展段功能是高级特性需要HDK23以上，我们这固件才22.0.3,目前还是通信问题，这个显存碎片管理有关，两者一起解决，固件升级。
2026-01-03 14:04:34
149
原创 RAG和知识库
RAG（Retrieval-Augmented Generation，检索增强生成）和知识库（Knowledge Base）是两个相关但不同的概念。它们在自然语言处理（NLP）和人工智能（AI）中都有重要作用，但它们的目标和功能有所不同。在实际应用中，RAG 和知识库可以结合使用，例如在问答系统中，知识库提供存储和检索功能，而 RAG 框架结合检索到的上下文信息生成更准确的答案。RAG的建立依赖于模型，一旦建立成功后不一定需要用那个模型才能调用，其他模型也可以使用，但是该模型需要开启着才行。
2025-06-16 22:04:07
585
原创 ollama常见属性设置
这些向量在一个连续的向量空间中，保持了原始数据的语义或结构信息，使得相似的数据点在空间上距离较近。OLLAMA_KEEP_ALIVE=24h 设置模型加载到内存中保持24个小时(默认情况下，模型在卸载之前会在内存中保留 5 分钟)果然获取维度失败是有原因的，有些模型是支持嵌入的，有些则不支持，如qwen-1.5B, deepseek-70B它就支持，查看API文档。支持嵌入的一般是比较小的模型，灵活，像稍大一点的模型就不支持嵌入了比如qwen-32B，Qwen2.5-7B-Instruct。
2025-06-16 22:00:58
578
原创 one-api部署及其注意事项
不行，需要自定义镜像源，而且不能拉最新的，最新的没有ARM版本one-api安装又需要外网下载分词器，还是搞不定，再换一种方法重新解决第一可以适当修改docker-compose.yaml文件，选择合适的镜像第二可以单独拉镜像改docker-compose pull为docker pull mysql/one-api/redis …分开一个一个拉，这样失败的概率会低一点然后docker-compose up -d但仍然需要分词器手动下载上传重启服务Bash。
2025-06-16 21:58:41
429
原创 dify，fastgpt等开源智能体实践
7)OpenWebUI主要是一个Web界面，用于与LLM交互，支持RAG和知识库，但更多是提供用户界面和集成工具，而不是自主决策。Cherry Studio则是管理工具，支持配置模型和知识库，但用户需要手动选择模型和知识库，缺乏自主决策和持续行动的能力。终于成功了，真的是会了不难，难了不会，现在搞清楚了发现也就这么几个步骤，但是在我没弄明白之前，死活都不知道该怎么做，它对我来说就像一个黑盒。虽然它不是智能体，但是功能类似，放在这里分别比较功能都是免费的，简单易用，而且基本功能都可以满足。
2025-06-16 21:30:04
703
原创 蒸馏微调DeepSeek-R1-Distill-Qwen-7B
在通用数据集上微调很成功，但是，在专业数据集上微调却不行，我使用控制变量进行了许多次测试，都无法得到好的效果，无论是回答格式，还是回答内容，都无法使用。至少在华为910上是这样。数据集：中文基于满血DeepSeek-R1蒸馏数据集（Chinese-Data-Distill-From-R1）General：共计58352，包含弱智吧、逻辑推理、小红书、知乎、Chat等。Math：共计36568个样本，STEM：共计12648个样本，Exam：共计2432个样本，基于unsloth进行微调。
2025-06-15 21:23:26
361
原创 大模型量化与剪枝
QLoRA 是一种在 4-bit 量化模型基础上使用 LoRA 方法进行训练的技术。它在极大地保持了模型性能的同时大幅减少了显存占用和推理时间。GPTQ 等后训练量化方法(Post Training Quantization)是一种在训练后对预训练模型进行量化的方法。量化加载的参数更多，所以对显存的需求更大。量化有助于减少显存使用并加速推理。量化7B模型，12GB显存不够用。增大至24G显存就够了。
2025-06-14 21:14:51
441
原创 llamafactory webui报错httpx.RemoteProtocolError: Server disconnected without sending a response.
这也是因为llamafactory前端目前也只支持单卡训练或推理。指定模型做推理，前端访问。
2025-06-14 21:09:35
399
原创 使用昇腾 NPU 推理报错 RuntimeError: ACL stream synchronize failed, error code:507018
设置 do_sample: false，取消随机抽样策略。
2025-06-14 21:06:14
886
原创 cannot allocate memory in static TLS block昇腾910报错
这个报错很奇怪，貌似是和sklearn有关，卸载sklearn才得以解决。我这里尝试了无数种方法都不行，最终，卸载sklearn，意外解决了问题。ldd --version查看glibc的版本。
2025-06-14 21:03:04
338
原创 网络代理设置
代理设置Docker代理问题，是在这个文件里设置的[Service]临时使用docker镜像源成功了在 /etc/systemd/system/docker.service.d/http-proxy.conf 文件中设置的代理配置，主要用于为 Docker 守护进程（dockerd）配置代理，以便在拉取镜像、推送镜像等操作中使用代理服务器然而如果想要docker容器能够上网，就需要通过 daemon.json 配置全局代理但是这样修改容易造成冲突，导致容器无法启动。
2025-06-14 20:54:11
445
原创 使用LLaMA Factory微调时出现ValueError: Failed to convert pandas DataFrame to Arrow Table from file的解决方案
【代码】使用LLaMA Factory微调时出现ValueError: Failed to convert pandas DataFrame to Arrow Table from file的解决方案。
2025-02-10 16:46:04
552
原创 电力领域大模型
2023年12月，arXiv预印本平台发表了一篇题为"Large Foundation Models for Power Systems"的研究论文。该文系统探讨了大型基础模型如大型语言模型（LLMs）在电力系统建模和运行中的应用前景。研究重点关注了大型基础模型在最优潮流计算、电动汽车充电调度、能源领域文档理解和态势感知四个关键应用领域的实现方法和性能表现。论文提出了LLM4OPF、LLM4EV、LLM4Doc和LLM4SA等创新框架，通过实验验证了这些模型在处理复杂电力系统任务时的有效性。
2024-09-24 20:45:00
2512
原创 大模型蒸馏技术
一篇题为《The Mamba in the Llama: Distilling and Accelerating Hybrid Models》的论文证明：通过重用注意力层的权重，大型 transformer 可以被蒸馏成大型混合线性 RNN，只需最少的额外计算，同时可保留其大部分生成质量。先来说说大模型的缺点，要想实现轻量化的部署，必须对体量巨大的大模型进行压缩，大模型功能虽然强大，但是存在过多的数据冗余，实际上有一些模型副本的权重参数是可以省去的，同样可以实现相应的能力，因此便有了模型压缩的研究。
2024-09-19 21:53:29
1316
原创 “问题不可行，在预求解期间，quadprog发现在约束容差范围内约束不相容”问题解决
1.初始状态设置的不对，误差会逐渐传递，越来越大，等到最后就会偏差到无法求解的地步。这是可能性最大，也是最简单的解决方式。2.查看约束设置的对不对，须在正确的范围内才可以求出解，不要设置错了。3.在目标函数中,H的值设置的不合理，可以做适当调整再试试。使用QP求解器最痛苦的莫过于报-2的错误。有许多可能会导致无法求解。
2024-09-19 21:48:46
720
原创 多智能体强化学习：citylearn城市建筑能量优化和需求响应
CityLearn（CL）环境是一个类似 OpenAI Gym 的环境，它通过控制不同类型建筑的储能来重塑电力需求的聚集曲线。高电力需求提高了电价和配电网的总体成本，扁平化、平滑化和缩小电力需求曲线有助于降低发电、输电和配电的运营和资本成本。优化的目标是协调用电方（即建筑物）对生活热水和冷水储存的控制，以重塑电力需求的总体曲线。代码量非常庞大，我都不敢看，看也看不完，不花一定的时间难以搞懂它的原理。今天分享一个用于能量优化的强化学习框架，citylearn。对应提出的文章是这篇，可以去阅读论文以增进了解。
2024-09-05 20:14:57
549
原创 云计算任务调度仿真05
在最新版本的 Matplotlib 中，set_color_cycle 方法已经被弃用，取而代之的是 set_prop_cycle 方法。运行launcher，这是基于TensorFlow1版本的，所以最好安装TensorFlow1的虚拟环境运行，会更顺畅一点，可以直接在CPU上跑。所以，与其这样不断的递归的解决问题，倒不如直接对matplotlib进行降级处理，满足它编写程序时所需的包版本要求，这是最简单快速的解决方案。不过CPU还是慢的，我这已经跑298次了，还没结束，几个小时了。
2024-01-22 21:46:26
784
原创 pycharm中无法使用anaconda虚拟环境
里面有一个选项“use conda package manager”，这个默认是勾选的，但是勾选了的话，就看不到conda虚拟环境中安装的新的包，只有一些创建环境时已有的包，所以把它取消掉就有了你安装在环境中所有的包。anaconda里创建了虚拟环境，然后在虚拟环境中明明安装了TensorFlow1.12，但是到pycharm中使用anaconda的虚拟环境时，就是没有TensorFlow1.12，注意下面这幅图。
2024-01-22 12:22:19
2095
原创 云计算任务调度仿真03
前面陆续分享了基于policy gradient和DQN实现的深度强化学习任务调度仿真，上次的DQN没有实现fix-qtarget和experience replay，这次再分享实现了这两个方法的DQN任务调度仿真。代码是基于TensorFlow1.x实现的，可以在此基础上再修改优化，完整的代码可根据名字去GitHub上下载获取。经验重放，定义存储和存放次序，这里也可以自行修改。在学习过程定期更新网络。
2024-01-11 13:35:13
977
2
原创 云计算任务调度仿真02
前面已经分享过一个仿真项目，但是基于policy gradient方法实现的，考虑到许多人从零到一实现DQN方法有点难度，所以这次分享一个基于DQN实现的仿真项目，非常简单。这里之所以简单主要得益于它是用pytorch实现的，而pytorch各个版本之间差异不是非常大，可以互用。然后构建DAG，因为云计算中的任务大多是具有关联性的，是有向无环图。构建DQN的智能体，有Q值的计算和更新，才是基于值的强化学习方法。环境类，定义云计算资源，以及调度过程中状态的转移，训练过程等等。我添加了打印损失函数值的代码。
2024-01-10 13:27:04
1781
1
原创 云计算任务调度仿真01
这个是1和2的大版本差异导致，tensorflow._api.v1.random，这种代码的出现，一般就是为了在2值应用1的代码，但往往会有许多问题，如果我们的TensorFlow版本就是1的，那直接tf.categorical就行了。这个代码以来的是比较老的TensorFlow版本，我们都知道TensorFlow1.x和TensorFlow2.x之间有很大差别，但其实，不同的1.x之间也有许多差异，可能就是版本的不同导致代码跑不了。云计算任务调度的研究大多数以来仿真研究，现梳理一些做过的代码研究。
2024-01-09 18:36:55
780
1
原创 大坑-MATLAB图片转存时需注意的点
MATLAB中图片的保存和转存有一个巨大的陷阱，我也是在吃了大亏后发现的，正常情况下，MATLAB跑完实验，生成的图片如下放大后这样可以方便修改坐标轴标题，最初我就是因为想修改坐标轴标题才给它放大的，因为不放大是这样的如图中标志的，显示不出来，没法修改所以只能放大后修改。
2023-10-16 14:18:12
1805
原创 gym原来是这样用的
总是报没有该环境，思想半天，然后发现这是自己写的环境，需要到gym中去注册才能使用。构建gym环境可以参考。今天down了一个深度强化学习的程序，但是试来试去总是跑不成功，第一句就出问题了。这位大佬写的非常详细，我按着流程操作了一遍就完成了。
2023-10-16 14:03:30
1349
原创 笔记本电脑没有麦克风，声音无法找到输入设备
这让我想起来上次电脑没有热键的问题，所有问题的终极解决方案，都在源头那里，网上的这些东西都是大家从源头那里吸收消化过的，各自的问题都不一样，借鉴意义并不大。就这么简单，但我一开始却走错了路，绕了一大圈，又是更新系统又是进入策略组什么的乱七八糟，耽误时间，又浪费流量。新买的电脑没有扬声器，电脑声音没有输入设备，在开腾讯会议的时候才发现竟然有这个问题。根据自己电脑型号选择，型号见笔记本底部，我这里就是缺了声卡，因此，download。网上找原因，哎，找了一大堆每一个靠谱的。所以，正确的打开方式，进入联想官网。
2023-09-20 19:45:50
4950
原创 TensorFlow与pytorch特定版本虚拟环境的安装
TensorFlow与Python的版本对应，注意，一定要选择对应的版本，否则会让你非常痛苦，折腾很久搞不清楚原因。建议使用国内镜像源安装没有GPU后缀的就表示是CPU版本的，不加版本就是最新还可以指定版本GPU版本完成虚拟环境配置以及包的安装就可以运行程序啦如下，成功了pytorch也是一样，但是要注意去pytorch官网上进行版本的匹配和选择这里有不同模块的版本对应，一定要看清楚了再安装下载，不然很容易失败。torchvision是专门做视觉的，如果不需要可以不下。
2023-09-11 10:38:25
2667
1
原创 conda常用命令及问题解决-创建虚拟环境
TensorFlow与Python的版本对应，注意，一定要选择对应的版本，否则会让你非常痛苦，折腾很久搞不清楚原因。pytorch也是一样，但是要注意去pytorch官网上进行版本的匹配和选择。通过创建虚拟环境，就可以运行任何不同版本的程序了，再也不担心版本问题啦。注意，以上语法均是临时使用清华源加速，若想默认，则使用以下语句设置。没有GPU后缀的就表示是CPU版本的，不加版本就是最新。激活环境，这也是从base环境进入新创建环境的命令。conda包清理，许多无用的包是很占用空间的。
2023-09-11 09:36:56
597
原创 使用Photoshop证件照制作
分辨率350dpi尺寸大小26mm×32mm像素大小358像素（宽）×441像素 颜色模式24位RGB真彩色。然后保存为PNG格式，如果你想要高清的话。3，好了，下面开始修修人脸，变白一点，如果你本来就很白就算了。1，抠图，用魔棒工具三秒钟搞定，如果不太复杂的图像的话。半价，对比度，移动边缘调整到合适的值，可以实时显示效果。主要修改通道为绿，混合为滤色，不透明度为合适的值即可。利用Photoshop从普通照片制作出证件照。然后输出到图层蒙版，就自动实现了切割，即白底。2，右键->调整边缘。
2023-06-08 14:47:09
1484
原创 CSDN无法登录，无法发布文章，无法进入博文管理解决
感觉这应该是一类问题，即网络正常，其他网站都能访问，就是某个网站访问出现问题，应该就是DNS，系统代理的问题，更换使用新的代理就可以了，总之代理是解决问题的方向，朝这个方向走就对了。所以，如果TensorFlow2.x改起来过于复杂或者没法改，索性你就使用TensorFlow1.x老版本，就是重新装一个虚拟环境的事情，也不复杂，比大量修改代码简单多了。本来今天早上兴致勃勃，五点多就起来学习了，每次当你想努力的时候就会给你迎头棒击，这也是一个需要跨越的坎，或许有一天你冲破这些阻碍的时候，就不会失望了。
2023-05-31 08:18:09
1479
原创 你若在患难之日胆怯，你的力量便微小
如果你在做一件事情之前就过分放大它的困难，这就会逐渐降低自己去做它的动机和动力，还没开始你就已经削弱了自己的行动能力，在气势上就已经输了。不要害怕困难，勇敢的去面对问题，解决问题，你就会在气势上更盛。1、什么事务（1）事务是数据库操作最基本单元，逻辑上一组操作，要么都成功，如果有一个失败所有操作都失败（2）典型场景：银行转账。
2023-05-24 17:35:51
1231
原创 强化学习路线规划之深度强化学习
学到如今，我实在明白了一个至关重要的东西，那就是目标很重要，有了清晰的目标我们就知道该做什么，不至于迷茫，否则每天都在寻找道路。所以我一直在规划这样一条道路，让想学习的人可以抛下不知道该怎么做的顾虑，不至于每天迷茫在该怎么做当中。力量是宝贵的，应该被花在真正知识的学习上，而不是被消耗在寻找道路的迷惘上。所以，我自己也一直在探索学习方法，如何不偏离主线。其次，学习一样东西，一定要先弄清楚其本源，要搞明白它是什么，原理、机制、应用…在此基础之上去学习就会少走许多弯路。今天跑代码时突然遇到一个问题结合代码。
2023-05-22 00:30:05
2454
1
原创 强化学习代码规划之深度学习预备
因此，AutoEncoder通过编码器和解码器的组合，可以学习到数据的紧凑表示，该表示捕捉了数据中的关键特征。虽然编码器和解码器都涉及维度的变化，但它们的目的是通过学习有用的数据表示来提供更高级别的抽象和数据重建，而不仅仅是简单地降低和增加维度。通过解码器的工作，AutoEncoder可以通过低维表示重新生成与原始数据相似的数据，实现数据的重建或还原。在训练过程中，AutoEncoder的目标是最小化重构误差，使得解码器能够尽可能准确地重建原始输入，同时编码器能够学习到数据的有用特征。
2023-05-19 20:49:54
508
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人