- 博客(434)
- 资源 (27)
- 收藏
- 关注
RSS订阅原创 升级cuda和驱动
在Linux系统安装CUDA时遇到显卡占用问题，需先关闭占用程序：1)运行CUDA/NVIDIA卸载程序；2)终止docker服务；3)检查并关闭占用/dev/nvidia*的进程。安装时添加--override参数强制运行，成功后重启docker服务。通过分步操作解决了驱动安装中的资源冲突问题。
2025-06-11 20:39:24
6
原创 【多线程】个人理解
实际上thread1上的代码已经开始运行，脑子里想象主程序调试指针和分thread指针同时开始一步步地执行。可以想象主程序运行指针停止了，直到thread1运行完成，相当于wait for thread stop。join常常在主程序的最后面。
2025-04-30 13:56:15
30
原创 【大模型】梯度累加技术教学理解
原文地址：关心问题：Agentic-RAG 和 Graph-RAG，在医疗个性化方案治疗上准确率、幻觉问题、医疗指南频繁更新问题论文地址：https://arxiv.org/abs/2502.15698。
2025-04-24 10:08:12
47
原创 【大模型】梯度累加技术教学理解
梯度累加(Gradient Accumulation)是一种在深度学习训练中使用的技术，主要用于解决GPU内存不足的问题，同时也能模拟更大的batch size训练效果。梯度累加(Gradient Accumulation)是一种在深度学习训练中使用的技术，主要用于解决GPU内存不足的问题，同时也能模拟更大的batch size训练效果。梯度累加是一种简单但有效的技术，特别在资源受限的情况下，能够帮助训练更大的模型或使用更大的batch size。
2025-04-24 10:06:52
37
原创 【正则表达式】正则表达式使用总结
表达式.+可以匹配一个或多个任意字符（除了换行符）。表达式\s+可以匹配一个或多个空白字符。正则表达式除了匹配普通字符外，还可以匹配特殊字符，这些特殊字符被称为“元字符”。限定符：用于指定正则表达式中某个组件的出现次数。预定义字符类：用于匹配特定的字符集合。定位符：用于描述字符串或单词的边界。|表示逻辑“或”，匹配前面的表达式或后面的表达式。*表示前面的字符可以出现0次或多次。+表示前面的字符可以出现1次或多次。表示前面的字符可以出现0次或1次。\W：任意非单词字符12。
2025-04-19 18:48:18
238
原创 【论文阅读】Agent-RAG + GraphRAG 双框架治疗幻觉
关心问题：Agentic-RAG 和 Graph-RAG，在医疗个性化方案治疗上准确率、幻觉问题、医疗指南频繁更新问题。
2025-04-19 00:00:00
171
原创 【论文阅读】Agent-RAG + GraphRAG 双框架治疗幻觉
关心问题：Agentic-RAG 和 Graph-RAG，在医疗个性化方案治疗上准确率、幻觉问题、医疗指南频繁更新问题。
2025-04-19 00:00:00
116
原创 【function call】大模型的hello function call
近期，Qwen 发布了 QwQ-32B - 一个在许多基准测试中性能可与 DeepSeek-R1 相媲美的推理模型。QwQ在推理模型中集成了调用工具的能力，使其能够在使用工具的同时进行批判性思考，并根据反馈调整推理过程。这样的能力使得QwQ能够很好在Agentic System中使用。本文介绍如何通过vLLM和SgLang结合QwQ-32B，搭建OpenAI格式的聊天API，并与外部函数结合来拓展模型的更多功能。QwQ-32B，支持Function Call的推理模型，深度思考Agent的时代来了！
2025-04-16 22:12:51
102
原创 【bug】OPENCV和FPGA的版本对应关系
sampleYOLOV7MultiInput进行视频推理出现Segmentation fault (core dumped)问题！debian只有这一个opencv版本，所以只能改ffmpeg的版本，那个相关issue他自己编译的opencv其实不是很可取，一个是时间长，再者很容易报错。我是debian的系统，apt-get install opencv-dev只能安装3.2的版本， opencv3.2对应我试的可行的是3.2.18。如果opencv和FPGA的版本不对应，则会出现如下warning。
2025-03-30 15:44:51
181
原创 【docker】docker应用举例
依赖管理：确保 requirements.txt或setup.py 文件中列出的所有依赖都能在不联网的环境中正常工作，一定要保证所有的包都在此，要不然后面很麻烦很麻烦。将 my-python-app.tar 文件通过 U 盘、移动硬盘或其他方式传输到不联网的目标机器。首先，在项目根目录下创建一个 Dockerfile，用于定义 Docker 镜像的构建步骤。# 安装项目依赖（加--no-cache-dir应该能使得打包的镜像小）通过以上步骤，你可以在不联网的机器上成功部署 Python 项目。
2025-03-30 15:33:59
124
原创 【智能体】 react functioncall
ReAct 技术与 Function Call 技术介绍 1. ReAct 技术 ReAct 是一种用于增强语言模型推理能力的技术，通过在模型的推理过程中引入“思考”（thought）步骤，帮助模型更好地理解和规划下一步行动。核心思想： ReAct 在传统的“行动-观察”（action-obser。AI - ReAct 技术与 Function Call 技术介绍 - frank_cui - 博客园。
2025-03-30 15:30:56
166
原创 【运维】负载均衡
开头先理解一下所谓的“均衡”，不能狭义地理解为分配给所有实际服务器一样多的工作量，因为多台服务器的承载能力各不相同，这可能体现在硬件配置、网络带宽的差异，也可能因为某台服务器身兼多职，我们所说的“均衡”，也就是希望所有服务器都不要过载，并且能够最大程序地发挥作用。老规矩，先占坑，后续更新。
2025-03-30 15:24:12
442
原创 【RAG】核心概念
某池塘有1400条鲤鱼，300只虾，300只鳖。现在以捕鲤鱼为目的。撒一大网，逮着了700条鲤鱼，200只虾，100只鳖。那么，这些指标分别如下：准确率=700/(1400+300+300)=35%精确率=700/（700+200+100）=70%召回率=700/1400=50%分母不同链接：https://zhuanlan.zhihu.com/p/146711298。
2025-03-11 10:14:22
40
原创 [RAG] 基本概念
某池塘有1400条鲤鱼，300只虾，300只鳖。现在以捕鲤鱼为目的。撒一大网，逮着了700条鲤鱼，200只虾，100只鳖。bm25 BM25的核心思想是基于词频(TF)和逆文档频率(IDF)来,同时还引入了文档的长度信息来计算文档D和查询Q之间的相关性。首先通过embedding模型，将query向量化，然后计算得出最近的数值最高的几个。准确率=700/(1400+300+300)=35%精确率=700/（700+200+100）=70%召回率=700/1400=50%# 召回率 精确率 准确率。
2025-03-11 10:13:10
59
原创 【大模型训练】Qwen2.5-7b的训练记录
可以看到把原来的你是谁都给训练坏了，但是我们不关心这个，我们训练的是数学方面的，只关心数学。可以用四个80G的A800 gpu全参跑起来。可以看到已经可以有thinking过程了。的第一个训练案例，看看有没有学到。可以看到没有反思过程，且结果错误。
2025-02-24 09:25:46
111
原创 【oneapi】oneapi做代理
这样外部就可以通过访问DeepSeek-R1来访问deepseek-ai/DeepSeek-R1。模型填 deepseek-ai/DeepSeek-R1和DeepSeek-R1。base url 填 https://api.siliconflow.cn。名称填DeepSeek-R1。分组填default。
2025-02-19 13:59:31
171
原创 【大模型训练】 用LLAMA_FACTORY复现deepseek-r1的蒸馏过程
2. 从链接https://huggingface.co/datasets/open-r1/OpenR1-Math-220k/则可以从本机的服务器中根据ip直接访问 http://192.168.100.100（服务器地址）:11111（开放端口）中下载parquet文件全部放到OpenR1-Math-220k文件夹中。1. data文件中新建OpenR1-Math-220k文件夹。dataset_info.json中新增。4. 启动LLAMA_FACTORY。如果11111是开放的端口，
2025-02-13 17:06:43
592
原创 【docker】docker改动镜像并重新编译举例
FROME: Docker 默认会尝试从远程仓库拉取镜像，如果本地镜像名称和标签与 FROM 指令完全匹配，Docker 会优先使用本地镜像。参考： https://github.com/vllm-project/vllm/issues/12980。会发现本地有vllm/vllm-openai:v0.7.2镜像，id为f78c8f2f8ad5。发现有了新的被改动过的镜像vllm-qwen2.5-vl-pip-transformer。可以将本地的镜像保存到本地tar包。若不放心把images。
2025-02-11 21:45:19
259
原创 【go】交叉编译
复制了一份项目代码task为task_bk，但是原来的task删除了，再次。把task_bk变成task出现这种情况，可以看出可以正常编译出文件，file->settings->GOPATH->设置为当前的项目目录。Goland中导入包标红但是能用解决办法。发现go像是c++，做后台还是比较好的。
2025-02-10 14:31:19
243
原创 【文件操作】写入json文件
dump是导出的意思，这样看dict和list是自己人，但是string和文件相对于代码就是外人。一般用json.dumps把dict或者list导出到字符串。一般用json.dump把dict或者list导出到文件。
2024-12-11 22:02:49
164
原创 【大模型微调】reft
因工作重点做LLM的落地，对模型的 Reasoning 推理能力要求较高，也实践过 CoT 微调。而 o1 能推出 RFT 证明这项技术已经生产可用，故接下来就认真研究下业界方案，尤其关注可落地执行的开源方案。首个拜读的论文是来自字节的 《ReFT: Reasoning with Reinforced Fine-...OpenAI o1 强化微调（RFT）开源方案之字节 ReFT - 腾讯云开发者社区-腾讯云。一个是微调，第二个是PPO强化微调。reft是字节跳动首次开发（占坑，后续开发）
2024-12-11 21:50:44
111
原创 【大模型微调】图片转pdf
vd_source=8318f88fcdf4948d2b21fae7c9cf3184 2024最新！用上面的方法如果对于过长的图片，则一页的长度也很长，上面的解决方案都有问题，最终自己还是用代码解决。https://www.32r.com/zt/dgyjzzrj/ photoshop破解版下载。用acobot保存图片们为pdf即可。有时候图片需要转成pdf。1. 用代码将长图片切割。
2024-12-03 21:47:50
448
原创 【大模型微调】pdf转markdown
启用MathJax支持后，您应该能够在Typora中正确显示使用LaTeX语法编写的数学公式，包括$\mathbf{X}$这样的符号。注意上面的cuda，rapid_table部分， max_time设置长一些，要不然保存的表格都是图片。生成markdown后可以用大模型过滤一遍后者人工过滤一遍，改正后者去除不合适的部分。目前市面上大部分都是pdf文档，要想转换成能训练的文本，调研了各种工具。目前无法显示typora无法显示html的表格，后续看看怎么弄。最终生成的表格是html格式的，可以在。
2024-12-03 21:39:55
450
原创 【RLHF】Reward Modeling
RLHF：基于人类反馈的强化学习（Rainforcement Learning from Human Feedback，RLHF） 可以分成两个环节。，它们的细节我们不去研究，只要知道DPO主要用于分布式训练，适合大规模并行处理的场景，PPO通常指的是单机上的算法就可以了。在这一阶段，模型学习和输出的内容发生了根本性的改变。前面的两个阶段，预训练和微调，模型的输出是符合预期的文本内容；这个阶段输出的评分，并不是给最终的用户，而是在强化学习阶段发挥重大作用。常见的强化学习策略包括。
2024-12-01 10:17:14
133
原创 【LLAMA FACTORY】 freeze模式总结
训练模式有full， lora（+ qlora）,和freeze模式，感觉freeze模式很少被提及，这里做一个总结。Freeze(冻结微调)指的是在训练过程中只对模型的小部分权重进行更新，这样可以降低对显存的要求。如果您需要进行冻结微调，请将。
2024-12-01 10:11:24
553
原创 【大模型微调】一些观点的总结和记录
对于垂类模型，更应该关注PT的过程，而不是采集千万百万的SFT数据做训练，一般建议是 大规模预训练+小规模监督微调=超强的LLM模型。原来的风格是列表回复，如果sft数据集很短，则sft后的数据集也会很短，理论上二者的风格应该一致才行。sft微调的越多，遗忘的越多. 不过对于小任务，rank比较低（例如8，16）的任务，影响还是有有限的。，为了保证模型语言能力关键区不被大幅度调整，需要添加通用指令微调数据或者预训练数据。微调方法没有大变数了，只能在数据上下功夫，我能想到的只有提高微调数据质量。
2024-11-30 21:42:46
138
原创 【程序员超级记忆法】关于记忆方法论在代码写作中的一些思考
有本关于敏捷开发方面的书非常不错《高效程序员的45个习惯-敏捷开发修炼之道》，Venkat Subramaniam和Andy Hunt著，该书简短、易读、精炼、深入，深刻且实用。2. dump是转存，倾倒的意思，看来string是被抛弃的外部对象（不当string是python的自家人），只有list或者dict是自己人。1. 无论是dumps或者是loads，都有一个s，是string的缩写，本质两个api是对string和list或者dict的类型转换。不带s的是将文件中的内容转成dict或list。
2024-11-30 11:00:26
79
原创 【医疗大模型】总结
基于主动健康的主动性、预防性、精确性、个性化、共建共享、自律性六大特征，华南理工大学未来技术学院-广东省数字孪生人重点实验室开源了中文领域生活空间主动健康大模型基座ProactiveHealthGPT。我们期望，生活空间主动健康大模型基座ProactiveHealthGPT 可以帮助学术界加速大模型在慢性病、心理咨询等主动健康领域的研究与应用。本项目为 生活空间健康大模型扁鹊（BianQue）。医疗AI与GPT | 梳理全球医疗大模型。
2024-11-22 09:09:07
68
原创 【大模型】prompt实践总结
不同的prompt对不同的模型有不同的效果。编写高质量Prompt的技巧包括以下几个方面：明确“好结果”的标准：在大多数情况下，Prompt的性能上限与我们对“好结果”的理解程度成正比。只有充分理解了所谓的“好结果”具体好在哪些“点”，才能将这些“点”形式化为Prompt，从而更准确地传达意图。例如，明确要求从画风和剧情两个角度入手，为《长安三万里》写影评，而不是仅仅要求写影评1。编写明确而具体的指示：使用“少量示例”（Few-shot）提示法，提供一些示例让模型更好地按照预期执行任务。
2024-11-14 21:05:36
774
【医疗人工智能】基于NCCN指南的乳腺癌个性化治疗计划：Agentic-RAG与Graph-RAG方法性能对比及临床应用评估AI驱动的方法
2025-04-21
ICCV2019.pdf
2020-05-29
poly-yolo.pdf
2020-05-29
mnist数据集为keras
2018-06-04
弱监督目标检测论文.rar
2020-05-29
类似于陌路人人的聊天源码
2017-07-28
vivado2018-1的license文件
2018-06-11
dorefa-net
2018-07-10
中科院利用弱监督目标检测中的不稳定性.pdf
2020-05-29
原始MIT人脸库
2015-08-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人