- 博客(75)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 基于Dify的大模型RAG多轮对话性能优化方案（附代码）
区别于通用LLM的多轮对话实现，RAG中多轮对话，既需要保证LLM在对话时的历史对话能力，也要保证RAG检索时输入信息的完整，同时对于模型来说，应将对话信息和RAG检索等非对话信息有清晰、明确的区分。
2024-05-22 16:04:33
724
原创 【Python BUG】一文解决Jupter Notebook虚拟环境切换失败问题
在conda中创建了单独的pachong环境，并且在Pycharm等编辑器中完全可以进行使用、开发。但在Notebook中使用自带的切换按钮也没用，同时，在网上搜索了一些方法也没有解决。
2024-05-16 14:50:29
186
原创 大模型prompt实例：知识库信息质量校验模块
【情况1：未检索到知识库信息，未检索到在线信息。【情况2：未检索到知识库信息，检索到在线信息。【情况3：检索到知识库信息，且信息符合使用需求。【情况4：检索到知识库信息，但信息不符合使用需求，未检索到在线信息。【情况5：检索到知识库信息，但信息不符合使用需求，检索到在线信息。为检测知识库检索出的信息质量，需设计LLM+prompt。
2024-05-10 15:23:59
411
原创 多模态大模型通过外接数据方案实现电力智能巡检（附代码）
传统电网智能巡检锚定摄像机点位，将一系列点位组成巡检业务，通过yolo对一系列点位上传来的系列图像进行目标检测，发现预训练所设定的label后计为异常，最后返回巡检报告，报告内容包括点位总体异常占比、异常类型分布、异常置信度等等。易知，该模式下，巡检颗粒度止步异常类型，其只起到异常检测的作用，对更详细的异常处理方案、该异常点位负责人、该异常点位相关信息等等信息未能更好利用。
2024-05-09 17:27:16
844
1
原创 快速接入stable diffusion的文生图能力
最近团队研究集中在多模态大模型方向，部分业务上数据缺失，准确讲是图像缺失，因此想通过扩散模型文生图的方式造一些数据出来。在服务器上进行sd部署费时费力费公司的计算资源。好在，hf等网站也提供了模型的使用、测试接口，能满足的一定的在线应用。但显然，在线应用对批量生成支持并不友好。
2024-05-09 11:19:17
654
原创 基于零一万物多模态大模型通过外接数据方案优化图像文字抽取系统
OCR甚至多模态大模型的图像文字识别，均存在一定的识别误差或提取结果格式不统一。例如图像中文字为MITSUBISHI ELECTRIC 三菱电机但信息系统中只需要三菱作为关键字填入。为解决该问题，应在具体应用场景下外接规范信息。
2024-05-08 15:52:50
805
原创 yolo-world：”目标检测届大模型“
YOLO在标准基准测试中，World 的速度和效率超过了现有的开放词汇检测器，包括 MDETR 和 GLIP 系列，展示了YOLOv8 在单个 NVIDIA V100 GPU 上的卓越性能。YOLO属于经典的传统AI模型，即经过有监督的训练后，模型学习到特征与标签间的关联关系，可对图像、视频中出现的物体进行特征检测，负荷已知特征的物体图像会被打上标签和置信度。：利用 CNN 的计算速度，YOLO-World 可提供快速的开放词汇检测解决方案，满足各行业对即时结果的需求。
2024-05-07 17:30:26
716
3
原创 大模型时序预测初步调研20240506
大模型时许预测研究旨在利用LLM的能力进行时序分析，探索使用LLM的超量参数与强大的推理能力，将时许预测历史知识应用到具体场景下的数值时序分析中。
2024-05-06 11:14:00
354
原创 从零开始的Dify大模型应用开发指南
我们所开发的服务可以通过API或独立页面形式使用。当然，回馈机制、复杂多角色工作流、agent组、可视化、多模态分析以及更丰度的大模型应用开发，Dify均可进行便捷实现，此处不一一列举。
2024-04-29 17:28:12
1269
原创 大模型解决方案：具体业务场景下的智能表单填充（附代码）
在许多业务场景下，存在大量从表单、铭牌、参数快照等图像数据中进行信息提取和填充的需求。诸如数据摸排、信息录入、各时间颗粒度下的数据统计等业务，传统模式下主要通过人工手段完成，效率低、成本高、完成质量差。传统OCR技术结合大模型文字处理能力，可实现具体场景下的智能表单填充解决方案。
2024-04-24 16:45:11
519
原创 面向多特征的AI预测指南
多特征AI预测，在本场景下指在对label进行预测时，参考的特征及其庞大。为有效使用这些特征进行预测，应该采用一些数据处理策略。
2024-04-07 14:16:59
581
1
原创 【Python BUG】anaconda安装报错Error：Cannot unpack file
anaconda安装报错Error：Cannot unpack fil。
2024-04-05 21:09:05
609
原创 大模型接入外部在线信息提升应用性能
我们只需设计爬虫，对需要检索内容进行编码，嵌入对应url位置，设定页数信息，即可爬取百度检索出的信息，让大模型对外部信息加以利用。由于知识库数据有限、模型能力有限，因此大模型应用性能具备一定局限，为增强模型能力，可采用接入外部在线信息的方式进行应用能力优化。其中包含搜索关键词编码、页数等信息。例如为模型接入搜索引擎信息。
2024-04-04 23:13:12
677
原创 windows下基于python语言的TTS开发
TTS，全称Text To Speech，即从文本到语音，是人机对话的一部分，它让机器能够说话。TTS是同时运用语言学和心理学的杰出之作，在内置芯片的支持之下，通过神经网络的设计，把文字智能地转化为自然语音流。
2024-04-03 17:13:51
426
原创 linux下python服务定时（自）启动
AI应用开发相关目录 本专栏包括AI应用开发相关内容分享，包括不限于AI算法部署实施细节、AI应用后端分析服务相关概念及开发技巧、AI应用后端应用服务相关概念及开发技巧、AI应用前端实现路径及开发技巧适用于具备一定算法及Python使用基础的人群AI应用开发流程概述Visual Studio Code及Remote Development插件远程开发git开源项目的一些问题及镜像解决办法python实现UDP报文通信python实现日志生成及定期清理Linux终端命令Screen常见用法
2024-04-03 14:47:25
482
原创 linux和windows系统下的python环境迁移
4.本地安装 pip install --no-index --find-links=./packs/ -r requirements.txt 如果无法离线创建虚拟环境，就需要运行下面的conda命令： conda config --set offline true。3.从指定源下载需要文件到指定文件夹里 pip download -r requirements.txt -d packs/ -i https://mirrors.aliyun.com/pypi/simple/
2024-04-03 14:09:11
508
原创 【Python BUG】ModuleNotFoundError: No module named ‘streamlit.cli‘
streamlit做大模型前端demo，安装后不好使。
2024-04-03 07:50:16
905
原创 多角色大模型问答性能提升策略（附代码）
多角色大模型问答性能提升策略，即让大模型扮演多个角色，协同或竞争实现一个任务，增强大模型在该类型任务上的问答性能。可通过写prompt、设计Agent赋予llm角色属性，并规范一些行为。其合作形式多样，并不固定。
2024-04-02 16:09:25
1025
原创 【Python BUG】ImportError: /usr/lib/x86_64-linux-gnu/libstdc++.so.6: version `CXXABI_X.X.X‘ not found
基本流程是：检查缺陷——查询最新动态库并复制进软连接目录——删除原始软连接——基于最新动态库生成新的软链接——CXXABI随之安装到符合要求的版本表象已经洞悉，但是其内在原理并不了解，但已经结局了报错，满足了开发需求。
2024-04-02 09:55:27
340
原创 【Python BUG】局域网内远程连接mysql错误：1130
重起mysql，再于开发的程序中连接数据库，问题应该就解决了。3：查看mysql库中的user表的host值。4：修改mysql库中的user表的host值。本质是用户权限的问题。
2024-04-01 17:28:36
429
原创 COT：大模型的强化利器
一个完整的包含 CoT 的 Prompt 往往由指令（Instruction），逻辑依据（Rationale），示例（Exemplars）三部分组成。一般而言指令用于描述问题并且告知大模型的输出格式，逻辑依据即指 CoT 的中间推理过程，可以包含问题的解决方案、中间推理步骤以及与问题相关的任何外部知识，而示例则指以少样本的方式为大模型提供输入输出对的基本格式，每一个示例都包含：问题，推理过程与答案。
2024-04-01 17:22:38
1147
原创 langchain的基本使用
大模型开发框架，最基本、通用框架之一。langchain六大组成：1.模型，对模型的加载和使用。2.提示词，不同的任务使用不同prompt，管理和优化这些prompt。3.链，初步理解为具体任务中不同子任务之间的调用。4.数据增强的生成，数据增强生成涉及特定类型的链，首先与外部数据源交互以获取数据用于生成步骤。对长篇文字的总结和对特定数据源的提问/回答——即RAG，可以理解数据增强为一种特殊的链。5.代理，根据不同的指令采取不同的行动，直到整个流程完成为止。
2024-03-30 21:02:00
428
原创 大模型RAG性能提升路径
对相同的检索结果和输入作为拼接测试模型能力。设计反思+多轮校验的问答机制优化问答能力。需应用思维链（CoT）、agent。确定性能差距后更换模型、微调模型。新增外部信息、提示、工具。
2024-03-29 17:05:44
464
原创 【Python BUG】CondaHTTPError解决记录
文件，建议用这个方法前和我一样做个备份，方法不行的话可以恢复之前状态，不至于改的乱七八糟。之后，Anaconda Prompt (Anaconda3)即可正常使用。
2024-03-28 15:05:01
3121
8
原创 langchin-chatchat部分开发笔记（持续更新）
Model_config修改后，自定义名称的模型（形式以openai API呈现，本地则不需要）要在这里进行补充修改。此外config处应添加port字段。
2024-03-27 17:01:50
508
原创 最简明的大模型agent教程
大模型Agent是结合了大规模神经网络模型和自主计算实体的技术，它具备强大的表达、学习和交互能力，能够在无人干预的情况下，根据环境信息自主决策和控制行为。简单而言之，agent是增强大模型能力的技术方案路径。主要包括：工具、工具选择方案，大模型工具应用3个部分。1用户给出一个任务(Prompt) -> 2思考(Thought) -> 3行动(Action) -> 4观察(Observation)
2024-03-22 15:52:10
1712
原创 一文理清python学习路径
git、docker、vs、mobaxter、navicat、wincp等开发软件或工具的使用。gensim、jieba、音频处理、时频域变换、信号处理策略等数据方面的辅助技能和知识。爬虫基本代码框架（requests，正则、xpath、bs4等）迁移学习、强化学习、参数/超参数优化手段等模型方面的知识和技能。prompt、agent等方向的大模型性能提升能力。各种数据评估数据计算（混淆矩阵、SSE等）RAG、DB、KG等方向的大模型开发能力。python学习路线总结。mlp、arima等模型。
2024-03-22 09:23:05
476
原创 AI应用开发-基于python的知识图谱技术
图数据、图数据库、知识图谱和Neo4j都是与数据处理和存储相关的概念和技术，它们在许多领域都有广泛的应用。
2024-03-21 16:16:12
1021
原创 基于selenium和bs4的通用数据采集技术（附代码）
本文所说的数据采集技术即爬虫，爬虫技术用于从互联网上抓取大量数据。这些爬虫程序能够自动化地访问网页/公众号平台、解析内容，并提取所需的信息。在大数据和机器学习等领域，爬虫技术发挥着至关重要的作用。数据采集技术为项目提供丰富的数据资源，根据这些信息进行产品设计和创新，持续改进和优化产品。
2024-03-21 15:34:36
1707
1
原创 一文教你成为合格的Prompt工程师【优质示例】
大模型Prompt指的是在自然语言处理领域中，基于大型预训练语言模型的一种强大新型工具。它通过微调来适应特定任务，从而在各种NLP任务中表现出色。简单来说，Prompt的作用主要是给AI模型提示输入信息的上下文和输入模型的参数信息。此外，Prompt Learning还具有降低训练成本的优势，因为它不需要对模型本身进行修改，从而可以省去大量的训练时间和计算资源。指令（Instruction） - 即你希望模型帮你完成的任务或者指令。
2024-03-20 22:35:17
1067
原创 基于Langchain-chatchat的向量库构建及检索（附代码）
迁移Langchain-chatchat中的向量库，结合下载下载向量模型，实现向量库检索。无需GPU（有也可以）
2024-03-20 10:33:55
514
原创 LightGBM：更好更快地用于工业实践集成学习算法
GBDT (Gradient Boosting Decision Tree) 是机器学习中一个长盛不衰的模型，其主要思想是利用弱分类器（决策树）迭代训练以得到最优模型，该模型具有训练效果好、不易过拟合等优点。GBDT不仅在工业界应用广泛，通常被用于多分类、点击率预测、搜索排序等任务；在各种数据挖掘竞赛中也是致命武器，据统计Kaggle上的比赛有一半以上的冠军方案都是基于GBDT。
2024-03-20 10:04:56
935
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人