- 博客(63)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 大模型解决方案：具体业务场景下的智能表单填充（附代码）
在许多业务场景下，存在大量从表单、铭牌、参数快照等图像数据中进行信息提取和填充的需求。诸如数据摸排、信息录入、各时间颗粒度下的数据统计等业务，传统模式下主要通过人工手段完成，效率低、成本高、完成质量差。传统OCR技术结合大模型文字处理能力，可实现具体场景下的智能表单填充解决方案。
2024-04-24 16:45:11
406
原创 面向多特征的AI预测指南
多特征AI预测，在本场景下指在对label进行预测时，参考的特征及其庞大。为有效使用这些特征进行预测，应该采用一些数据处理策略。
2024-04-07 14:16:59
572
1
原创 【Python BUG】anaconda安装报错Error：Cannot unpack file
anaconda安装报错Error：Cannot unpack fil。
2024-04-05 21:09:05
588
原创 大模型接入外部在线信息提升应用性能
我们只需设计爬虫，对需要检索内容进行编码，嵌入对应url位置，设定页数信息，即可爬取百度检索出的信息，让大模型对外部信息加以利用。由于知识库数据有限、模型能力有限，因此大模型应用性能具备一定局限，为增强模型能力，可采用接入外部在线信息的方式进行应用能力优化。其中包含搜索关键词编码、页数等信息。例如为模型接入搜索引擎信息。
2024-04-04 23:13:12
662
原创 windows下基于python语言的TTS开发
TTS，全称Text To Speech，即从文本到语音，是人机对话的一部分，它让机器能够说话。TTS是同时运用语言学和心理学的杰出之作，在内置芯片的支持之下，通过神经网络的设计，把文字智能地转化为自然语音流。
2024-04-03 17:13:51
413
原创 linux下python服务定时（自）启动
AI应用开发相关目录 本专栏包括AI应用开发相关内容分享，包括不限于AI算法部署实施细节、AI应用后端分析服务相关概念及开发技巧、AI应用后端应用服务相关概念及开发技巧、AI应用前端实现路径及开发技巧适用于具备一定算法及Python使用基础的人群AI应用开发流程概述Visual Studio Code及Remote Development插件远程开发git开源项目的一些问题及镜像解决办法python实现UDP报文通信python实现日志生成及定期清理Linux终端命令Screen常见用法
2024-04-03 14:47:25
468
原创 linux和windows系统下的python环境迁移
4.本地安装 pip install --no-index --find-links=./packs/ -r requirements.txt 如果无法离线创建虚拟环境，就需要运行下面的conda命令： conda config --set offline true。3.从指定源下载需要文件到指定文件夹里 pip download -r requirements.txt -d packs/ -i https://mirrors.aliyun.com/pypi/simple/
2024-04-03 14:09:11
474
原创 【Python BUG】ModuleNotFoundError: No module named ‘streamlit.cli‘
streamlit做大模型前端demo，安装后不好使。
2024-04-03 07:50:16
749
原创 多角色大模型问答性能提升策略（附代码）
多角色大模型问答性能提升策略，即让大模型扮演多个角色，协同或竞争实现一个任务，增强大模型在该类型任务上的问答性能。可通过写prompt、设计Agent赋予llm角色属性，并规范一些行为。其合作形式多样，并不固定。
2024-04-02 16:09:25
1008
原创 【Python BUG】ImportError: /usr/lib/x86_64-linux-gnu/libstdc++.so.6: version `CXXABI_X.X.X‘ not found
基本流程是：检查缺陷——查询最新动态库并复制进软连接目录——删除原始软连接——基于最新动态库生成新的软链接——CXXABI随之安装到符合要求的版本表象已经洞悉，但是其内在原理并不了解，但已经结局了报错，满足了开发需求。
2024-04-02 09:55:27
326
原创 【Python BUG】局域网内远程连接mysql错误：1130
重起mysql，再于开发的程序中连接数据库，问题应该就解决了。3：查看mysql库中的user表的host值。4：修改mysql库中的user表的host值。本质是用户权限的问题。
2024-04-01 17:28:36
422
原创 COT：大模型的强化利器
一个完整的包含 CoT 的 Prompt 往往由指令（Instruction），逻辑依据（Rationale），示例（Exemplars）三部分组成。一般而言指令用于描述问题并且告知大模型的输出格式，逻辑依据即指 CoT 的中间推理过程，可以包含问题的解决方案、中间推理步骤以及与问题相关的任何外部知识，而示例则指以少样本的方式为大模型提供输入输出对的基本格式，每一个示例都包含：问题，推理过程与答案。
2024-04-01 17:22:38
1096
原创 结合基础模型的大模型多源信息应用开发
大模型和传统基础模型在应用开发上最根本的不同，个人看来，在于二者锚定点的不同。进一步讲，大模型面向一个业务的整个工作流程，而基础模型面向整个工作流中的需要AI发挥能力的功能。本文以一个图像服务结合大模型形成大模型多模态综合信息智能系统的架构思路解释什么是。如此看来，大模型的应用开发完全可以引入传统模型。
2024-03-31 17:36:28
492
原创 langchain的基本使用
大模型开发框架，最基本、通用框架之一。langchain六大组成：1.模型，对模型的加载和使用。2.提示词，不同的任务使用不同prompt，管理和优化这些prompt。3.链，初步理解为具体任务中不同子任务之间的调用。4.数据增强的生成，数据增强生成涉及特定类型的链，首先与外部数据源交互以获取数据用于生成步骤。对长篇文字的总结和对特定数据源的提问/回答——即RAG，可以理解数据增强为一种特殊的链。5.代理，根据不同的指令采取不同的行动，直到整个流程完成为止。
2024-03-30 21:02:00
406
原创 大模型RAG性能提升路径
对相同的检索结果和输入作为拼接测试模型能力。设计反思+多轮校验的问答机制优化问答能力。需应用思维链（CoT）、agent。确定性能差距后更换模型、微调模型。新增外部信息、提示、工具。
2024-03-29 17:05:44
449
原创 【Python BUG】CondaHTTPError解决记录
文件，建议用这个方法前和我一样做个备份，方法不行的话可以恢复之前状态，不至于改的乱七八糟。之后，Anaconda Prompt (Anaconda3)即可正常使用。
2024-03-28 15:05:01
2340
6
原创 langchin-chatchat部分开发笔记（持续更新）
Model_config修改后，自定义名称的模型（形式以openai API呈现，本地则不需要）要在这里进行补充修改。此外config处应添加port字段。
2024-03-27 17:01:50
484
原创 最简明的大模型agent教程
大模型Agent是结合了大规模神经网络模型和自主计算实体的技术，它具备强大的表达、学习和交互能力，能够在无人干预的情况下，根据环境信息自主决策和控制行为。简单而言之，agent是增强大模型能力的技术方案路径。主要包括：工具、工具选择方案，大模型工具应用3个部分。1用户给出一个任务(Prompt) -> 2思考(Thought) -> 3行动(Action) -> 4观察(Observation)
2024-03-22 15:52:10
1267
原创 一文理清python学习路径
git、docker、vs、mobaxter、navicat、wincp等开发软件或工具的使用。gensim、jieba、音频处理、时频域变换、信号处理策略等数据方面的辅助技能和知识。爬虫基本代码框架（requests，正则、xpath、bs4等）迁移学习、强化学习、参数/超参数优化手段等模型方面的知识和技能。prompt、agent等方向的大模型性能提升能力。各种数据评估数据计算（混淆矩阵、SSE等）RAG、DB、KG等方向的大模型开发能力。python学习路线总结。mlp、arima等模型。
2024-03-22 09:23:05
469
原创 AI应用开发-基于python的知识图谱技术
图数据、图数据库、知识图谱和Neo4j都是与数据处理和存储相关的概念和技术，它们在许多领域都有广泛的应用。
2024-03-21 16:16:12
1016
原创 基于selenium和bs4的通用数据采集技术（附代码）
本文所说的数据采集技术即爬虫，爬虫技术用于从互联网上抓取大量数据。这些爬虫程序能够自动化地访问网页/公众号平台、解析内容，并提取所需的信息。在大数据和机器学习等领域，爬虫技术发挥着至关重要的作用。数据采集技术为项目提供丰富的数据资源，根据这些信息进行产品设计和创新，持续改进和优化产品。
2024-03-21 15:34:36
1684
1
原创 一文教你成为合格的Prompt工程师【优质示例】
大模型Prompt指的是在自然语言处理领域中，基于大型预训练语言模型的一种强大新型工具。它通过微调来适应特定任务，从而在各种NLP任务中表现出色。简单来说，Prompt的作用主要是给AI模型提示输入信息的上下文和输入模型的参数信息。此外，Prompt Learning还具有降低训练成本的优势，因为它不需要对模型本身进行修改，从而可以省去大量的训练时间和计算资源。指令（Instruction） - 即你希望模型帮你完成的任务或者指令。
2024-03-20 22:35:17
967
原创 基于Langchain-chatchat的向量库构建及检索（附代码）
迁移Langchain-chatchat中的向量库，结合下载下载向量模型，实现向量库检索。无需GPU（有也可以）
2024-03-20 10:33:55
375
原创 LightGBM：更好更快地用于工业实践集成学习算法
GBDT (Gradient Boosting Decision Tree) 是机器学习中一个长盛不衰的模型，其主要思想是利用弱分类器（决策树）迭代训练以得到最优模型，该模型具有训练效果好、不易过拟合等优点。GBDT不仅在工业界应用广泛，通常被用于多分类、点击率预测、搜索排序等任务；在各种数据挖掘竞赛中也是致命武器，据统计Kaggle上的比赛有一半以上的冠军方案都是基于GBDT。
2024-03-20 10:04:56
921
原创 DLinear：未来预测聚合历史信息的最简单网络
Transformer 架构依靠自注意力机制来有效提取长序列中成对元素之间的语义相关性，这在一定程度上是具有置换不变性质的，即不受顺序改变影响。（不分顺序）然而在时间序列任务中，我们需要提取一组有序的连续点之间的时间关系，时序上的位置信息是非常重要的。（顺序有关键作用）使用一种非常简单的架构，名为 DLinear，它进行直接多步 (DMS) 预测。DLinear将时间序列分解为趋势序列和余数序列，并采用两个单层线性网络对这两个序列进行建模以用于预测任务。
2024-03-20 09:43:55
500
原创 FITS：一个轻量级而又功能强大的时间序列分析模型
与现有的直接处理原始时域数据的模型不同，FITS的工作原理是，可以通过在复数频率域的插值来操纵时间序列，实现了与时间序列预测和异常检测任务的最先进模型相媲美的性能。值得注意的是，FITS仅使用约10k个参数，使它非常适合边缘设备，并为各种应用场景提供了可能。本质上，通过插值所提供的段的频率表示来产生一个扩展的时间序列段。FITS的核心是一个复值线性层，精心设计来学习振幅缩放和相移，从而促进了在复频域内的插值；还包含了一个低通滤波器。
2024-03-19 16:22:24
704
原创 AI预测-一文解析AI预测数据工程
数据工程包括异常处理、数据单项分析、数据关联分析、数据编码处理、数据特征工程等方面，对AI预测可以起到决定性作用。
2024-03-16 22:15:33
1250
1
原创 一文总结python的异常数据处理示例
数据是一切应用开发的基础，异常数据处理可以保障数据质量。本文总结了基于数据分布、聚类算法、树、距离以及概率的异常数据处理算法及其示例。
2024-03-16 20:18:21
476
原创 PyQt5应用开发-PyQt5对比其他python生态的界面开发工具
跨平台性：可以在多种操作系统上运行。定制性有限：虽然gradio提供了基本的界面组件和样式设置，但相比专业的Web开发框架，其定制性可能有所不足。优点： Web开发框架：Django是一个强大的Web开发框架，适用于构建复杂的Web应用程序。功能有限：与PyQt5相比，tkinter提供的UI组件相对较少，可能无法满足复杂界面的需求。定制性有限：虽然streamlit提供了基本的界面组件，但对于高度定制化的需求可能无法满足。丰富的组件：提供了丰富的UI组件，如数据表、图表、表单等，满足各种需求。
2024-03-15 16:55:25
427
原创 从零开始的LLaMA-Factory的指令增量微调
LLaMA-Factory是开源的大模型微调框架，在模型微调方式、参数配置、数据集设置、模型保存、模型合并、模型测试以及模型试用上，提供了非常完备的开发接口。
2024-03-15 15:10:47
3216
5
原创 大模型应用开发-大模型token等基本概念及参数和内存的关系
广义的AIGC可以看作是像人类一样具备生成创造能力的AI技术，即生成式AI，它可以基于训练数据和生成算法模型，自主生成创造新的文本、图像、音乐、视频、3D交互内容等各种形式的内容和数据，以及包括开启科学新发现、创造新的价值和意义等。一张图像和它对应的文本描述，希望通过对比学习，模型能够学习到文本-图像对的匹配关系。指令微调，指的是使用一些自然语言描述的指令形式样本去用监督学习的方式微调预训练大模型（base model），经过指令精调后，LLM能在一些未见过的任务上表现较好的能力，甚至是多语言场景。
2024-03-14 19:33:46
1292
原创 PyQt5应用开发-PyQt5简介及环境搭建
PyQt5是Digia公司的一套Qt5应用框架与Python的结合，这套框架是由一系列Python模块组成的，包含了超过620个类和6000个函数及方法。这使得PyQt5在功能上非常丰富，能够满足多种应用开发需求。PyQt5的主要特点之一是跨平台性，可以在诸如Unix、Windows和Mac OS等主流操作系统上运行。这种跨平台性使得开发者可以更容易地实现应用的多平台部署，无需针对不同平台编写不同的代码。在模块划分上，PyQt5的类被分为多个模块，每个模块都有其特定的功能。
2024-03-08 13:52:55
417
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人