自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(98)
  • 收藏
  • 关注

原创 智能化文档开发(DI)

💡 最后所有模型都训好之后,和后端逻辑一起封装到api中调用。

2025-01-09 15:07:19 612

原创 Paddle实战

PaddleNLP官方帮助文档Paddle帮助文档旧版本对应关系paddleocr默认使用PP-OCRv4模型(–ocr_version PP-OCRv4),如需使用其他版本可通过设置参数–ocr_version,具体版本说明如下:结果是一个list,每个item包含了文本框,文字和识别置信度可以通过指定参数page_num来控制推理前面几页,默认为0,表示推理所有页设置–rec为false结果是一个list,每个item只包含识别结果和识别置信度通过修改–lan

2025-01-06 14:03:14 899

原创 DeepSeekv3 Build Anything

DeepSeekv3参数量6710以个,但在活跃是每个token的参数仅仅为370亿个,在14.8万亿个token的训练集上训练(100万个token约为75万词),预训练阶段仅需266.8万H800个GPU小时,后续训练阶段也仅需10万GPU小时。【约2个月完成训练,550万美元】传统的Transformer模型(BERT、GPT等)在处理长序列、多模态数据或推理复杂任务时计算效率低,上下文捕捉不足【因为它们在当输入的Prompt非常长时会在中途随机遗忘一些内容】

2025-01-05 20:59:18 658

原创 smell---Paddle-DI

参考文献。

2024-12-31 09:39:56 515

原创 挖空的解决思路

用RagFlow解析完文档后怎么对某些实体的某些参数进行遮挡,给他设置预设好的可选项,并最终整合成文档模版,给我详细讲解怎么实现。解析–实体抽取(Open NRE、UIE)–遮挡–插入可选项–保存模版1–微调训练得模版2。

2024-12-30 23:34:46 216

原创 分布式、集群、Mac M1装Ubuntu、Mac扩容

外置移动硬盘盒。

2024-12-30 16:57:10 312

原创 Mac、Linux命令

查本机IP:ip addr查询文件里符合条件的字符串:grep。

2024-12-30 16:48:44 519

原创 自动化文档处理:Azure AI Document Intelligence

使用常规文档、读取和布局模型在公司中,客户和合作伙伴经常发送各种规范、招标书、工作陈述等具有不确定结构的文档。你想知道 Azure AI 文档智能是否能分析和提取这些文档中的信息。Azure AI 文档智能读取模型可以从文档和图像中提取印刷和手写文本。这是所有其他预生成模型的基础,用于提供文本提取功能。常规文档模型扩展了读取模型的功能,能够提取键值对、实体、选择标记和表格数据。它。实体提取。 常规文档模型可以识别并提取人员、组织和日期等实体。即使文档结构复杂,也能有效提取有用信息。可识别的实体类型包括:

2024-12-30 16:25:40 1379

原创 关于Agent

Agent的核心逻辑是让LLM根据动态变化的环境信息,选择执行具体的行动,并反过来影响环境,通过多轮迭代重复执行上述步骤,直到完成目标。总结就是:感知§ — 规划§ — 行动(A)Agent(智能体)指能感知环境并采取相应行动的智能体。

2024-12-30 09:39:07 176

原创 吴恩达--LangChain

这里举例子:一个人的日程安排和一些闲聊,当tokens很大时,可以保留下所有的对话信息,当token减小时,使用SummayBufferMemory对“废话”做摘要。这里举例字让ai把一段粗鲁的非英语翻译成有礼貌的英语,指定了用语言的style和提示词(使用一般的OpenAI)下面使用LangChain,需要导入ChatOpenAI(LangChain对ChatGPT的抽象访问API)之前输出的是str类型的,现在是dict类型。需要pipopenai。

2024-12-27 16:42:13 172

原创 RAG 检索的底座:向量数据库

RAG 检索通常与向量数据库密切结合,也催生了基于 ChatGPT + Vector Database + Prompt 的 RAG 解决方案,简称为技术栈。这一解决方案依赖于(LLMs),。这种检索机制使 LLMs 在面对具体问题时,能够利用存储在向量数据库中的最新信息,有效解决 LLMs 固有的知识更新延迟和幻觉的问题。向量数据库在高效地存储和检索大量嵌入向量方面的出色能力。

2024-12-27 09:10:41 555

原创 爆改RagFlow

中完成的,此方法会根据文件创建一个或多个异步任务,方便异步执行。进行触发的,实际的处理是在。

2024-12-26 21:01:30 486

原创 一定要挖空吗?或许可以换个方式

语气对采购文档训练挖空,我想可以试试根据一个结构化的表格(更便捷高效,简洁明了的指出来哪些数据是我们要关注的点,而不是用训练的方法去找哪些数据对我们是关键的,节省了算力)来生成最终的采购文档,这里可以开发一个表哥填写系统,最后输出一张“采购文档结果指向表”,把这张表喂给大模型,让大模型根据我们给的规则(用“提示词”)来生成一份初代文件,在这个过程中可以加入人为干预来微调模型,更契合我们当下的业务,最后根据不同的业务流可以训练出不同的大模型(采购文档大模型、评标大模型、xxx大模型)

2024-12-24 10:41:22 213

原创 CV实战项目----YOLO

目标检测项目:基于改进YOLOv8 的密集行人检测目标跟踪:重识别姿态检测。

2024-12-23 15:16:36 252

原创 跑大模型内存不足

RAGFlow服务器使用的内存是宿主机(即运行RAGFlow的物理机或虚拟机)的内存。当您在Docker中运行RAGFlow时,您可以通过设置Docker容器的内存限制来调整RAGFlow使用的内存。这个内存限制是在Docker容器的配置中设置的,通常是在docker-compose.yml文件或者.env文件中指定的。MEM_LIMIT=34359738368(即32GB)1、修改.env文件MEM_LIMIT值。2、重新启动RAGFlow服务。3、查看宿主机还有多少可用内存。

2024-12-23 13:17:23 174

原创 构建知识图谱---属性抽取+文本分析

如何进行大规模属性抽取以及从非结构化文本中发现新的属性及属性值属性抽取的主要流程:1、给定实体的以及实体的2、基于三元组词典对描述文本进行,标注方式分为BIO/BMES/BIOES三种3、使用标注数据神经网路模型4、

2024-12-23 13:16:45 284

原创 RAG+Agent人工智能平台

RAG+Agent人工智能平台

2024-12-23 13:13:03 116

原创 RagFlow搭建私有化知识库

♥♥♥知识库、无幻觉聊天和文件管理是RAGFlow的三大支柱。RAGFlow的AI聊天基于知识库。RAGFlow的每个知识库都作为知识源,将从本地机器上传的文件和文件管理中生成的文件引用解析为未来AI聊天的真正“知识”。

2024-12-23 13:10:58 384

原创 救救孩子吧:RagFlow解析文档一直卡在83%不动,令人头大

我上传了一个5页的pdf格式论文,解析一直停留在83%ragflow-slim容器的部分配置信息。我的docker内容器。

2024-12-19 10:30:41 461

原创 docker(wsl)命令 帮助文档

wsl -l -v列出所有已安装的 Linux 发行版关闭所有正在运行的WSL发行版。如果你只想关闭特定的发行版登录到Ubuntu环境查看正在wsl中运行的linux发行版(系统名称) 注销(发行版) (安装位置) (文件路径以及文件名称)检查 WSL 状态输出将包括文件系统、大小、已用、可用、使用百分比和装载位置等信息free -m查看内存、swap大小查看处理器个数。

2024-12-18 16:17:33 1074

原创 压力测试总结

事先定好目标QPS,如果上去随机乱压可能会把系统压坏找出系统“水位”,在系统资源濒临阈值【如:CPU利用率濒临xx% or 硬盘使用率濒临xx%】或资源报警时,QPS以及对应的RT为该系统的水位。

2024-12-16 23:45:56 443

原创 企业级性能压测场景

破坏性压力测试【极限测试】:最大并发用户数,可能会伴随可恢复性测试(单机、集群)目的:获取耽搁接口在没有压力的情况下各项性能指标,作为其他场景的参考依据。单交易(接口)负载测试:验证单个接口的最大处理能力及其他性能指标的表现。:并发用户数的上限,一旦超过那么响应时间无法容忍5s,TPS下降。单接口(单交易):使用一个用户持续1分钟以上(通常是1分钟))、吞吐量(TPS、OPS、RPS)、资源利用率(多交易负载测试:(流程负载测试、混合负载测试)核心性能指标:并发用户数、响应时间(:系统资源利用率最高。

2024-12-16 23:19:33 396

原创 omniparser部署

从 Docker Hub 中提取 OmniParse API Docker 镜像。运行 Docker 容器,公开端口 8000。

2024-12-16 17:07:13 161

原创 如何挖空?

2024-12-16 17:04:05 117

原创 RagFlow上传文件解析时卡住、失败

解决方案:尝试通过增加 docker/.env 中的值来增加内存分配。原因:解析进程可能会因 RAM 不足而终止。

2024-12-16 15:34:40 870

原创 ragflow连不上ollama的解决方案

由于前期wsl默认装在C盘,后期部署好RagFlow后C盘爆红,在连接ollama的时候一直在转圈圈,问其他人没有遇到这种情况,猜测是因为内存不足无法加载模型导致,今天重新在E盘安装wsl。

2024-12-11 18:22:51 1419

原创 本地WSL(Ubuntu)RAGFlow连接Ollama

本地WSL/Docker Desktop部署:RAGFlow

2024-12-10 16:39:23 111

原创 ragflow连ollama时出现的Bug

这里可能是我一开始拉取的镜像容器太小,容不下当前添加的模型,导致无法去设置模型。左边栏中的系统应该是当前运行的容器。

2024-12-09 11:46:19 771 2

原创 ollama和RagFlow连不上

关于基础URL的几点说明版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。原文链接:https://blog.csdn.net/weixin_47782004/article/details/144144363。

2024-12-09 11:10:47 505

原创 RagFlow 文档解析

RAGFlow 的设计哲学是“高质量输入,高质量输出”,它通过提供可解释性和可控性的生成结果,让用户能够信任并依赖于系统提供的答案。

2024-12-05 16:44:35 948

原创 Ollama

浏览器访问 http://localhost:11434。

2024-12-05 11:17:23 372

原创 快速构建NLP理论知识体系

如果我们要实现机器翻译、情感分析、问答系统、文本摘要、聊天机器人、构造智能化的辅助文件填写模板,NLP可以通过现成的模型对输入的语音、文字、图片进行处理(分词、标词性、去停用词、词干提取、向量化等)实现上述任务,这其中的底层逻辑是基于RNN、LSTM、GRU、Att机制的,而在对模型的训练过程中会涉及到优化算法(SGD、Adm)、正则化技术(防止过拟合,L1、L2)、迁移学习(加速新任务学习)以及一些概率模型(隐马尔可夫模型之类)的使用。

2024-12-05 09:45:41 431

原创 本地化部署RagFlow记录

前期由于Docker关闭服务导致镜像拉取不成功,在更换好镜像源后可以正常拉取Docker启动需要进入Ubuntu-22.04如果 vm.max_map_count 的值小于 262144,可以进行重置利用提前编译好的 Docker 镜像启动服务器启动成功界面好了,现在它可以动了,但是我想因任务不同我们需要的yml配置不一样,所以我们最好针对不同的任务去找合适的配置,现在打算先对当下任务配置一个虚拟环境方便后期的管理,然后再去找合适的yml文件重新配置(如果有需要)

2024-12-05 09:25:39 1135

原创 工作记录-Docker镜像失效

清空原来的镜像源,进入编辑,添加可用的镜像源,退出保存。执行刷新镜像、重启docker,搞定!检测上面镜像源是否可用的命令。如果有daemon.json。

2024-12-05 09:05:38 725

原创 开发系统准备与开发环境配置总结

【搜索】中查找【记事本】,并以管理员身份运行,在笔记本的文件中打开C:\Windows\System32\drivers\etc\host添加下面的地址并保存。2、 设置 -> 应用 -> 右侧的程序和功能 -> 启动或关闭windows功能 -> 勾选适用于 Linux 的 Windows 子系统,重启。:用于在Linux系统部署项目,现在在windows下也可以部署,推荐在linux下使用,更便捷、稳定。:windows下的docker和Ubuntu下的Docker是不相通的,各是各的,不要混淆。

2024-12-02 16:01:47 737

原创 秋招专业类刷题错题本1

在JAVA里面,静态变量在方法区n+1个字节高速缓冲存储器,是位于CPU和主存储器DRAM(Dynamic Random Access Memory)之间,规模较小,但速度很高的存储器,通常由SRAM(Static Random Access Memory 静态存储器)组成工厂方法模式:一种创建型设计模式,它定义了一个用于创建对象的接口,但允许子类决定实例化哪一个类。这桥接模式:桥接模式是一种结构型设计模式,它将抽象部分与其实现部分分离,使它们可以独立变化。

2024-08-12 20:04:51 576

原创 Java开发从0到100(未完成)

java提供了一套机制,使得我们可以对方法、类、参数、包、域以及变量等添加标准(或附加信息,功能也算是信息的一部分),并且通过某些定义好的实际触发此段信息。将json格式数据封装到实体类中需要在形参前加注释@RequesBody。在前端发起post请求时,服务端使用@PostMapping。使用不同模块会用到不同系统下的注释,也可以自定义标注@

2024-04-27 13:26:35 337

原创 面试----SVM

方法1️⃣:一对多法。训练时依次把某个类别的样本归为一类,其他剩余的样本归为另一类,这样k个类别的样本就构造出了k个SVM。分类时将未知样本分类为具有最大分类函数值的那类。方法2️⃣:一对一法。其做法是在任意两类样本之间设计一个SVM,因此k个类别的样本就需要设计k(k-1)/2个SVM。当对一个未知样本进行分类时,最后得票最多的类别即为该未知样本的类别。Libsvm中的多类分类就是根据这个方法实现的。

2024-04-25 15:15:00 764

原创 后端面试---分布式&&微服务

2、若A服务请求B服务B1接口,B1接口又请求A服务的A2接口,会不会有问题。1、谈谈你对微服务的理解,什么时候用微服务。

2024-04-25 15:13:29 566

原创 后端面试真题--计算机基础篇

面试大概率问到的计算机基础

2024-04-25 15:12:31 393 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除