HuggingFists
文章平均质量分 90
colorknight
这个作者很懒,什么都没留下…
展开
-
无代码情报处理漫谈
情报处理与行业及业务紧密相关。本文并未给出明确、完整的情报处理流程,更多阐述了情报处理中碰到不同结构的数据时的不同处理手段。也给出了笔者团队基于HuggingFists系统的无代码情报处理解决方案。欢迎有兴趣的朋友使用系统,并可通过文章给出的视频的结尾二维码加入技术交流群,与我们探讨交流。HuggingFists Linux版:https://github.com/Datayoo/HuggingFists。原创 2024-09-12 11:28:15 · 692 阅读 · 0 评论 -
LLM智能体工程落地思考(二)
于是,去年下半年,开始陆续出现了一些以LangChain作为基础的低代码类RPA工具,如:Flowise,LangGraph以及国内最近非常火的Dify等工具。这些工具的出现,进一步降低了LLM的应用成本和搭建AI Agent的成本。通过组件拖拽,可视化的构建数据处理流程和AI的应用逻辑,可降低对实施人员的编程能力要求,使得有经验的业务人员有机会参与工程落地;有别于现在流行的RPA类低代码平台,HuggingFists采用的是传统的数据科学工具的架构,即HuggingFists是面向数据集来处理的。原创 2024-08-01 21:32:49 · 646 阅读 · 0 评论 -
LLM智能体工程落地思考(一)
但AI Agent能胜任更多种任务,成为AI工程落地的重要手段的观点,笔者是深以为然的。但该技术只能做到初步激活客户的私有数据,利用LLM的总结归纳能力,完成垂域知识的问答。当然,不管AI Agent的实现形式是怎样的,工程落地都会面临一类通用的问题,就是如何使AI Agent与客户的环境相结合,从而完成与环境的信息交换。众所周知的是,当我们需要与客户的环境对接时,必然会产生定制开发的成本。那么这就意味着AI Agent的工程成本至少要与项目的预算基本持平才能够不断帮助客户实现AI Agent的垂域落地。原创 2024-08-01 21:27:52 · 732 阅读 · 0 评论 -
HuggingFists系统功能介绍(2)--数据源&账号
HuggingFists为其集成的所有数据库都提供了一致操作及查看界面,可以极大的降低使用者的学习成本,当然也牺牲了部分数据库的特点。使用者不能将HuggingFists的数据库管理模块预期为一个专业的数据库管理工具,其定位更多是为了让用户能够对待处理与分析的数据有一个初步的了解。因为结构化数据是不需要太关注这类数据源的。社区版系统安装完后,会将本地文件系统的特定目录预置为HuggingFists的内置文件系统,HuggingFists内的读取/写出类算子会缺省以内置文件系统作为读取/写出的目标。原创 2024-02-25 14:59:38 · 999 阅读 · 0 评论 -
HuggingFists系统功能介绍(5)--环境&资源
HuggingFists系统的基本功能我们介绍完了。感兴趣的朋友可以安装并试用下了。通过本次介绍,使用者应该可以自行搭建自己的数据处理或分析流程了。至于HuggingFists系统还有很多应用细节,我们后续将再做专题介绍。在此之前,大家也可以自行点击摸索使用,期间大家碰到什么问题或有任何建议可以扫描下面的二维码加入群组与我们一起讨论。原创 2024-02-25 15:43:23 · 1293 阅读 · 0 评论 -
HuggingFists系统功能介绍(4)--作业管理
每当流程作业满足调度计划的调度条件时就会产生一个具体的流程任务,HuggingFists会调度该流程任务完成具体的执行。第一步填写作业基本信息,选中作业运行所需的流程及版本,若作业运行所需的时间比较长,可以增大作业超时时间,缺省为7200秒,即2个小时;HuggingFists的支撑功能拥有很好的环境适应性,其能方便、快捷的整合本地以及互联网中的各类能力,从而集中、高效、低成本的解决使用者的各类数据业务需求。在定义可多次运行的作业时,需要格外注意作业可能被调度的频次是否会超出系统计算资源的支撑能力。原创 2024-02-25 15:31:53 · 470 阅读 · 0 评论 -
HuggingFists系统功能介绍(3)--流程管理
下面我们点击“新增流程”按钮,创建一个流程。流程类型为“执行图流程”;业务类型根据需要选择“数据处理”或“数据分析”;计算框架选择“单机引擎”。HuggingFists社区版只支持“单机引擎”,即一个流程运行时只能使用一台机器的CPU及内存资源的引擎。而其企业版则还可以选择Spark批计算引擎以及Flink流计算引擎,可以使用集群的算力,用于处理更大规模的数据。最后,填写流程名称,选填描述信息点击“确定”按钮,创建流程,进入流程的定义界面。流程定义界面。原创 2024-02-25 15:15:37 · 1172 阅读 · 0 评论 -
HuggingFists系统功能介绍(1)--系统概述
HuggingFists是一款低代码AI应用工具,力图发展为LangChain的低代码平替工具。HuggingFists发起于数由科技的Sengee数据科学计算框架,因此其界面风格继承了数据科学工具的很多特征。有别于完全基于LangChain衍生出的低代码工具Flowise,其风格更类似于开源的ETL工具Kettle或者是数据分析工具RapidMiner、KNIME等。对于熟悉这类工具的使用者来说会更容易接受并使用。原创 2024-02-25 14:48:51 · 1316 阅读 · 0 评论 -
HuggingFists-低代码玩转LLM-腾讯云RAG(2)
使用腾讯云技术栈搭建RAG(检索增强生成)的实验完成了。在这个实验中,我们主要利用了腾讯云的相关技术栈。但这种搭建方式可以扩展到其它的云端服务,可以最大限度的使用各类云端服务搭建起面向个人的RAG应用。实验中,我们引入了Cohere的文本重排算法,用于优化文本的相关度排序,减小提交到大语言模型的提示上下文的长度。这里有两方面内容需要权衡,一是成本问题,即Cohere的文本重排算法本质上也是收费的,那么到底是重排的收费更高还是生成的收费更高是我们需要在方案选取时思考的问题;原创 2024-02-20 09:00:00 · 1233 阅读 · 0 评论 -
HuggingFists-低代码玩转LLM-腾讯云RAG(1)
本次我们选择使用腾讯云的向量库来代替Milvus向量库,完RAG应用场景的搭建。除了向量库采用腾讯云以外,我们本次也将文本Embedding以及大语言模型都换成腾讯云的技术栈,大模型使用腾讯云的混元大模型。在搭建这个实验的过程中,我们能够看到不同技术路线带来的效果差异。原创 2024-02-19 00:08:46 · 1148 阅读 · 2 评论 -
HuggingFists:低代码玩转Hugging Face
HuggingFists正是在这样的需求背景下产生的。从HuggingFists的名字也不难看出,其与HuggingFace一定存在某种渊源。事实是,开发团队为了表达对HuggingFace公司在人工智能领域为所有从业者做出的贡献,故将其命名为”HuggingFists”,并为其设计了如下的图标,以一种中国人的礼仪文化对其表达了诚挚谢意。HuggingFists支持通过低代码的方式使用Hugging Face网站提供的各类模型,方便从业者更便捷的了解模型的能力,从而决策是否进行深入研究和应用。原创 2024-01-09 08:45:00 · 1571 阅读 · 2 评论 -
HuggingFists-低代码玩转LLM RAG-准备篇
之前写了几篇关于如何使用HuggingFists系统搭建LLM RAG应用的文章。对于使用者来说,HuggingFists现在能带来两大点帮助。一是能够以低代码的方式快速处理客户的各类存量文档,如Word、Visio、PDF等。这些文档内容多样,其中不乏需要用到OCR等相关技术才能识别和抽取的内容;二是可以帮助使用者快速搭建出LLM RAG的研究环境,可以对比研究各LLM的差异,RAG的应答效果评估以及积累Prompt的相关知识。原创 2024-01-03 08:45:00 · 1497 阅读 · 3 评论