HuggingFists安装及系统介绍

HuggingFists

HuggingFists是一款低代码AI应用工具，脱胎于数据科学平台Sengee，其继承了传统数据科学工具以低代码方式搭建数据处理与数据分析流程的能力，并将此能力外延到了非结构化数据。使用户能够用一致的体验，可视化的搭建结构化、半结构化以及非结构化数据的处理与分析流程。其还集成了包括HuggingFace在内的诸多社区及企业的人脸识别、物体识别、语音识别、声纹识别、文本分类、LLM等AI能力，并以算子化的方式进行了包装，方便使用者以低代码的方式应用这些能力。目前HuggingFists支持包括读取、写出、处理、分析等各类算子300+种。使用这些算子能够很大程度上解决客户的各类复杂数据处理及AI应用需求，大大降低工程的实施成本。

安装

本文以 linux 系统为例：

• 从git上拉取工程文件 git clone https://github.com/Datayoo/HuggingFists.git
• 进入sengee.community.linux
• 执行安装脚本 bash install.sh

脚本执行结束后，可通过curl http://localhost:38172 测试系统是否正确安装

安装结束后，可通过访问url地址：“http://服务器IP:38172” 打开工具使用界面

如果外部无法访问到页面，可以将服务器重启一次再试,算子平台会开机自启

注意: 需要开放38172端口

系统简介

首页

各个系统的资源及统计数据图表

数据源

数据源分为3个模块，数据库模块，文件系统模块，应用程序模块。

• 数据库模块：定义各种数据库的连接配置，保护关系数据库，云数据库，文档数据库，向量数据库。新建的数据库可以直接在页面上预览数据，十分方便
• 文件系统模块：可以定义各种文件的数据，包括csv,docx,图片及视频。支持在线预览，解析不出来的只能看到二进制片段。
• 应用程序模块：此模块的数据源，可以是网页，rest接口，及其他应用程序的数据。

丰富的数据源可以使 HuggingFists 应用到广泛的不同场景里面。

流程

流程模块是 HuggingFists 的行为。各种操作最后都是需要配置流程来实现的。使用者通过拖拽算子，连接端口，构建数据来处理流程。

作业管理

作业管理就是流程测试通过了，需要部署到线上 使用的正式产物。作业不能修改。

环境管理

管理系统的工作节点，和服务配置。比如集群配置，代理配置等。

资源库

资源库分为：连接器库，算子库，大语言提示库。就是流程配置里面使用的各种资源节点。

• 连接器库：描述了系统可以接入的所有数据源类型，包括：关系数据库、文档数据库、列数据库、文件系统，事件流以及应用系统等。支持动态扩展
• 算子库：描述了系统可以使用的所有算子，包括：输入、输出、读取、写出、控制、处理、分析、动作等不同类型。支持动态扩展。
• 提示库：描述了系统可以使用的大语言模型提示，包括：简单、复杂以及智能体等多类不同提示。

账号管理

分为本系统的账号管理，和各种资源账号的管理。点击系统右上角的用户昵称可以进入到账号管理模块。
资源账号的管理：包括各种ai模型的账号token管理。

算子库扩展

刚安装的 HuggingFists 系统是没有 大语言提示模块 这个算子的，这就导致系统不能处理大语言模型的操作。
需要下载扩展算子。

• 扩展算子：https://github.com/Datayoo/Operators
• 拉取扩展算子
• 进入系统-> 资源库->算子库->上传刚才下载的算子库

上传的算子库是zip压缩包，需要先上传descriptor 的zip包

案例使用

可以参考：https://zhuanlan.zhihu.com/p/679522964