用LLM搭建100个应用：从0到1搭建自己的Windows贾维斯

最新推荐文章于 2024-09-15 22:47:38 发布
最新推荐文章于 2024-09-15 22:47:38 发布
阅读量597 收藏 8
点赞数 8
文章标签： windows 大模型 人工智能 langchain AI大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_63171455/article/details/141155284
版权

从ChatGPT发布至今，确实所有的应用都值得用大模型重新做一遍。国内外对基底大模型卷了又卷，新生的应用也在模型的迭代过程中，起起伏伏。

但可以坚信的是，AGI的方向和每个时代人们永远在变的不变的需求。

而求外不如求己，生活中的点点滴滴，就是我这个小码农的产品经理，所以也决定开个系列，监督自己，整合下学到的东西给自己留个记录。

第一个应用灵感来源于钢铁侠的Jarvis，喊一声可以帮你做任何事。

例如，我有事情在忙，我没法操作手机和电脑，需要Jarvis帮我用微信哄一哄老婆先。

这时候Jarvis接收到我的信息，解析出操作步骤和内容，执行打开微信，搜索老婆，再输入“老婆，我等等就回来跪榴莲。”并发送，完毕。

当然，说不玄乎点就是一个超级智能体 + 多感知 + 多机互联。

根据上述Jarvis场景，我们拆解详细的技术方案：

  • 智能体：我们有大模型，结合自己写plan，写workflow
  • 多感知：做个电脑应用，支持键盘输入+语音输入
  • 多机互联：自动抓取windows窗体，到特定模块实现交互（这里可能不止是多个系统终端、网页，也可以不断地加入其他新的终端交互形式，但我们暂时以操作windows窗体为目标）

完整项目☞：github.com/metaimagine… ⭐持续更新，欢迎Star⭐

下面我们开始第一部分吧！

语言：Python

ASR：[Sherpa-onnx]

LLM：[Deepseek]

Agent框架：[Agently]

一、 接入ASR

这里使用👉[Sherpa-onnx]，实测用cpu都跑得六六的。

因为我们语音交互，必不可少用到麦克风，我们直奔主题： image.png

1. 安装依赖

pip install sounddevice sherpa_onnx

2. 代码

其中，使用带节点检测的代码： [github.com/k2-fsa/sher…] 也可以直接用我改后的，新建文件microphone_asr.py，填入：

#!/usr/bin/env python3

# Please refer to
# https://k2-fsa.github.io/sherpa/onnx/pretrained_models/online-paraformer/paraformer-models.html#
# to download pre-trained sherpa
import os.path
import queue
from typing import Generator

import sounddevice as sd
import sys
import logging
import sherpa_onnx

logger = logging.getLogger(__name__)

class AsrHandler:
    def __init__(self, model_path, debug=False):
        self.recognizer = None
        self.sentence_q = queue.Queue()
        self.init_recognizer(model_path)
        self.debug = debug

    def init_recognizer(self, model_path):
        encoder = os.path.join(model_path, "encoder.int8.onnx")
        decoder = os.path.join(model_path, "decoder.int8.onnx")
        tokens = os.path.join(model_path, "tokens.txt")
        self.recognizer = sherpa_onnx.OnlineRecognizer.from_paraformer(
            tokens=tokens,
            encoder=encoder,
            decoder=decoder,
            num_threads=2,
            sample_rate=16000,
            feature_dim=80,
            enable_endpoint_detection=True,
            rule1_min_trailing_silence=2.4,
            rule2_min_trailing_silence=1.2,
            rule3_min_utterance_length=300,  # it essentially disables this rule
        )

    @staticmethod
    def show_devices():
        devices = sd.query_devices()
        if len(devices) == 0:
            logger.info("No microphone devices found")
            sys.exit(0)

        logger.info(devices)
        default_input_device_idx = sd.default.device[0]
        logger.info(f'Use default device: {devices[default_input_device_idx]["name"]}')

    def handle(self) -> Generator:
        logger.info("Microphone Asr Started! Please speak...")

        # The model is using 16 kHz, we use 48 kHz here to demonstrate that
        # sherpa-onnx will do resampling inside.
        sample_rate = 48000
        samples_per_read = int(0.5 * sample_rate)  # 0.1 second = 100 ms

        stream = self.recognizer.create_stream()

        last_result = ""
        segment_id = 0
        try:
            with sd.InputStream(
                channels=1, dtype="float32", samplerate=sample_rate
            ) as s:
                while True:
                    samples, _ = s.read(samples_per_read)  # a blocking read
                    samples = samples.reshape(-1)
                    stream.accept_waveform(sample_rate, samples)
                    while self.recognizer.is_ready(stream):
                        self.recognizer.decode_stream(stream)

                    is_endpoint = self.recognizer.is_endpoint(stream)

                    result = self.recognizer.get_result(stream)

                    if result and (last_result != result):
                        last_result = result
                        if self.debug: logger.info("\r{}:{}".format(segment_id, result))
                    if is_endpoint:
                        if result:
                            if self.debug:logger.info("\r{}:{}".format(segment_id, result))
                            segment_id += 1
                            # generator result
                            yield result

                        self.recognizer.reset(stream)
        except sd.PortAudioError as e:
            logger.exception(f"no input device found: {e}")

if __name__ == "__main__":
    try:
        asr_gen = AsrHandler(model_path="YOUR_MODEL_DIR_PATH").handle()
        for chunk in asr_gen:
            print("ASR Result : ", chunk)
    except KeyboardInterrupt:
        print("\nCaught Ctrl + C. Exiting")

3. 模型下载

模型下载指导： [k2-fsa.github.io/sherpa/onnx…] 实际上，就是里边wget的地址，我直接给其中一个模型地址的： [hub.nuaa.cf/k2-fsa/sher…] 下载后需要双解压(.tar.bz2)，不清楚的可以问LLM。

4. 运行

解压后，把路径填到上述文件的YOUR_MODEL_DIR_PATH中，

运行python microphone_asr.py代码即可。

运行截图

至此，ASR部分大功告成。

二、基于Agently接入大模型

这一部分讲解如何结合LLM + ASR，实现流畅交互。

接入LLM免不了后续的管理，如workflow、长短期记忆等等，那就需要引入个Agent框架，可选方案有llama-index、langchain、Agently。而从易用性、可视化上，后者Agently则比较契合我们，主打一个上手就用。

[Agently官网]

1. 安装

pip install -U Agently

2. 调用大模型

创建agent.py设置环境变量API_KEY \ API_URL \ MODEL，加入以下代码运行之：

import os
import Agently
from dotenv import load_dotenv

load_dotenv()

agent_factory = Agently.AgentFactory()
agent_factory \
    .set_settings("current_model", "OpenAI") \
    .set_settings("model.OpenAI.auth", {"api_key": os.environ["API_KEY"]}) \
    .set_settings("model.OpenAI.url", os.environ["API_URL"]) \
    .set_settings("model.OpenAI.options", {"model": os.environ["MODEL"]})

agent = agent_factory.create_agent("agent_id_1", is_debug=True)

agent \
    .input("Hello, how are you?") \
    .start()

显示以下内容，说明调试成功： image.png

关联ASR和LLM

我们需要实现个简单的 [ 麦克风说法 - 大模型显示回复 ] 的流程，就需要将asr从语音转到的文字，作为问题传给LLM大模型，让大模型回复。

在ASR部分我们知道，ASR输出的是个生成器Generator，生成的内容是单句检测出来的文本，调用方法为：

asr_gen = AsrHandler(model_path="YOUR_MODEL_DIR_PATH").handle()
for sentence in asr_gen:
    process(sentence)

那么，对应LLM在Agently框架下，即为：

for sentence in asr_gen:
    agent \
        .input(sentence) \
        .start()

整合后的代码如下：

import os
import Agently
from dotenv import load_dotenv

load_dotenv()

#!/usr/bin/env python3

# Please refer to
# https://k2-fsa.github.io/sherpa/onnx/pretrained_models/online-paraformer/paraformer-models.html#
# to download pre-trained sherpa
import os.path
import queue
from typing import Generator

import sounddevice as sd
import sys
import logging
import sherpa_onnx

logger = logging.getLogger(__name__)

class AsrHandler:
    def __init__(self, model_path, debug=False):
        self.recognizer = None
        self.sentence_q = queue.Queue()
        self.init_recognizer(model_path)
        self.debug = debug

    def init_recognizer(self, model_path):
        encoder = os.path.join(model_path, "encoder.int8.onnx")
        decoder = os.path.join(model_path, "decoder.int8.onnx")
        tokens = os.path.join(model_path, "tokens.txt")
        self.recognizer = sherpa_onnx.OnlineRecognizer.from_paraformer(
            tokens=tokens,
            encoder=encoder,
            decoder=decoder,
            num_threads=2,
            sample_rate=16000,
            feature_dim=80,
            enable_endpoint_detection=True,
            rule1_min_trailing_silence=2.4,
            rule2_min_trailing_silence=1.2,
            rule3_min_utterance_length=300,  # it essentially disables this rule
        )

    @staticmethod
    def show_devices():
        devices = sd.query_devices()
        if len(devices) == 0:
            logger.info("No microphone devices found")
            sys.exit(0)

        logger.info(devices)
        default_input_device_idx = sd.default.device[0]
        logger.info(f'Use default device: {devices[default_input_device_idx]["name"]}')

    def handle(self) -> Generator:
        logger.info("Microphone Asr Started! Please speak...")

        # The model is using 16 kHz, we use 48 kHz here to demonstrate that
        # sherpa-onnx will do resampling inside.
        sample_rate = 48000
        samples_per_read = int(0.5 * sample_rate)  # 0.1 second = 100 ms

        stream = self.recognizer.create_stream()

        last_result = ""
        segment_id = 0
        try:
            with sd.InputStream(
                channels=1, dtype="float32", samplerate=sample_rate
            ) as s:
                while True:
                    samples, _ = s.read(samples_per_read)  # a blocking read
                    samples = samples.reshape(-1)
                    stream.accept_waveform(sample_rate, samples)
                    while self.recognizer.is_ready(stream):
                        self.recognizer.decode_stream(stream)

                    is_endpoint = self.recognizer.is_endpoint(stream)

                    result = self.recognizer.get_result(stream)

                    if result and (last_result != result):
                        last_result = result
                        if self.debug: logger.info("\r{}:{}".format(segment_id, result))
                    if is_endpoint:
                        if result:
                            if self.debug:logger.info("\r{}:{}".format(segment_id, result))
                            segment_id += 1
                            # generator result
                            yield result

                        self.recognizer.reset(stream)
        except sd.PortAudioError as e:
            logger.exception(f"no input device found: {e}")

if __name__ == "__main__":
    agent_factory = Agently.AgentFactory()
    agent_factory \
        .set_settings("current_model", "OpenAI") \
        .set_settings("model.OpenAI.auth", {"api_key": os.environ["API_KEY"]}) \
        .set_settings("model.OpenAI.url", os.environ["API_URL"]) \
        .set_settings("model.OpenAI.options", {"model": os.environ["MODEL"]})

    agent = agent_factory.create_agent("agent_id_1", is_debug=True)

    try:
        asr_gen = AsrHandler(model_path=".models/asr/sherpa/sherpa-onnx-streaming-paraformer-bilingual-zh-en").handle()
        for sentence in asr_gen:
            agent \
                .input(sentence) \
                .start()
    except KeyboardInterrupt:
        print("\nCaught Ctrl + C. Exiting")

三、结束

本文讲述了实现windows上Jarvis的简单技术方案，同时完成了ASR和LLM的接入，实现了二者的丝滑交互。

下一篇将会进入交互模块，如何展示Agent的强大功能，如何实现窗体交互。

在这里插入图片描述

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

在这里插入图片描述

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

在这里插入图片描述

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

在这里插入图片描述

大飞攻城狮
关注
LLM在DevOps中的应用：加速软件交付
AGI通用人工智能之禅
04-30 86
1. 背景介绍 1.1 DevOps的兴起与挑战 随着软件开发的复杂性不断增加，传统的瀑布式开发模式逐渐暴露出其弊端，难以满足快速迭代、持续交付的需求。DevOps 应运而生，它强调开发、运维、测试等团队之间的协作与沟通，旨在缩短软件交付周期，提高软件质量和可靠性。 然而，De
从零开始：基于LLM大模型构建智能应用程序的完整指南
热门推荐
程序员光剑
06-07 1万+
在我们即将发布的帖子中，我们将讨论 LLM 链、意图识别、添加特定于任务的工具、集群、创建推荐系统、微调开源 LLM 以及我们测试系统的方式等话题不断改进并从研究和开源社区中学习。在零样本学习中，语言模型被要求在没有明确示例的情况下完成任务，而在少样本学习中，为模型提供了有限数量的示例，或“少样本”，嵌入在提示中. 提示对于将模型引导到一个方向并避免产生幻觉非常重要。根据您的需要，其他方法可能更有效。LLM大模型是一种基于深度学习技术的模型，它可以自动学习并理解大量的数据，从而实现高效、准确的预测和分类。
记录一下sherpa-onnx的安装及使用
smileac的博客
04-29 2408
sherpa-onnx语音识别
sherpa-ncnn 参数介绍
weixin_59602119的博客
08-01 406
仅当decoding_method已修改_beam_search时使用。它的价值是 当decoding_method为greedy_search时，将忽略。它规定波束搜索 中使用的最大路径数。
langchian入门四:LLM+Agents代理=贾维斯?让大模型拥有三头六臂
2301_81888214的博客
03-25 1241
在日常生活中,不难发现,chatgpt通过文本输入进行处理后返回的也是文本内容,就像是一个只有头的人,能听能思考能说话,但是无法行动.而Agent是一种能够自主决策、采取行动以达到某种目标的实体。
解锁LangChain进阶技巧：结合LLM与Agents代理，打造智能助手贾维斯，赋予大型模型超凡能力
m0_63171455的博客
08-28 997
在日常生活中,不难发现,chatgpt通过文本输入进行处理后返回的也是文本内容,就像是一个只有头的人,能听能思考能说话,但是无法行动.而Agent是一种能够自主决策、采取行动以达到某种目标的实体。被解释为"智能体"或者"代理".代理的核心思想是通过大模型来选择要采取的一系列行动.在常规结构下,一系列行动都是硬编码,是已规定好的行为路线,而在代理中,是用大模型作为推理引擎来确定并采取行动的.通俗的讲就是给大模型配备工具,让大模型自己去判断在当前场景需要使用什么工具.
JavaChain 用于快速搭建LLM应用，参考了 LangChain 的架构设计，基于Java8实现.zip
02-09
快应用开发
《AI大模型应用》--2023复赛选题：通义千问Qwen-7B用TensorRT-LLM模型搭建及优化.zip
07-15
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所...
LLM在法律领域的应用：智能合约与法律咨询
程序员光剑
04-27 571
LLM在法律领域的应用：智能合约与法律咨询 1.背景介绍 1.1 法律行业的数字化转型 随着科技的不断发展,法律行业正经历着前所未有的数字化转型。传统的法律实践模式面临着诸多
C++初阶学习——探索STL奥秘——模拟实现list类
Joker10085的博客
09-15 780
list模拟实现
高级编程--XML+socket练习题
weixin_65279640的博客
09-12 446
（1）使用dom4j将信息存入xml中 （2）读取信息，并打印控制台 （3）添加一个city节点与子节点 （4）使用socket TCP协议编写服务端与客户端， 客户端输入城市ID，服务器响应相应城市信息 （5）使用socket TCP协议编写服务端与客户端，客户端要求用户输入city对象，服务端接收并使用dom4j保存至XML文件
Android Radio2.0——有效电台扫描（八）
小旭的专栏
09-12 728
上一篇文章在我们拿到了电台动态列表，接下来我们继续按照最初的思路执行 scan() 进行电台搜索操作。1）通过 getDynamicProgramList() 方法获取动态列表。2）按照动态列表的内容，循环调用 scan() 方法执行向上调台，直到列表中的内容搜索完成。3）根据 RadioManager.ProgramInfo.getSignalStrength() 判断信号质量，生成一个有效电台列表。4）回调监听扫描状态及有效电台列表的变化。
Linux FTP服务问题排查
最新发布
09-15 338
最近linux虚拟机重启之后发现，FTP服务总是不正常，工具无法连接。
性能测试：Locust使用介绍(三)
zhangkexin_z的博客
09-12 937
Locust是一个用于HTTP和其他协议的开源性能/负载测试工具。使用Python代码编写测试脚本。Locust可以从命令行或使用其基于web的UI运行。吞吐量、响应时间和错误可以实时查看和/或导出以供以后分析。
springboot系列--yaml配置文件使用
weixin_42972832的博客
09-12 839
1、yaml配置文件数据主要是以key：value的形式存在：和value之间存在空格2、yaml配置文件对大小写敏感3、使用缩进表示层级关系，缩进不允许使用tab，只允许空格4、缩进的空格数不重要，只要相同层级的元素左对齐即可5、'#'表示注释6、字符串无需加引号，如果要加，''与""表示字符串内容 会被 转义（单引号）/不转义（双引号）7、文件的标准扩展名为.yaml，也可接受.yml扩展名。
java中如何计算两个list的差集，并集，交集等，举一个详细的实例说明。
gb4215287的博客
09-12 457
java中如何计算两个list的差集，并集，交集等，举一个详细的实例说明。
Jackson
howeres的博客
09-12 290
/
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值