自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(23)
  • 收藏
  • 关注

原创 Dify快速入门之发布应用

Dify 发布应用的优势主要体现在以下几个方面,结合其技术架构与功能特性,能够为开发者及企业提供高效、灵活且可持续的 AI 应用开发与运营体验:一、快速部署与多平台适配二、灵活集成与扩展能力三、成本效益与资源优化四、企业级功能与安全保障五、持续迭代与社区支持所以学会如何发布应用也是很重要的。Dify 发布应用的核心价值在于降低开发复杂度与提升运营效率,通过技术整合与生态协同,帮助用户从原型验证快速过渡至生产环境。

2025-04-24 16:25:50 515

原创 Dify快速入门之构建Agent

Agent(智能体) 是一种能够感知环境、自主规划并执行任务的智能实体。其核心目标是模拟人类在复杂场景中的决策与行动能力,通过结合大语言模型(LLM)、记忆、规划和工具使用,实现从目标设定到任务完成的闭环。Agent 是“执行者”,强调自主性与任务闭环,适用于需动态决策的场景;RAG 是“优化器”,通过检索外部知识提升生成可靠性,适用于知识密集型任务。两者在实际应用中常结合使用,例如在智能客服中,Agent规划流程,RAG提供实时知识支持。

2025-04-24 15:57:07 538

原创 Dify快速入门之chatflow

Dify的Chatflow(聊天工作流)是其平台中的核心功能之一,旨在帮助用户通过可视化界面设计和部署复杂的对话式AI应用(如智能客服、多轮对话助手等),无需编写代码即可实现灵活的对话逻辑和AI能力集成。本文将基于私有知识库和搜索引擎,构建高质量RAG聊天应用。以上就是基于私有知识库和搜索引擎,构建高质量RAG聊天应用,小伙伴可以根据自己的需要再进行修改。

2025-04-19 16:57:43 1587

原创 Dify快速入门之构建工作流

Dify 工作流是其核心功能之一,通过可视化编排实现复杂 AI 应用开发。我们将会介绍2个工作流。今天我们介绍了工作流的使用,其中有网页爬取节点、LLM节点,这两个节点是我们比较常用的,还有一些其它的节点工具,当然也是需要api的,本文所用的到是Llama3.2:3b的模型,是在docker的ollama环境下启动的,如有需要可以查看前两章的内容。

2025-04-19 10:28:35 486

原创 Dify快速入门之基于知识库构建聊天机器人

基于Dify的环境下构建了一个知识库,并应用到了聊天机器人里面,初步实现了基本目标。

2025-04-18 13:11:18 307

原创 基于阿里云服务器实现Dify快速入门之环境搭建

Dify是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务(Backend as Service)和LLMOps的理念,使开发者可以快速搭建生产级的生成式 AI 应用。以上就是Dify快速入门的环境搭建,中间有些小问题可以请教deepseek网页版,下一部分开始构建聊天机器人。

2025-04-18 10:33:28 1209

原创 电信诈骗数据集

随着电信基础设施的发展,电信诈骗威胁日益严峻。据相关数据,中国电信诈骗案件金额已超两万亿,76%网民曾受其困扰。新技术催生智能化、跨境犯罪化的诈骗手法,成本低且难察觉。现有的防范手段如检测手机号及机器学习模型存在局限,且目前并没有较全面的中文数据集来进行研究。在本文中,我们通过选取CCL2023电信网络诈骗数据集中部分类别数据以及收集到的一些数据组成了一个涵盖冒充客服、冒充领导熟人、贷款、公检法诈骗和正常文本的中文5分类数据集。我们自己做了一个五分类数据集,供大家研究使用,如有需要请注明。禁止商业用途。

2025-01-08 08:59:57 2080 1

原创 使用llama-cpp-python制作api接口

使用llama-cpp-python制作api接口,可以接入gradio当中。

2024-07-17 15:30:29 1273 2

原创 使用gradio部署微调后的模型

Gradio 是一个用于快速搭建机器学习模型和数据科学应用的开源 Python 库。它允许开发者创建交互式的用户界面,使得非技术用户也能方便地使用和测试机器学习模型。在使用方面使用Blocks 比interface更加灵活,更适合做出一个网页样式。如果要对样式进行再细化的处理,需要用到css技术,对前端有所了解的一定知道。Gradio 是一个功能强大且易于使用的工具,适合快速搭建和测试机器学习模型的用户界面。还有更多的功能大家可以去官网或者其它博客进行学习。使用gradio部署微调后的模型。

2024-07-16 21:17:58 1417 2

原创 使用llama.cpp量化模型

大模型量化是指在保持模型性能尽可能不变的情况下,通过减少模型参数的位数来降低模型的计算和存储成本。本次实验环境为魔搭社区提供的免费GPU环境(24G),使用Llama.cpp进行4bit量化可以大幅减少大语言模型的内存占用,并提高推理效率。Llama.cpp 是一个轻量级的C++库,旨在帮助用户在资源受限的环境中高效地运行大型语言模型。高效:通过优化的内存管理和计算,Llama.cpp能够在性能有限的硬件上高效运行大模型。

2024-07-13 18:54:01 2652

原创 LoRA微调中文版Llama3模型

LoRA(Low-Rank Adaptation)是一种微调大模型的方法,通过引入低秩矩阵来减少参数量和计算复杂度,主要应用于大型预训练语言模型的微调过程。LoRA的优势在于其减少了需要微调的参数量,从而降低了计算成本和内存需求,同时保持了模型性能。

2024-07-12 17:07:53 2768 2

原创 lora微调模型输出只有空格或者乱码或者符号

输入模板是更重要的,3种情况可以同时进行修改,以便快速查出问题所在。

2024-07-11 20:52:57 1364

原创 处理报错deepspeed使用trainer object.__init__() takes exactly one argument (the instance to initialize)

在kaggle上结合deepspeed使用trainer。

2024-07-07 17:08:38 708

原创 kaggle运行报错RuntimeError: cutlassF: no kernel found to launch!

处理报错问题:RuntimeError: cutlassF: no kernel found to launch!

2024-07-05 16:56:49 1528 4

原创 langchain学习之agent

LangChain 的代理(Agents)是一个强大的工具,可以将语言模型与外部工具结合起来,以便在处理复杂任务时提供更丰富的功能。#自定义from langchain.agents import tool #可以应用任何函数,将其转换成langchain使用的工具#代理也能把''信息看懂来识别这个函数干嘛的@tool'不用输入数据,返回当天日期'model,handle_parsing_errors=True, #遇见了错误,传回model进行处理。

2024-07-02 10:58:40 1148

原创 langchain学习之chain机制

Chain 代表一个处理步骤的序列,每个步骤可以是一个调用语言模型、调用外部工具(如搜索引擎或数据库)、执行自定义逻辑,或者其他任何操作。Chain 的设计使得你可以灵活地将多个步骤组合在一起,以处理复杂的任务。

2024-06-27 13:41:41 1200

原创 langchain学习之第二部分memory机制

今天记录第二部分Memory机制来存储和检索对话上下文,使得多轮对话更加连贯。这样,应用程序可以记住用户之前的输入和状态,从而提供更智能和个性化的响应。导包,以及初始化请看第一部分。以上就是今天要讲的内容,本文仅仅简单介绍了memory的使用,还有另外两种机制,分别是向量和实体memory机制,可以再看看。

2024-06-25 10:30:58 972

转载 LangChain塌房?深入解读开发者是否该弃用LangChain等AI应用开发框架--刚学langchain就刷到

当开始搞复杂的工作流,多 Agent 协作,对框架的要求就上来了,LangChain 们的价值就大一些了。这样的区分并非绝对,李特丽还解释了框架工具提供的长期价值和灵活性:“即使经验丰富的开发者也可能从使用框架中获益,如文章作者在使用 LangChain 一年后才完全脱离框架提供的抽象和工具可以加速开发过程,特别是在复杂项目中。”康轶文表示,网站社群里也有用户从早期使用、到现在不用并开始转为自己的框架,“LLM开发是一定会用到框架的,这个是确定的,但框架长什么样子顺不顺手每个人的要求标准都不一样。

2024-06-25 09:56:39 198

原创 LLM岗位学习之langchain(文心一言)

LangChain的主要作用是简化和增强由大型语言模型(LLMs)驱动的应用程序的开发和管理。它提供了一系列工具和功能,帮助开发者更有效地构建复杂的自然语言处理(NLP)LangChain:用于构建大语言模型应用的开源框架。学习langchain中的memory机制。

2024-06-24 19:21:42 895

原创 青软集团-青岛nlp实习面试

5.自回归模型通过先前生成的词预测下一个词。首先,它接收输入文本序列,使用嵌入层将词转化为向量表示,然后通过多层变换器(Transformer)编码这些向量,其中包含自注意力机制,捕捉词之间的依赖关系。这一过程是逐词进行的,每次生成一个词,并将其加入到输入序列中,重复这一过程直到生成完整的序列。2.RAG(Retrieval-Augmented Generation)是一种将信息检索(Retrieval)与生成模型(Generation)结合的技术,用于提高自然语言处理任务中的生成效果。

2024-06-13 10:19:30 336

原创 记录一次惨痛的面试经历(CVTE的LLM实习面试)

面试题记录

2024-06-05 20:33:33 477

原创 阿里天池-糖尿病命名实体识别-CRF

加入CRF,并把模型bert换成hfl/chinese-roberta-wwm-ext。下图为F1的部分运行结果。

2024-05-20 18:59:30 609 3

原创 阿里天池-糖尿病命名实体识别

命名实体识别(NER)是自然语言处理领域的一个基本任务,其目标是从文本中识别出具有特定意义的实体,如人名、地名、组织名等。这些实体在文本中扮演着关键角色,对于文本理解和信息抽取具有重要意义。随着深度学习技术的发展,NER任务取得了显著的进展,各种算法和模型不断涌现,为NLP领域的研究和应用提供了强大的支持。本部分写的是与糖尿病相关的NER任务。相当于用Bert做分类任务,针对的是每个token分类,下一步准备加入CRF,并把模型bert换成更新的。

2024-05-19 21:36:51 933 7

命名实体任务NER-简历相关

命名实体任务是NLP的一项基础,这个数据集是与简历相关的,可以辅助学习

2025-05-04

命名实体识别-医院类型

来源阿里天池赛题瑞金医院NER任务数据集

2025-05-04

电信诈骗中文数据集-8分类

电信诈骗中文数据集-8分类

2025-04-17

中文电信诈骗五分类数据集

随着电信基础设施的发展,电信诈骗威胁日益严峻。据相关数据,中国电信诈骗案件金额已超两万亿,76%网民曾受其困扰。新技术催生智能化、跨境犯罪化的诈骗手法,成本低且难察觉。现有的防范手段如检测手机号及机器学习模型存在局限,且目前并没有较全面的中文数据集来进行研究。 在本文中,我们通过选取CCL2023电信网络诈骗数据集中部分类别数据以及收集到的一些数据组成了一个涵盖冒充客服、冒充领导熟人、贷款、公检法诈骗和正常文本的中文5分类数据集。

2025-04-17

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除