- 博客(404)
- 收藏
- 关注
RSS订阅
原创 AGI｜一篇小白都能看懂的RAG入门介绍！
随着近几年AIGC的发展，不仅是大模型自身在不断优化，相关支持应用也在不断涌现。本文的主角便是这些技术中较为引人注目的RAG(Retrieval-Augmented Generation)——检索增强生成技术。LLM虽然已经在通识领域展现出了惊人的能力，但要落实到真正具体的问题解决，特别是针对专业领域，企业领域的一些具体的，私人的数据生成解决方案，仅仅依靠LLM还是远远不够的。
2024-02-20 11:22:14
4125
2
原创 AGI｜智能体大比拼，BFCL检测工具调用能力——
而GLM-4-9B-Chat就更有意思了，一方面是生成了错误的工具名称，错误类型为simple_function_checker:wrong_func_name，检查原因发现，在绝大多数情况下模型生成的工具名称，与原工具名称仅有一个字符之差，例如对本该调用的math.factorial工具，响应成了math_factorial，这表明模型的指令遵循能力有待提升，与Qwen2-7B-Instruct形成了鲜明的对比。工具调用指的是智能体通过运用外部工具和资源，增强自身处理问题的能力，从而实现更为复杂的任务。
2024-10-30 14:11:55
537
原创 AGI｜浅尝多Agent协作框架CrewAI，打造一个智能旅行助手
直白点说，一个大的任务，可以根据步骤拆分为许多小的步骤，每个小步骤可以给多个Agent去协作完成，每个Agent可以选择适合的大模型和工具。CrewAI 中的工具是一种技能，代理可以使用它来执行任务，目前这些工具可以是crewAI Toolkit和LangChain Toolkit的工具，这些基本上是代理可用于各种操作的功能，从简单的搜索到复杂的交互外部系统。总的来说，CrewAI框架易于使用，用户只需关心我们需要做什么，将其拆分成子任务，定义好对应角色的Agent, 其他的丢给Crew团队去执行。
2024-10-18 15:20:24
848
原创 云原生｜Istio是什么？快速了解服务网格实践方案
在计算机技术不断进步中，为了追寻更好的性能，可用性，稳定性。从单体架构到分布式架构再到微服务，随着系统规模不断扩大，技术门槛也在不断提高，服务注册，服务发现，负载均衡，熔断，限流等技术词汇的出现都是解决某一问题的副产物。在 istio 最新的版本中可以在没有 sidecar 的情况下运行，sidecar 提供了服务网格的最初模式，在过去十几年的云原生发展中取得巨大成功，但不可避免的是：sidecar 在集群环境中被滥用，并且带来开销，当集群规模较大时，这些 sidecar 将不可忽视地算在成本的一部分。
2024-10-16 14:25:45
1056
原创 AGI｜Vanna.AI ：基于RAG的TextToSql工具
然而，SQL的复杂性往往成为非技术用户难以跨越的障碍，为了解决这一问题，Text2SQL技术应运而生，它允许用户通过自然语言与数据库交互，大幅降低了数据分析的门槛。在模型训练阶段，需准备充足的 SQL、DDL 以及文档数据，这些数据应能准确描述表结构、字段含义、表与表之间的关联字段，以及特殊字段和业务术语的解释。在图2中，更改提问内容后，通过将 DDL、文档数据（doc）和 SQL 作为提示词输入到大模型，模型成功生成了正确的三表关联 SQL 查询，并对输出字段进行了准确的调整，最终生成了符合要求的结果。
2024-10-12 11:38:54
816
原创 AGI｜如何构建一个RAG应用？入门新手攻略！
优质的内容和训练参数的数量级都会影响模型的能力和输出质量，但知识库的构建会基于某个时间点的数据，模型的训练也可能在之后的时间完成，这带来不可避免的滞后性和时效性。一个常见的场景是用户输入一个指向性十分具体的问题，比如查询某年月日发生的事件的内容，这种情况下不需要任何生成的“创新”，使用传统检索的方式可能会更好，但如果依然使用向量检索，在向量数据库中本身就存有大量关联性的数据，在这种关联数据过于紧密的情况下反而会分散LLM的注意力，导致输出结果并不理想。切的太小也会造成输出质量的下降——相关性内容会丢失。
2024-10-09 11:05:06
1068
原创 云原生｜浅谈云原生中的对象存储之MinIO 的使用
S3 协议全称 Amazon Simple Storage Service（Amazon S3），最初是亚马逊提供的简单存储服务，它为应用程序的开发者提供了通过一系列 API 来控制数据的方式，经过多年的发展这些方法逐渐演变为 S3 协议，国内外很多云厂商提供的云存储服务都是在此协议上做了一部分演变，但都保留了通用的 S3 接口。当然，想在一篇文章中详尽展示对象存储的各个方面是不现实的，本篇更多的还是聚焦于存储层的具体实现，对于数学领域逆矩阵的概念感兴趣的读者可以自行了解。
2024-09-23 10:36:39
1261
原创 数据开发｜如何使用Apache Airflow进行任务调度？干货分享！
执行器将任务实际执行在相应的工作节点上，并将执行结果返回。负责根据定义的 DAG（Directed Acyclic Graph，有向无环图）图，计划和触发任务的执行。元数据库存储了 Airflow 的元数据，包括 DAG 的定义、任务实例的状态、任务执行日志等。这允许用户在不同的任务和工作流之间共享信息，并支持任务的重试、回溯和监控。，用于监控和管理工作的状态、任务的执行情况、查看日志以及触发任务的手动运行等。Airflow 提供实时的任务监控和日志记录功能，使用户能够方便地跟踪任务的执行情况并解决问题。
2024-09-23 09:49:26
1140
原创 云原生｜浅谈Kubernetes 安全防护问题，构建安全容器化应用
在过去，安全性总是由单独的安全团队在开发周期快要结束时才参与进来，随着产品快速迭代，安全团队无法确保每个发布都是安全的，正是因为这种脱节才衍生出 DevSecOps 的概念。少部分受访者的安全防护和 DevOps 是分开的；使用 DevOps 平台配合另外一些安全扫描的工具也是一个不错的选择，这不仅解决了镜像的管理和构建，同时也解决了部署的问题。使用 Kubernetes 的网络策略也可以是一个选择，允许容器与容器之间的通信，实施零信任策略后可以确保单个容器受损后不影响其他容器，而造成应用的大面积宕机。
2024-09-09 13:47:26
1252
原创 微服务｜一文带你了解无感知部署方案实战
蓝绿部署是一种零停机时间的部署策略，它通过同时维护两个生产环境（一个是当前活跃的“Blue”环境，另一个是待部署的“Green”环境）来实现。在程序开发和运维过程中，会频繁地部署服务，并且每个服务的正常运行都依赖于其他服务，所以能够在不停服的情况下部署新版本服务来保持应用的整体稳定性可用性十分重要。Nacos接收到这个心跳包,首先检查当前服务在不在注册列表中,如果不在按新服务的业务进行注册,如果在,表示当前这个服务是健康状态。Nacos的服务管理有上下线服务的功能,且有open-api可直接调用触发。
2024-08-28 15:33:42
776
原创 AGI｜前端页面如何支持多模态大模型的流式返回？一文弄懂！
通过流式传输，使模型在token可用时立即开始返回, 而不是等待整个token序列生成完毕。虽然这并不会改变获取所有token所需的时间，但它减少了获取第一个token的时间，对于希望显示部分进展或可能会中途停止生成的应用程序来说，这是一个更好的用户体验。
2024-08-23 10:36:09
1317
原创 数据库｜TiDB告警推送-企业微信机器人
企业微信机器人是企业微信提供的一种机器人接口，通过该接口可以实现向企业微信群发送文本、图片、链接等消息，从而实现各种应用场景下的消息推送功能。企业微信机器人采用简单的 HTTP 请求接口，使用方便灵活，可以轻松集成到各种应用中。利用企业微信机器人实现 TiDB 的告警推送功能，提供了一种简单、高效的告警通知方式。这种方案不仅能够及时发现和解决 TiDB 集群中的问题，还能够提高团队的工作效率和响应速度，从而提升系统的稳定性和可靠性。
2024-08-21 14:40:15
699
原创 最前端｜Git如此重要的6条高效命令，你不会还没学会吧？
本文分享我在Git开发工作中实践过的6大高效命令，这些都能够大大提高工作效率，还能解决不少疑难场景
2024-08-20 14:24:44
1122
原创 数据库｜TiDB Vector抢先体验之用TiDB实现以图搜图
在以往，想在关系型数据库中对非结构化数据实现搜索是一件不敢想象的事，哪怕是号称无所不能的 PostgreSQL 在向量插件的加持下也没有获得太多关注，这其中有场景、性能、生态等各方面的因素制约。前有专门的向量数据库阻击，后有各种传统数据库追赶，这注定是一个惨烈的赛道，希望 TiDB 能深度打磨产品，突围成功。这里的distance就是两个向量之间的相似度，这个相似度是用vec_cosine_distance函数计算出来的，意味着两个向量之间的夹角越小相似性越高，夹角大小用余弦值来衡量。
2024-08-08 13:40:25
1005
原创 AGI｜如何用Open WebUI和Ollama在本地运行大型语言模型？
除此之外，在Workspace页，可以添加提示词(Prompt)，在聊天界面通过@，#等命令引用对应的文档，提示词，让用户可以更高效的和大模型沟通。再看应用程序对应的文件，相应目录下确实存在webiu.db文件，存的是交互的数据，包含聊天记录，授权信息等，前面演示聊天上传的文件也在另外一个目录下。启动成功，浏览器访问 http://localhost:3000/，首次注册的用户为系统管理员，登录之后页面如下图，开始聊天之前选择想要的模型，就可以开始和大模型对话了。数据都存储在本地，也不用担心安全问题。
2024-07-31 10:08:47
986
原创 最前端｜5分钟速通ES6中set和map使用
唯一性：Set中的元素是唯一的，而Map中的键是唯一的。存储方式：Set存储的是单个元素，而Map存储的是键值对。迭代顺序：Set中的元素按照插入顺序进行排序，而Map中的元素也是按照插入顺序进行迭代的。用途：Set通常用于存储唯一的值集合，而Map用于存储键值对。作者：田俊| 前端开发工程师版权声明:本文由神州数码云基地团队整理撰写，若转载请注明出处。公众号搜索神州数码云基地，了解更多技术干货。
2024-07-23 11:15:40
349
原创 AGI｜前方高能！一文了解大模型会话QA增强
但是对于大模型的对话，模型并没有人脑这样的能力，在用户进行多轮对话时，用户的简短提问可能会指代上文中的部分信息，如果仅用当次问题去问答，会使对话效果不佳，大模型答非所问，效果较差。QA增强的目的旨在提高模型的回复效果，从而获得更有效的信息。根据历史轮和当前轮的对话，从候选会话历史的集合中找到最适合对应指代位置的答案，然后将指代具体化，或者预测指代可能的具体内容以补全省略信息。在上面的场景中，我们需要了解RAG的相关知识，在后续对话中的指代和省略的内容需要替换成RAG的相关描述，在检索阶段搜索到有效的信息。
2024-07-17 14:48:58
765
原创 最前端｜前端如何入门Axure？实践经验分享！
2、拖拽一个矩形组件进入，在右上角样式中设置矩形的高宽，先绘制底图，，可以点击截图的大小是1920-945，中间有个小锁标志是锁定高宽比例，设置其中一个值会同比例设置另外的值，选择填充，可以填充图片或者纯背景颜色。首先Axure是产品经理用来绘制原型的工具，在快速迭代快速发展的当下，原型能验证设计的概念，将现有的需求转化为具体可视方案，让团队成员可以更好的理解需求方案。复制替换热搜按钮，修改展示隐藏内容，然后选中两个按钮，右键选择，选项组，则这两个按钮在选中后都会互斥，展示选中颜色。
2024-07-12 16:57:04
715
原创 数据库｜实践干货！实现tiup与prometheus迁移
（2）admin用户登录grafana ---> Confguration ---> Data Sources ---> 查看数据源prometheus地址是否是当前的，如果不是则将其地址更改为新的prometheus，查看监控数据是否完整。（1）使用root用户登录dashboard ---> 点击root ---> Prometheus 数据源 ---> 使用自定义地址（新的prometheus）--->查看监控数据是否完整。关于prometheus的数据迁移《迁移prometheus数据》（
2024-07-10 10:25:01
368
原创 【附下载】100+AI领域论文及研究报告合集免费领取！
小编整理汇总了目前网络上热门的AI领域研究报告、技术原理、以及超多工具解析，共计超100+篇！！持续更新ing目录AI全行业研究报告技术及原理文章主流大模型技术报告AI领域综述合集多模态大模型合集数据训练文章模型结构与技术5000+工具详解更多AI资讯及实践尝试持续更新 ing...报告通过正常网络渠道搜集整理获得，出于传递信息资讯，版权归原作者所有，如有侵权，联系删除
2024-07-03 16:12:32
402
原创 AGI｜基于Joint BERT模型的意图识别技术实践
模型基于BERT的架构，利用其强大的双向上下文表示能力。Joint BERT模型的优化目标是最大化条件概率p(yi, ys|x)，即给定输入x时，意图yi和槽位序列ys的联合概率。意图识别在诸多领域已经有了非常广泛的应用，例如各个品牌的智能语音助手，如今多模态模型能力迅猛增长，与LLM交流方式变得多样化，为了给LLM提供高质量有价值的上下文嵌入信息，引入意图识别变得尤为重要，其不仅能够过滤掉大部分无用但又不得不加入pipline的工具，还可以极大优化整个pipline的响应时间以获得更好的用户体验。
2024-07-03 11:24:22
1091
原创 开源探索时刻！在LLaMA-Factory上实现GLM-4和Qwen2的工具格式化
在LLaMA-Factory上实现GLM-4和Qwen2的工具格式化
2024-06-25 11:08:31
1223
原创 AGI｜以ChatGPT为例，浅析AI究竟能干什么？
当一个新事物的出现，最好的办法就是了解它出现的背景，发展的历史。当ChatGPT出现在我们面前，多轮对话能力让人震惊，仿佛机器真的可以"理解"人类语言。不同于当时Siri一样的语音助手，ChatGPT的准确率相比之下非常高。于是一夜之间AI的浪潮袭来，时至今日各个厂商相继公开自己的大模型并不断迭代：GPT-4-Turbo, Qwen-Max，智谱清言GLM-4等。AI能力也从最初的对话型衍生出多种：图片生成，语音识别，文档解析，代码补全，视频生成，AI搜索……
2024-06-20 14:35:16
765
原创 《失败的逻辑》｜别再无效复盘了！学会认清每一次失败的必然性
例如，在水池的例子中，一个清晰的目标可能是“彻底解决水池发臭的问题”，这需要我们进一步分析发臭的原因，并采取相应的措施，如改善水质、定期清洁等。很多时候大家会发现，其实很多被委派任务的人，并不了解这个任务的本质，于是想当然的，他们依靠自己过往的“经验”以及搜集到的参考资料，做出了一个“不完美”的计划。问题在于，我们的目标仅仅停留在解决表面的症状——即水池的臭味，而没有深入探究并解决臭味的根源。通过这种方式，我们可以确保我们的目标是直击要害的，我们的努力能够带来持久的解决方案，而不仅仅是临时的缓解。
2024-06-18 13:49:38
926
原创 数据库｜一文了解Milvus2.4新特性和多向量搜索体验
Milvus，自2019年开源以来，已成为向量数据库领域的佼佼者，专门用于处理由深度学习和其他机器学习模型生成的大规模向量数据。前段时间发布的Milvus 2.4版本引入了一系列创新功能，包括多向量检索、Grouping搜索和稀疏向量等等，进一步巩固了其在行业中的领先地位。
2024-06-18 11:50:10
2541
原创 免费！GPT-4o发布，实时语音视频丝滑交互
我们通常所了解的大模型更新命名都是以【X.X】的形式，然而本次OpenAI创新性的提出一个新的理念，GPT-4o，这个“o”在OpenAI的官网中给出了解答，“o”代表“omni”，在拉丁语中表示“全能的、全知的”，意味着本次GPT-4o是一次全方位的升级。毫无疑问本次OpenAI给出的信息量无疑是爆炸式的，无论是GPT-4o所展现出的全新的可能性，还是OpenAI决定对免费用户开放更多的功能，其带给大众的震撼都是真实可见的。在发布会现场，OpenAI的工程师Mark Chen为我们演示了几个主要的能力。
2024-06-07 14:27:13
1079
原创 数据库｜一文详解现网修改TiDB集群IP和端口
在实际应用中，可能会需要对 TiDB 各个组件的 IP 地址和端口进行修改，以适应不同的网络环境或需求。此文章是给大家分享现网修改TiDB集群各组件的IP或端口的方法，可以作为平时运维上的操作参考。修改 IP 地址和端口需要谨慎操作，以确保 TiDB 集群的稳定性和可靠性。在进行修改之前，请务必备份关键数据，并确保对 TiDB 集群的影响有清晰的认识。PD 不建议直接修改 IP 地址，先进行扩容，再缩容。PD 不建议直接修改 IP端口，先进行扩容，再缩容。将2379改为2479，2380改为2480。
2024-06-07 14:01:48
869
原创 数据开发|一文讲清楚精益数据方法论在数据治理中的应用
谷歌的所有产品都因其强大的安全功能而被认可，这些功能不断保护着用户的信息。而他们的旗帜生成式人工智能产品也不例外。精益数据方法论是一种基于数据仓库的商业智能分析方法论，它强调以最小的数据投入获得最大的业务价值。通过明确分析目标、优化数据流程、提升数据质量等步骤，精益数据方法论帮助企业更加精准地洞察市场趋势、优化产品策略、提升运营效率。精益数据方法论以其高效、精准的特点，在数据分析、数据治理领域展现出强大的潜力。
2024-05-30 16:48:21
496
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人