- 博客(59)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 书生大模型实战营14-MindSearch深度解析实践
MindSearch 是一个开源的 AI 搜索引擎框架，具有与 Perplexity.ai Pro 相同的性能。我们可以轻松部署它来构建自己的专属搜索引擎，可以基于闭源的LLM（如GPT、Claude系列），也可以使用开源的LLM（如经过专门优化的InternLM2.5 系列模型，能够在MindSearch框架中提供卓越的性能）。🤔 任何你想知道的问题：MindSearch 通过搜索解决你在生活中遇到的各种问题📚 深度知识探索：MindSearch 通过数百个网页的浏览，提供更广泛、深层次的答案。
2025-02-23 15:57:22
921
原创 书生大模型实战营13-茴香豆 企业级知识库问答工具
茴香豆是由书生·浦语团队开发的一款开源、专门针对国内企业级使用场景设计并优化的知识问答工具。在基础 RAG 课程中我们了解到，RAG 可以有效的帮助提高 LLM 知识检索的相关性、实时性，同时避免 LLM 训练带来的巨大成本。在实际的生产和生活环境需求，对 RAG 系统的开发、部署和调优的挑战更大，如需要解决群应答、能够无关问题拒答、多渠道应答、更高的安全性挑战。因此，根据大量国内用户的实际需求，总结出了三阶段Pipeline的茴香豆知识问答助手架构，帮助企业级用户可以快速上手安装部署。
2025-02-23 12:20:23
670
原创 书生大模型实战营12-LMDeploy量化部署
由于都使用BF16精度下的internlm2.5 1.8B模型，故剩余显存均为20GB，且 cache-max-entry-count 均为0.4，这意味着LMDeploy将分配40%的剩余显存用于kv cache，即20GB*0.4=8GB。默认的比例为0.8。此时对于24GB的显卡，即30%A100，权重占用3.6GB显存，剩余显存24-3.6=20.4GB，因此kv cache占用20.4GB*0.8=16.32GB，加上原来的权重3.6GB，总共占用3.6+16.32=19.92GB。
2025-02-15 22:25:41
763
原创 书生大模型实战营11-从零搭建Multi-Agent
Agent是一种能够自主感知环境并根据感知结果采取行动的实体，以感知序列为输入，以动作作为输出的函数。它可以以软件形式（如聊天机器人、推荐系统）存在，也可以是物理形态的机器（如自动驾驶汽车、机器人）。基本特性：自主性：能够在没有外部干预的情况下做出决策。交互性：能够与环境交换信息。适应性：根据环境变化调整自身行为。目的性：所有行为都以实现特定目标为导向。Lagent 是一个轻量级开源智能体框架，旨在让用户可以高效地构建基于大语言模型的智能体。同时它也提供了一些典型工具以增强大语言模型的能力。
2025-02-13 20:09:37
724
原创 书生大模型实战营10-OpenCompass 评测
如果你想要评测通过 API 访问的大语言模型，整个过程其实很简单。前面我们介绍了如何评测 API 模型和本地模型, 现在我们介绍如何将本地模型部署成 API 服务, 然后通过评测 API 服务的方式来评测本地模型. OpenCompass 通过其设计，不会真正区分开源模型和 API 模型。需要注意的是，opencompass的模型和数据集，都位于 configs 目录下，但是该目录同时存在于两个不同的地方，执行时，会优先查找 /opencompass/configs 目录，在执行后续的配置时，需要注意。
2025-02-11 13:53:35
1093
原创 书生大模型实战营9-XTuner 微调
该命令需要三个参数：CONFIG 表示微调的配置文件， PATH_TO_PTH_MODEL 表示微调的模型权重文件路径，即要转换的模型权重， SAVE_PATH_TO_HF_MODEL 表示转换后的 HuggingFace 格式文件的保存路径。xtuner train 命令用于启动模型微调进程。在 XTuner 中提供了一键合并的命令 xtuner convert merge，在使用前我们需要准备好三个路径，包括原模型的路径、训练好的 Adapter 层的（模型格式转换后的）路径以及最终保存的路径。
2025-02-09 22:43:57
611
原创 书生大模型实战营8-LlamaIndex RAG 实践
给模型注入新知识的方式，可以简单分为两种方式，一种是内部的，即更新模型的权重，另一个就是外部的方式，给模型注入格外的上下文或者说外部信息，不改变它的的权重。第一种方式，改变了模型的权重即进行模型训练，这是一件代价比较大的事情，大语言模型具体的训练过程，可以参考InternLM2技术报告。第二种方式，并不改变模型的权重，只是给模型引入格外的信息。类比人类编程的过程，第一种方式相当于你记住了某个函数的用法，第二种方式相当于你阅读函数文档然后短暂的记住了某个函数的用法。
2025-02-08 21:14:47
812
原创 书生大模型实战营7-提示词工程实践
Prompt是一种用于指导以大语言模型为代表的生成式人工智能生成内容(文本、图像、视频等)的输入方式。它通常是一个简短的文本或问题，用于描述任务和要求。Prompt可以包含一些特定的关键词或短语，用于引导模型生成符合特定主题或风格的内容。例如，如果我们要生成一篇关于“人工智能”的文章，我们可以使用“人工智能”作为Prompt，让模型生成一篇关于人工智能的介绍、应用、发展等方面的文章。Prompt还可以包含一些特定的指令或要求，用于控制生成文本的语气、风格、长度等方面。
2025-02-02 16:56:59
948
原创 书生大模型实战营6
页面，向模型发出提问，模型对问题经过分析后，通过人类思维的方式来对各相关方面进行分析后，形成最终回复。页面，上传一张图片，并和模型关于图片内容展开对话。页面，让大模型帮我们生成广告语。可以看到OCR能力突出。
2025-01-31 23:23:24
401
原创 书生大模型实战营5
相较于其它预训练框架，主要进行了显存优化，包括分布式训练及分布式训练之间通讯方面的优化，降低了对硬件的要求。自定义数据集只需要支持xtuner统一格式即可。默认开启 Flash Attention 优化加速模式。评测体系得到了广泛应用，获得meta官方唯一推荐国内开源评测体系。致力于构建科学、领先、公平的大模型评测体系。将大模型的思维可视化。
2025-01-30 22:55:19
300
原创 书生大模型实战营4
ModelScope 是一个“模型即服务”(MaaS)平台，由阿里巴巴集团的达摩院推出和维护。它旨在汇集来自AI社区的最先进的机器学习模型，并简化在实际应用中使用AI模型的流程。通过ModelScope，用户可以轻松地探索、推理、微调和部署各种AI模型。
2025-01-29 11:55:03
812
原创 书生大模型实战营3
是全球最大的代码托管平台之一，拥有丰富的开源项目和活跃的开发者社区。它提供了版本控制、项目管理、协作开发等功能，并支持多种编程语言。
2025-01-28 00:34:58
1352
原创 书生大模型实战营2
当你刚开始学习Python编程时，可能会遇到代码不按预期运行的情况。这时，你就需要用到“debug”了。简单来说，“debug”就是能再程序中设置中断点并支持一行一行地运行代码，观测程序中变量的变化，然后找出并修正代码中的错误。而VSCode提供了一个非常方便的debug工具，可以帮助你更容易地找到和修复错误。
2025-01-27 20:44:12
1145
原创 Lua05——Lua基本数据类型
一种由用户自定义的数据，用于表示一种由应用程序或 C/C++ 语言库所创建的类型，可以将任意C/C++ 的任意数据类型的数据存储到 lua 变量中调用。
2023-10-09 11:17:16
938
原创 Lua01——概述
官网 https://www.lua.orgLua这个名字在葡萄牙语中的意思是“美丽的月亮”，诞生于巴西的大学实验室。这是一个小巧、高效且能够很好的和C语言一起工作的编程语言。在脚本语言领域中，Lua因为有资格作为游戏开发的备选方案（如愤怒的小鸟中都有大量使用），所以它也是最快、最高效有脚本语言之一。
2023-09-06 21:04:50
1177
原创 Lua02——应用场景及环境安装
是当今游戏领域使用最广泛的脚本语言之一。搭配 OpenResty 使用，可以扩展Nginx服务器的功能，使用者仅需要编写Lua代码就能轻松完成业务逻辑。与 Redis 结合。Adobe Photoshop Lightroom 搭配 Lua 编写插件。与游戏结合：C/C++语言实现的服务器引擎内核，其中包括最核心的功能，比如网络收发、数据库查询、游戏主逻辑循环等。通常将这一层称为引擎层。
2023-09-06 20:53:03
842
原创 SpringBoot 集成 MybatisPlus 一——介绍
MybatisPlus 是 Mybatis 的升级版本，是对 Mybatis 的简化，因为他们的口号就是“为简化开发而生”。
2023-07-06 21:35:57
756
原创 Linux 抓包工具——tcpdump
用简单的话来定义tcpdump，就是：dump the traffic on a network，根据使用者的定义对网络上的数据包进行截获的包分析工具。tcpdump可以将网络中传送的数据包的“头”完全截获下来提供分析。它支持针对网络层、协议、主机、网络或端口的过滤，并提供and、or、not等逻辑语句来帮助你去掉无用的信息。再简单一点就是：抓取网卡上传输的数据流。再简单些：抓包。
2023-07-01 21:36:11
766
原创 MyCat01——如何实现MySQL中的主从复制
是 MySQL 中最重要的一种日志，它记录了 MySQL 所有数据的变更，并以二进制的形式存储在磁盘上，这些变更包括了所有的表结构变更（CREATE、ALTER TABLE…）以及表数据变更（INSERT、UPDATE、DELETE…），不包括 SELECT。也是实现主从复制的数据来源。statement 每次数据变更的 sql 都会被记录；row 仅记录被修改的数据；
2023-06-25 21:16:19
882
原创 Java中TCP通信的实现
传输控制协议（，Transmission Control Protocol）是一种面向连接的、可靠的、基于字节流的通信协议，如果使用了 WireShark 工具，可以看到一次TCP连接建立时的整个过程。
2023-04-24 20:31:18
5356
原创 Java中的UDP通信
传输控制协议（TCP，Transmission Control Protocol）是一种面向连接的、可靠的、基于字节流的传输层通信协议，如果使用了 WireShark 工具，可以看到一次TCP连接建立时的整个过程。
2023-03-30 11:30:05
1478
原创 Java 通过反射获取方法与变量
通过Java中的反射机制，获取类的构造方法并创建该类，获取类的方法及成员变量，并在创建的类中调用该类所属的方法及成员变量。
2023-03-23 20:37:42
1536
2
原创 Java中获取class对象
这里有个问题需要注意，因为是我们手工指定该类的全路径信息，有可能该包未被我们引入，或者是手滑将包名、路径信息输入错误，有可能报错，所以这种方式需要向外抛出异常。当我们要获取类的信息及方法，利用Java中的反射机制，便于我们更加灵活的编写代码，可以在程序运行时装配代码，还可以实现动态代理。使用这种方式获取 class 对象，需要在 forName() 方法中指定要获取 Class 对象类的全路径，即包名+类名。需要注意的是： 当对同一个类，同时创建多个对象实例时，class对象实际只有一份。
2023-03-18 14:49:56
817
原创 Java中的 static
System.out.println("学生的姓名是" + this.name + ",学校的名字是" + Student.schoolName);System.out.println("学生的数量是：" + Student.count);System.out.println("学生的数量是：" + s1.count);//Assert中的方法。System.out.println("静态块1");System.out.println("构造方法");System.out.println("静态块3");
2023-03-13 20:55:25
378
原创 Java中的 this 和 super
1 this 关键字 1.1 this 访问本类属性 this代表当前对象的一个引用 所谓当前对象，指的是调用类中方法或属性的那个对象 this只能在方法内部使用，表示对“调用方法的那个对象”的引用
2023-03-11 05:57:29
624
原创 Java中解析XML文件
在Java中解析XML文件共有四种方式A、DOM方式解析XML数据树结构，有助于更好地理解、掌握，代码易于编写，在解析过程中树结构是保存在内存中，方便修改B、SAX方式解析采用事件驱动模式，对内存消耗比较小，适用于仅处理xml中的数据时使用C、JDOM方式解析大量采用了 Collections 类D、DOM4J方式解析JDOM的一种智能分支，合并了许多超出基本XML文档表示的功能
2023-03-06 20:19:30
5258
原创 使用 JaCoCo 生成测试覆盖率报告
使用 JaCoCo 生成覆盖率时，可以使用 on-the-fly 方式，对程序的原代码是无侵入式的，只是在启动 jar 包时，增加一个参数就行，可确保测试人员测试的代码，和上线到生产环境的代码一致。
2023-03-04 16:39:20
4758
8
原创 Java面向对象之函数式编程
在JDK8中，接口上标注有 @FunctionalInterface 注解的即为函数式接口，在函数式接口内部有且只有一个抽象方法。来看下 Runnable 接口中的源码：说明：@FunctionalInterface 注解只是显式的标注了接口是一个函数式接口，并强制编辑器进行更严格的检查，确保该接口是函数式接口。JDK8 增加的函数式接口java.util.function 包下包含了很多类，用来支持java的函数式编程。
2023-02-23 22:40:54
661
原创 Java多线程08——生产者/消费者模式
多线程环境下，我们经常需要多个线程的并发和相互通信。其中，有一个重要的多线程并发协作模型，即“生产者/消费者模式”。生产者负责生产数据的模块，可以是方法、对象、线程或进程。消费者负责处理数据的模块，可以是方法、对象、线程或进程。缓冲区消费者不能直接使用生产者的数据，在生产者和消费者之间有一个“缓冲区”。生产者将生产好的数据和内容放入“缓冲区”，消费者从“缓冲区”中取走要处理的数据。实现线程的并发协作设置缓冲区后，生产者线程只需要向缓冲区里面放入数据，而不需要去查看消费者消费的情况；
2023-02-22 22:29:51
1213
原创 Java多线程07——JUC并发包03
多线程中经常会遇到synchronized、Lock、volatile，那么它们有哪些区别呢？这篇文章带你了解下及其和Lock相关的读写锁。
2023-02-18 15:18:42
200
原创 Java多线程06——JUC并发包02
介绍几种JUC包中几种常用的类：同步工具类CountDownLatch，CyclicBarrier，Semaphore，交换类Exchanger及线程的Fork-Join机制。
2023-02-11 19:15:31
173
原创 Java多线程04——线程通信
线程通信指的是不同线程之间可以交换一些实时的数据信息。线程是操作系统中的独立个体，但这些个体如果不经过特殊处理就不能成为一个整体，线程间的通信就成为整体的必用方式之一。
2023-02-08 20:44:44
298
原创 Java多线程03——线程安全和线程同步
设计并发编程的目的是为了使程序获得更高的执行效率，但绝不能出现数据一致性问题。比如多个渠道共同出售电影票，如果没有进行安全控制，就会出现座位被超卖的情况。我们不可能让多个人坐在同一个座位上。如果并发程序连最基本的执行结果准确性都无法保证，那并发编程就没有任何意义。
2023-02-07 18:55:12
355
原创 Java多线程01——多线程的创建
进程是并发执行程序在执行过程中，资源分配和管理的基本单位。进程可以理解为一个应用程序的执行过程，应用程序一旦执行，就是一个进程。线程是进程的一个执行单元，是进程内可调度实体。线程是比进程更小的独立运行的基本单位。线程也被称为轻量级进程。
2023-02-06 21:22:50
215
原创 Java多线程02——线程的生命周期和状态调度
线程的生命周期在线程的生命周期中，要经过新建new、就绪runnable、运行running、阻塞blocked和死亡dead 5种状态。当线程启动后，它不可能一直“霸占”CPU独自运行。
2023-02-05 22:23:59
266
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人