- 博客(530)
- 资源 (12)
- 收藏
- 关注
RSS订阅
原创 Python之元祖（tuple）基础知识点
tuple是一个的序列，它的元素可以是任何类型，并且可以重复。tuple使用括起来，例如：(1, 2, ‘a’, ‘b’)。相比于list，tuple的操作比较受限，但它更加轻巧，因此可以提高代码的效率。
2023-11-28 11:21:45
2156
原创 Python之字典（dict）基础知识点
字典是python当中的一种数据类型，其结果跟之前学过的列表、元组有很大区别，字典内部是一个一对一映射的数据关系。
2023-07-10 17:18:03
888
原创 Python之字符串（str）基础知识点
split()函数将字符串分割成几部分，返回结果是一个列表。当token为空时,默认删除空白符(含’\n’,‘\r’,‘\t’,’ ')，当非空时，根据指定的token进行删除。：删除string字符串中结尾处(right)的含有token字符串(该字符串可以与token的顺序不一致)：删除string字符串中开头处(left)的含有token字符串(该字符串可以与token的顺序不一致)：删除string字符串中开头(left)、结尾处(right)的token字符串。
2023-05-30 09:57:46
912
原创 Python之列表（list）基础知识点
del 是 Python 中的关键字，专门用来执行删除操作，它不仅可以删除整个列表，还可以删除列表中的某些元素。obj 表示到添加到列表末尾的数据，它可以是单个元素，也可以是列表、元组等，但不能是单个的数字。需要注意的是，remove() 方法只会删除第一个和指定值相同的元素，而且必须保证该元素是存在的，否则会引发 ValueError 错误。使用+运算符可以将多个序列连接起来；当插入列表或者元祖时，insert() 也会将它们视为一个整体，作为一个元素插入到列表中，这一点和 append() 是一样的。
2023-02-07 16:03:17
3464
原创 Python中Numpy的基本操作
np.unique()用法一 :a = np.unique(A)对于一维数组或者列表，unique函数去除其中重复的元素，并按元素由大到小返回一个新的无元素重复的元组或者列表。样例 :unique_elements = np.unique([4, 1, 1, 2, 2, 3])print(unique_elements)# [1 2 3 4]用法二 :c,s=np.unique(b,return_index=True) return_index=True表示返回新列表元素在旧列表中
2022-01-05 09:57:49
1405
原创 python之txt文件基本操作
如下所示, 我们想删除右括号 ] 左边的内容, 得到 Today is Wednesdayline_data = '2021-09-01 [] Today is Wednesday'head, sep, tail = line_data.partition('] ')print(tail)输出结果如下所示:Today is Wednesday
2021-09-16 18:54:57
18024
1
原创 Python之DataFrame基础知识点
字典嵌套字典# 字典嵌套字典stu_dict = { 'student_1' : {'name': 'Jack', 'gender': 'M', 'score': 80}, 'student_2' : {'name': 'Mary', 'gender': 'F', 'score': 85}}{'student_1': {'name': 'Jack', 'gender': 'M', 'score': 80}, 'student_2': {'name': 'Mary', 'gender
2021-07-20 15:40:21
21013
2
原创 一些神奇好用的网站
1. ilovepdf网址: https://www.ilovepdf.com/功能: PDF文件合并, PDF文件分割, PDF文件转化等2. Connected Papers网址: https://www.connectedpapers.com/功能: 文引用关系图, 快速查找相关论文3.Overleaf网址:https://www.overleaf.com/功能: latex在线编辑...
2021-05-06 15:29:14
848
原创 Linux常用命令记录
记录自己经常会用到的一些Linux命令，以备不时之需～安装软件（来自源服务器）sudo apt-get install xxx下载的软件的存放位置：/var/cache/apt/archives安装后软件的默认位置：/usr/share可执行文件位置：/usr/bin配置文件位置：/etclib文件位置：/usr/lib安装.deb软件（来自本地.deb文件）sudo dpkg...
2020-03-17 11:54:51
359
原创 screen / nohup 实现后台运行程序
利用screen会话模式运行程序，会话终端页面关闭时，程序也不会被停止运行。ubuntu下安装screensudo apt install screen 创建会话创建名为 scr_nam 的会话screen -S scr_name 会话创建成功后即可在该会话下登录服务器，运行程序。打开会话关闭会话后，想要再打开 scr_name 会话，只需输入screen -r scr_...
2020-03-11 18:19:42
721
原创 Linux环境下基于Docker安装 PostgreSQL数据库并配置 pgvector
PostgreSQL是一种功能强大的开源关系数据库管理系统，广泛应用于各种应用程序中。PostgresStore 提供持久化存储功能，支持层次命名空间和可选的向量搜索（通过 pgvector 扩展），适合需要长时记忆的 AI 应用，如聊天机器人或自动化工作流。下面介绍如何以 形式启动PostgreSQL服务。注意： 这里，如果安装的是新版本的 ，后续命令为 （没有中间的横线-）运行下面命令启动PostgreSQL数据库服务：这个命令会：运行成功的话会出现如下界面：或查看所有容器状态：
2025-05-26 17:37:27
1091
原创 将 Docker 镜像从服务器A迁移到服务器B的方法
在日常工作中，我们有时会需要将服务器 A上的镜像上传至服务器B上，下面给出具体操作方式，以镜像为例进行讲解。首先在服务器A上拉取 镜像下面再将服务器A上的。
2025-05-26 09:59:19
476
原创 【NLP】基于JointBERT的意图识别
JointBERT 是一个基于 PyTorch 实现的联合意图分类和槽填充模型。该项目利用 BERT 模型同时进行意图分类和槽填充，从而提高自然语言理解（NLU）任务的性能。JointBERT 的核心思想是通过一个统一的 BERT 模型来处理意图分类和槽填充任务，从而减少模型的复杂性和训练时间。模型结构如下：主要特点。
2025-05-21 17:00:11
1016
转载 【RAG】检索增强生成中的重排序（Re-rank）技术
而重排序模型通过综合考虑更多的特征，如查询意图、词汇的多重语义、用户的历史行为和上下文信息等，重新计算上下文的相关性得分，使得真正相关的文档更容易被识别出来。例如，在传统的TF-IDF或BM25方法中，匹配主要依赖于词汇级别的相似度计算，而大型语言模型则可以理解句子和段落的上下文信息，从而更好地识别出真正相关的文档。总之，Cohere提供的在线重排序模型凭借其便捷的接入方式、卓越的性能以及广泛的适用性，成为众多企业和开发者进行RAG系统开发时的重要选择。然而，这类模型对计算资源的需求较高，部署成本较大。
2025-05-21 15:43:08
120
转载 【论文技巧】-论文双栏情况下如何让图片单栏
（1）选择 “页面布局” ——>分隔符选项卡中选择 “分节符（连续）”（2）将“页面布局”中的“分栏”项设置为单栏，此时会看大分节符一下的内容都是单栏的，不用管，稍后会再改回来。（3）插入图片，表格，文本框等均可，都是单栏的了已经，并调整好格式；（4）换行，再次插入分节符（连续）（5）将“页面布局”中的“分栏”设置为双栏，继续写文本内容即可。效果如图：参考资料：【论文技巧】-论文双栏情况下如何让图片单栏
2025-05-15 16:29:03
72
原创 【大模型】Qwen, DeepSeek, GLM的API接口调用（官方示例+LangChain示例）
【代码】【大模型】Qwen, DeepSeek, GLM的API接口调用（官方示例+LangChain示例）
2025-05-08 15:30:29
859
转载 【RAG】检索增强生成RAG 范式、技术和趋势
为什么会有RAG幻觉过时的信息参数化知识效率低缺乏专业领域的深入知识推理能力弱领域支持的精准回答数据频繁更新的需求生成内容需要可追溯可解释可控的成本隐私数据保护因此有了RAG(Retrieval-Augmented Generation 检索增强生成)，RAG的基本流程是，当回答问题时，首先从大量文档中检索到相关信息，然后基于这些信息，让LLMs生成答案。这样通过附加一个外部知识库，无需为每个特定任务重新训练整个大型模型。因此RAG模型特别适合于知识密集型任务。
2025-05-05 17:54:06
101
转载 【RAG】检索增强生成RAG效果优化技术汇总分析
此过程涉及嵌入一组有限的句子以供检索，这些句子周围的附加上下文（称为“窗口上下文”）被单独存储并与它们链接。一旦确定了最相似的句子，就会在将这些句子发送到大型语言模型 (LLM) 进行生成之前重新整合此上下文，从而丰富整体上下文理解。
2025-05-05 15:57:25
101
原创 【Agent】多智能体框架MetaGPT入门教程
创建一个 Action 类的子类 SimpleWriteCode，子类中定义好 prompt，并解析返回结果。在 MetaGPT 中，
2025-04-26 10:16:15
801
1
原创 【Agent】LangGraph 中 functools.partial 函数详解
在利用LangGraph创建智能体时，我们可能会使用那么这行代码究竟是什么意思呢？这行代码使用了 Python 的 functools.partial 来创建一个部分应用的函数，这是一种常见的函数式编程技术。
2025-04-23 10:26:34
416
转载 【Agent】LangGraph入门教程：应用实战（2）
我们也可以定义一些未来Agent会用到的工具@tool):try:reprreturn (首先创建图的状态State。状态的内容结构是带有Key的消息List，用来追踪最新的sender。接下来为Agent定义一个Node节点passelse:return {llm,llm,定义一个工具节点来运行工具函数接下来定义逻辑边，它可以根据上游Agent的结果决定接下来，路由到哪里接下来，把上面定义的东西聚合在一起，组成一个图router,router,},try:pass。
2025-04-22 22:49:15
92
转载 【Agent】LangGraph入门教程：基础理论（1）
在遇到复杂任务时，比如第一次搜索没有找到想要的内容，我们可能需要进行第二次、第三次搜索，甚至可能需要调用网络搜索来完成。在这种情况下，顺序执行的任务（DAG）显然无法满足需求。请求方和搜索方之间需要经历多次来回沟通，请求方可能会要求搜索方根据反馈调整搜索策略，这种多次的循环沟通才能逐步逼近最终答案。
2025-04-22 17:02:55
310
原创 多Agent框架及协作机制详解
多智能体协作机制：大语言模型综述多智能体系统（Multi-Agent System, MAS）是由多个相互作用的智能体组成的计算机化系统。这些智能体具有自主性，能够感知环境、与其他智能体交互，并通过协作解决复杂的任务。智能体：系统中的核心参与者，具有角色、能力、行为模式和知识模型。智能体的能力包括学习、规划、推理和决策制定，这些能力赋予了智能体和整个系统智能。环境：智能体所处的外部世界，智能体可以感知并作用于环境。环境可以是模拟的或物理空间，如工厂、道路、电网等。交互。
2025-04-20 16:40:05
1398
转载 MCP（Model Context Protocol）模型上下文协议
MCP（Model Context Protocol，模型上下文协议） ，2024年11月底，由 Anthropic 推出的一种开放标准，旨在统一大型语言模型（LLM）与外部数据源和工具之间的通信协议。MCP 的主要目的在于解决当前 AI 模型因数据孤岛限制而无法充分发挥潜力的难题，MCP 使得 AI 应用能够安全地访问和操作本地及远程数据，为 AI 应用提供了连接万物的接口。
2025-04-20 11:47:53
139
转载 Function Call & ReACT，Agent应用落地的加速器
在大模型的涌现能力刚被人们发掘的时候，人们意识到生成式AI的潜力可能不止局限于文本内容的生成，如果让大模型能够和外部世界交互，是不是就能获得更广泛的信息，甚至对外部环境造成一定影响？基于这个出发点，研究者把推理（例如思维链提示）和行动（例如 WebGPT、SayCan、ACT-1）进行结合，并提出了ReACT框架，其核心思想是将推理和行动结合起来，形成一个智能、自主的智能体结构，并拥有与外部环境交互的能力。
2025-04-18 10:44:26
113
转载 大模型微调方法对比分析：Prompt Tuning、Prefix-Tuning、P-Tuning、Adapter Tuning
在本篇博客中，主要对 Prompt Tuning、Prefix-Tuning、P-Tuning、Adapter Tuning 这几类微调方法进行对比，总结每种方法的特点和优缺点。训练大型预训练语言模型非常耗时且计算密集。随着模型规模的增长，人们越来越关注更高效的训练方法，比如Prompting。Prompting通过包含一段描述任务或展示任务示例的文本提示，为特定的下游任务调整一个冻结的预训练模型。有了Prompting，你可以避免为每个下游任务完全训练一个单独的模型，而是使用同一个冻结的预训练模型。 这样
2025-04-16 15:28:26
215
转载 到底什么是“算力网络”？
算力网络不是一项具体的技术，也不是一个具体的设备。从宏观来看，它是一种思想，一种理念。从微观来看，它仍然是一种网络，一种架构与性质完全不同的网络。因此，也有人将算力网络叫做“Network As A Computer（网络即计算机）”。在你面前的，就像一台算力机。你不需要管它背后到底是什么，你只需要知道，它一定能给你提供最符合你需求的算力资源。
2025-04-12 22:04:18
73
转载 【大模型】LoRA微调时如何选择参数
一般来说，LoRA微调会集中在以下层：Attention层的查询、键、值和输出投影（q_proj, k_proj, v_proj, o_proj）
2025-04-11 15:25:46
465
转载 Informer：高效长序列时间序列预测模型
Informer是一种专为长序列时间序列预测（LSTF）设计的Transformer模型。相较于传统的Transformer，Informer具备了三个独特特点。首先，他采用ProbSparse自注意力机制，具有O(LlogL)的时间复杂度和内存使用。能够有效捕获序列中的长期依赖关系。其次，通过自注意力蒸馏技术，Informer能够高效处理极长的输入序列。最后，Informer的生成式解码器可以一次性预测整个长时间序列，在预测过程中大幅提高了效率。
2025-04-10 11:31:43
264
原创 【大模型】为什么现在的LLM都是Decoder only的架构？
泛化能力更强（1）Next Token Prediction的预训练目标任务难度更高：Decoder-only模型通过自回归（AR）逐词预测下一个token，每个位置仅能依赖历史信息（无法“偷看”未来），迫使模型学习更强的上下文建模能力。Zero-shot/Few-shot表现更好：论文通过实验证明，在相同参数量和数据规模下，Decoder-only架构在零样本（zero-shot）任务上的泛化性能显著优于Encoder-Decoder（如T5）或纯Encoder架构（如BERT）。
2025-03-31 22:20:38
1097
原创 【大模型】微调一个大模型需要多少 GPU 显存？
模型微调所需的 GPU 显存取决于多个因素，包括模型大小、微调方法和优化策略。全量微调需要较大显存，而高效微调方法如 LoRA 和 QLoRA 可以显著减少显存需求。在实际项目中，还需考虑硬件配置和训练策略等因素来更精确地估算 GPU 显存需求。
2025-03-31 21:30:57
1843
原创 【大模型】归一化方法之Batch Norm, Layer Norm, RMS Norm
Normalization在统计学中一般翻译为归一化，现在已经成了神经网络中不可缺少的一个重要模块了。还有类似的是Standardization，一般翻译成标准化。这两个概念有什么区别呢？归一化是将数据缩放到0-1之间标准化是将数据缩放到均值为0，方差为1的正态分布。有时候Normalization和Standardization会混淆，注意看清楚即可，不纠结细节。注意：我们下面讲到的Normalization归一化严格讲应该称为Standardization 标准化。
2025-03-29 10:57:46
1328
原创 【大模型】激活函数之SwiGLU详解
Swish是由Google Brain提出的一种激活函数，它的数学表达式如下：其中σx\sigma(x)σx是sigmoid函数，β是一个可学习的参数。当β趋近于0时，Swish函数趋近于线性函数yx2y = x^2yx2当β取值为1时，Swish函数是光滑且非单调的，等价于SiLU激活函数当β趋近于无穷大时，Swish函数趋近于ReLU函数。
2025-03-28 22:23:30
1402
原创 主流大模型采用的架构、注意力机制、位置编码等汇总表
表中的一些模型已经是很久之前的了，比如DeepSeek V3中使用了MLA的注意力机制。先占个位，后续如果有更新的汇总表再来更新吧。
2025-03-28 21:43:46
359
原创 【大模型】大模型评价指标汇总解析
（1）基于重叠的度量BLEU：BLEU评分是一种基于精度的衡量标准，范围从0到1。值越接近1，预测越好。ROUGE：ROUGE(Recall-Oriented Understudy for Gisting Evaluation)是一套用于评估自然语言处理中自动摘要和机器翻译软件的度量标准和附带的软件包。ROUGE-N：测量候选文本和参考文本之间的n-gram（n个单词的连续序列）的重叠。它根据n-gram重叠计算精度，召回率和F1分数。
2025-03-27 16:37:58
2524
转载 大模型训练框架DeepSpeed原理解析及应用实战
大模型训练框架 DeepSpeed 详解DeepSpeed 是一个由微软研究院开发的深度学习优化库，它主要针对大规模分布式训练进行了优化，尤其是在使用大量 GPU 进行训练时可以显著提高效率。DeepSpeed 旨在降低模型并行和数据并行的通信开销，同时提供了一系列工具来帮助研究人员和开发者更容易地训练大型模型。：这是一种减少内存使用的优化器，通过将模型状态分布在多个 GPU 上来减少内存占用。混合精度训练：支持 FP16 和 BF16 训练以减少内存使用并加速计算。流水线并行性。
2025-03-27 10:20:47
674
原创 【Agent】LangSmith的配置及使用
LangChain 使得原型设计大型语言模型（LLM）应用程序和代理变得容易。然而，将 LLM 应用程序交付到生产环境可能会异常困难。可能需要大量定制和迭代prompt、chain和其他组件，以创建高质量的产品。为了帮助这个过程，推出了LangSmith，一个统一的平台，用于调试、测试和监控LLM 应用程序。
2025-03-21 10:55:49
1711
中国各省会城市的距离表
2023-03-27
基于MFC的模拟时钟程序
2014-02-13
ACM国际大学生程序设计竞赛题解 1 [赵端阳][程序源代码]
2014-07-13
ACM国际大学生程序设计竞赛题解 2 [赵端阳][程序源代码]
2014-07-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人