weixin_42948291的博客

原创 【Leetcode】找到字符串中所有字母异位词

给定两个字符串 s 和 p，找到 s 中所有 p 的 异位词 的子串，返回这些子串的起始索引。不考虑答案输出的顺序。示例 1:输入: s = “cbaebabacd”, p = “abc”输出: [0,6]解释:起始索引等于 0 的子串是 “cba”, 它是 “abc” 的异位词。起始索引等于 6 的子串是 “bac”, 它是 “abc” 的异位词。

原创 【Leetcode】无重复字符的最长子串

给定一个字符串 s ，请你找出其中不含有重复字符的 最长 子串 的长度。示例 1:输入: s = “abcabcbb”输出: 3解释: 因为无重复字符的最长子串是 “abc”，所以其长度为 3。注意 “bca” 和 “cab” 也是正确答案。示例 2:输入: s = “bbbbb”输出: 1解释: 因为无重复字符的最长子串是 “b”，所以其长度为 1。示例 3:输入: s = “pwwkew”输出: 3解释: 因为无重复字符的最长子串是 “wke”，所以其长度为 3。

原创 【Leetcode】 接雨水

给定 n 个非负整数表示每个宽度为 1 的柱子的高度图，计算按此排列的柱子，下雨之后能接多少雨水。示例 1：输入：height = [0,1,0,2,1,0,1,3,2,1,2,1]输出：6解释：上面是由数组 [0,1,0,2,1,0,1,3,2,1,2,1] 表示的高度图，在这种情况下，可以接 6 个单位的雨水（蓝色部分表示雨水）。示例 2：输入：height = [4,2,0,3,2,5]输出：9。

原创 【Leetcode】三数之和

给你一个整数数组 nums ，判断是否存在三元组 [nums[i], nums[j], nums[k]] 满足 i != j、i != k 且 j != k ，同时还满足 nums[i] + nums[j] + nums[k] == 0 。请你返回所有和为 0 且不重复的三元组。注意：答案中不可以包含重复的三元组。示例 1：输入：nums = [-1,0,1,2,-1,-4]输出：[[-1,-1,2],[-1,0,1]]解释：nums[0] + nums[1] + nums[2] = (-1) + 0

原创 【Leetcode】移动零

给定一个数组 nums，编写一个函数将所有 0 移动到数组的末尾，同时保持非零元素的相对顺序。请注意 ，必须在不复制数组的情况下原地对数组进行操作。示例 1:输入: nums = [0,1,0,3,12]输出: [1,3,12,0,0]示例 2:输入: nums = [0]输出: [0]

原创 【Leetcode】最长连续序列

给定一个未排序的整数数组 nums ，找出数字连续的最长序列（不要求序列元素在原数组中连续）的长度。请你设计并实现时间复杂度为 O(n) 的算法解决此问题。示例 1：输入：nums = [100,4,200,1,3,2]输出：4解释：最长数字连续序列是 [1, 2, 3, 4]。它的长度为 4。示例 2：输入：nums = [0,3,7,2,5,8,4,6,0,1]输出：9示例 3：输入：nums = [1,0,1,2]输出：3。

原创 Cursor一直显示planning next move

前段时间 cursor 一直卡在 planning next move，不管是auto模式还是切成指定的模型都无法继续。

原创 【LLM】位置编码

众所周知，在NLP中位置信息是很有用的。对任何语言来说，句子中词汇的顺序和位置都是非常重要的。它们定义了语法，从而定义了句子的实际语义。在旧时代的NLP中，我们一般使用CNN/RNN来建模文本，其中CNN可以编码一定的绝对位置信息（很大程度上来自zero-padding），而RNN的序列依赖特性更是天生适合序列问题或者位置信息的建模（RNN结构本身就涵盖了单词的顺序，RNN按顺序逐字分析句子，这就直接在处理的时候整合了文本的顺序信息）。因此，在旧时代的NLP，基本无须单独做位置编码。Transformer模

原创 【LLM】Tree of Thoughts: Deliberate Problem Solving with LLMs

传统的语言模型在规划和决策过程中存在局限性，而"思维树"通过同时考虑多个潜在的可行计划，并利用价值反馈机制进行决策，扩展了现有的规划方法。如果说 Chain of Thought (CoT) 是让 AI 学会打草稿，那么 Tree of Thoughts (ToT) 就是让 AI 学会了下棋时的多步推演和悔棋。

原创 【LLM】ReAct

工具本质上就是我们为大模型提供的扩展能力，它可以是一些 Open API（如 Google 搜索、高德天气等等），也可以是我们内部的一些函数，甚至是第三方的服务。get_fruit_price：一个简单的本地函数，用于获取指定水果的价格。

原创 【LLM数据】数据处理Pipeline

虽然LSH在算法层面优化了复杂度，但是考虑到网络数据集的庞大，对它们进行多个哈希函数的计算依然需要消耗大量的计算存储资源，因此大部分论文都推荐采用分布式计算的方案，例如GPT-3采用了Spark的MinHashLSH方法。首先，他们制定了一套问题，用来量化数据集的偏见程度。RealToxicityPrompts通过一个叫做Perspective AI的工具对内容的毒性进行评测，根据他们的报告，OpenWebText的内容中有2.1%，WebText的内容中有4.3%，这些内容的毒性评分达到或超过50%。

原创 【LLM数据】Dolma数据集 (AI2)

官方一张图说明了当前主流大模型使用的数据集处理过程的披露情况，非常简单明确：上图列举了当前这些主流模型使用的数据集的披露情况，其中✅表示完全披露，❌表示没有报告披露，而“~”则表示有描述，但是没有明确来源。上面涉及到的数据处理解释如下：PII ID+过滤：“个人身份信息检测”（PII detection）。PII 是“Personal Identifiable Information”的缩写，指的是可以用来识别个人身份的信息，如姓名、电话号码、电子邮件地址、身份证号等。

原创 【LLM】重要概念之Scaling Laws

Scaling Law 定义：我们可以用模型大小、Dataset大小、总计算量，来预测模型最终能力。（通常以相对简单的函数型态, ex: Linear relationship）

原创 【LLM数据】CCNet: Extracting High Quality Monolingual Datasets from Web Crawl Data

Common Crawl【3】提供了多种可供使用的数据集格式。目前，主要有三种不同的主要格式（除了索引）：WARC、WAT和WET。原始网页数据（WARC）元数据（WAT），WAT比WET包含更多的元数据，还包括HTML标签内容和链接文本提取（WET）（bypassing the CommonCrawl processing to extract text）CCNet论文使用的是 WET数据集；

原创 【LLM数据】Textbooks Are All You Need

Phi-1 模型本身是一个标准的 Decoder-only Transformer（1.3B 参数，24 层，RoPE 编码，FlashAttention），其架构并无太多花哨之处。真正的魔法在于数据的制备过程。论文作者提出了一个核心假设：如果我们将训练数据替换为“教科书级”的高质量数据，能否打破现有的 Scaling Laws，用极小的模型达到 SOTA 性能？面对海量的 GitHub 代码（The Stack 数据集），作者没有使用传统的正则规则过滤，而是训练了一个“AI 助教”来筛选数据。

原创 【LLM】大模型对齐方法

模型对齐（Alignment）的目标是微调预训练模型，使其行为与人类的意图、偏好和价值观保持一致。这是确保LLM安全、可靠地部署于现实世界的关键步骤。目前，大模型的对齐工作中，RLHF算法是能够达到最优结果的范式。RLHF的核心思想是将人类的偏好数据转化为一个数值奖励信号，然后利用强化学习算法优化语言模型的策略（即其生成文本的方式），以最大化期望奖励。近端策略优化（Proximal Policy Optimization, PPO）是 RLHF 框架中最具代表性的算法之一。它由 OpenAI 在2017年提

原创 NoteLLM：大语言模型在小红书推荐系统的应用

如何利用LLM生成更好的embedding用于i2i召回链路？

原创 【LLM】大模型激活函数

激活函数的主要作用在于更好的学习数据中的非线性关系。激活函数在神经网络中的作用，主要在于输入下一层之前调整上一层的输出。

原创 【LLM】Deepseek模型总结

DeekSeek-R1-Zero证明了纯强化学习能够提升模型的思考推理能力，但是由于训练过程中，并没有教它如何思考，或者说如何“符合人类口味习惯”的思考，DeekSeek-R1-Zero存在输出多语言混杂，可读性差的问题。DeepSeek-R1模型并不是直接由DeepSeek-V3通过强化学习得到的，而是在DeepSeek-V3的基础上，经过两轮的监督微调（SFT）后，再通过强化学习得到的。该模型不是最终的DeepSeek-R1模型，是实验中的一个半成品，验证了强化学习对模型推理能力提升的有效性。

原创 【LLM】LlamaFactory微调Qwen3-14B

主要遵循LlamaFactory官方文档：https://github.com/hiyouga/LlamaFactory/blob/main/README_zh.md#%E5%A6%82%E4%BD%95%E4%BD%BF%E7%94%A8，有几个关键点需要注意。LlamaFactory要求的python版本为3.10，Qwen3要求的transformers版本为>=4.51.0，同时需要关注配套的vllm等包。因此，需要在上面的目录下新建针对Qwen3-14b的微调、推理和合并参数文件。

原创 【CTR预估】模型总结

最开始探索的是双塔模型，原因是组里有现成的框架。双塔模型的结构图：双塔模型最大的特点就是「user和item是独立的两个子网络」，左侧是用户塔，右侧是item塔，这两个塔的参数不共享。「User特征」主要包括和用户相关的特征：用户id、手机系统、地域、年龄、历史行为序列等；「Item特征」主要包括和Item相关的特征：ItemId、Item类别、Item来源等。整体流程是将User特征和Item特征分别输入到特征提取网络（例如DNN）得到User Embedding和Item Embedding。

原创 【CTR预估】DeepFM模型

DeepFM聚焦推荐系统中的点击率（CTR）预测问题，融合因子分解机（FM）与深度神经网络（DNN），旨在解决现有方法在特征交互建模与特征工程依赖上的痛点。

原创 VLLM部署Qwen模型

​​5. 调用API示例​​。

原创 【聚类算法】DBSCAN算法

如果一个点在半径ε内至少有min_samples个邻居点（包括自己），则该点为核心点数学表示：N_ε§ ≥ min_samples，其中N_ε§是点p在ε半径内的点数。

原创 《Mem0: Building Production-Ready AI Agents with Scalable Long-Term Memory》笔记

这篇论文强调了持久记忆在AI对话系统中的重要性，并提出了一种新的架构来解决现有模型的局限性。

原创 Text Clustering as Classification with LLMs

LLM 引导的候选标签生成：通过提示词向 LLM 输入目标无标注文本数据集（或数据集样本子集），明确任务要求 —— 生成 “能覆盖文本核心主题、语义清晰且具有区分度” 的候选标签（无需人工预设标签体系，标签形式可为短语或短句），例如输入部分文本样本后，提示 LLM“基于这些文本讨论的内容，生成 15-20 个能概括不同主题的标签”。实验验证表明，该框架无需复杂的微调过程与传统聚类算法，性能却与采用嵌入的主流聚类方法相当甚至更优，有效降低了文本聚类对资源、人工经验的依赖，简化了聚类流程。

原创 Deepseek Engram

稀疏性：指在处理每个输入时，只激活模型的一小部分参数。比如「Apple」和「apple」、「running」和「Running」，虽然分词器给了不同的ID，但语义相同，可以映射到同一个规范ID。具体来说，Engram把当前隐藏状态作为Query，把检索到的记忆向量作为Key和Value，计算一个0到1之间的门控值。如果词表有10万个词，那么所有可能的3-gram就有10万的三次方，也就是10的15次方种组合。设ρ为分配给MoE专家的比例，ρ=100%就是纯MoE模型，ρ越小，分给Engram的越多。

原创 高德api使用

1len1len1。

原创 部署Qwen2.5-VL-7B-Instruct-GPTQ-Int3

【代码】部署Qwen2.5-VL-7B-Instruct-GPTQ-Int3。

原创 【Datawhale AI 夏令营】电商评论用户洞察

然而，星火大模型判断的效果远差于TF-IDF分类（20条训练集中有8条错误），主要是有些特殊情况模型难以分辨，如果想要提升效果，需要基于人工分析总结，给出好的prompt。判断结果略差，随机抽取的5条训练集中有1条错误，主要在于对用户问题的理解不够，需要在prompt中将用户问题的定义完善。实现路径：使用Jieba对评论文本进行分词，使用TF-IDF进行关键词提取，最后基于KMeans进行聚类并提取中心词。评论聚类这块的优化方向，一是寻找最佳聚类簇个数，二是更换聚类方法。

原创 多模态大模型（一）

视觉表征：分为两块，一是如何合理建模视觉输入特征，二是如何通过预训练手段进行充分学习表征，这两点是基于视觉完成具体算法任务的基础；视觉与自然语言的对齐或融合：目的是将视觉和自然语言建模到同一表征空间并进行融合，实现自然语言和视觉语义的互通，这点同样离不开预训练这一过程。模态对齐是处理多模态问题的基础，也是现在流行的多模态大模型技术前提。对于视觉表征，从发展上可以分为卷积神经网络（CNN）和Vision Transformer（VIT）两大脉络，二者分别都有各自的表征、预训练以及多模态对齐的发展过程。

原创 视觉表征和多模态融合

视觉表征和多模态融合是当前人工智能领域的重要研究方向，它们相互关联、相互促进。良好的视觉表征是多模态融合的基础，而多模态融合则能够充分利用不同模态的信息，提升模型的整体性能。随着多模态大模型的兴起，将有更多创新性的应用场景被开发出来。

原创 【LLM论文阅读】

原创 github相关

如何编写发布博客？$ git add _posts/2017-08-15-how-to-setup-your-github-io-blog.md$ git commit -m "Add how to setup your github.io blog"$ git push origin master

原创 SkLearn 初学

通过手写数字数据初步学习 sklearn一、使用 matplotlib 视觉化手写数字图片1、基本实现# 从 `sklearn` 载入 `datasets`from sklearn import datasets# 载入 matplotlibimport matplotlib.pyplot as plt# 载入 `digits`digits = datasets.load_digits()# 设定图形的大小（宽、高）fig = plt.figure(figsize=(4, 2)) #

原创 keras 时间序列预测

keras 时间序列预测num表示自行车数量，weekday表示星期几，hour表示小时。一共45949条数据，这些数据是按一分钟一次的顺序排列的。用RNN进行预测的话，实际上用num字段就够了，其他两个字段作为额外的参考信息，读者不妨利用这两条信息构建更复杂的模型，提高预测精度。接下来我们将用多层LSTM 的RNN神经网络去预测这些序列的值，简单来说，我们有9个连续的num，那么如何预测第10个num是多少？（知道前九分钟的num，预测下一分钟的num）# 加载依赖库import matplot

原创 利用 keras 进行点评评论情感分析

利用 keras 进行点评评论情感分析一、准备工作1、数据导入import pandas as pddata = pd.read_csv('/Users/liming/Downloads/review.csv')print(data.shape)data.head()(100000, 3) reviewid reviewbody star 0 661913194

原创 Matplotlib可视化图表

可视化入门import numpy as npimport pandas as pdimport matplotlib as mplimport matplotlib.pyplot as pltimport seaborn as snsimport warnings; warnings.filterwarnings(action='once')large = 22; med = 16; small = 12params = {'axes.titlesize': large,

原创 决策树

一、CART算法1、基于iris数据集，构造CART分类树# encoding=utf-8from sklearn.model_selection import train_test_splitfrom sklearn.metrics import accuracy_scorefrom sklearn.tree import DecisionTreeClassifierfrom sklearn.datasets import load_iris# 准备数据集iris=load_iris()

原创 01 最近邻

一、k近邻算法实战之约会网站配对效果判定（手写实现）模块一：准备数据import numpy as npfr = open("/Users/liming/Downloads/machinelearninginaction-master/Ch02/datingTestSet.txt")#读取文件所有内容arrayOLines = fr.readlines()#得到文件行数numberOfLines = len(arrayOLines)#返回的NumPy矩阵,解析完成的数据:numberOfL