约定的博客

文章目录3 集成学习4 Adaboost4.1 Adaboost算法5 提升决策树BDT6 梯度提升决策树GBDT7 极限梯度提升XGboost3 集成学习所谓集成学习，是指构建多个分类器（弱分类器）对数据集进行预测，然后用某种策略将多个分类器预测的结果集成起来，作为最终预测结果。通俗比喻就是“三个臭皮匠赛过诸葛亮”，或一个公司董事会上的各董事投票决策，它要求每个弱分类器具备一定的“准确性”，分类器之间具备“差异性”。集成学习根据各个弱分类器之间有无依赖关系，分为Boosting和Bagging两大流

文章目录1 决策树1.1决策树定义1.2信息增益1.3 信息增益的算法1.4 信息增益比2 决策树ID32.1 ID3树的构建2.2 决策树的剪枝2.2.1 损失函数定义与计算2.2.2 剪枝过程1 决策树1.1决策树定义决策树的基本组成：决策节点、分支、叶子。决策树表示给定特征条件下的概率分布。条件概率分布定义在特征空间的一个划分上。将特征空间划分为互不相交的单元。并在每个单元上定义一个类的概率分布，就构成了一个条件概率分布。决策树的一条路径对应于划分中的一个单元。决策树的本质是在特征空间

为了理解《LETOR: A benchmark collection for research on learning to rank for information retrieval》中提出的数据特征中的三个：LMIR.ABS、LMIR.DIR、LMIR.JM的计算方法，我查阅了很多资料。前面一篇博客是理解。这一篇也是。这篇博客的内容来自《A Study of Smoothing Methods for Language Models Applied to Ad Hoc Information Retr

Jelinek-MererJelinek-Merer平滑方法的基本思想是利用低元n-gram模型对高元n-gram模型进行线性插值。PML(wi∣wi−1)=c(wi,wi−1)c(wi−1)P_{ML}(w_i|w_{i-1})=\dfrac{c(w_i,w_{i-1})}{c(w_{i-1})}PML​(wi​∣wi−1​)=c(wi−1​)c(wi​,wi−1​)​c(wi,wi−1)c(w_i,w_{i-1})c(wi​,wi−1​)是指词i和词i-1共同出现的次数。PML(wi)=c(w

文章目录1 准确率Mean average precision1.1 定义1.2 计算2 NDCG(Normalized Discounted Cumulative Gain)2.1定义2.2 例子1 准确率Mean average precision1.1 定义Precision at position k (P@k)是一个衡量排名前k位的方法，使用两个级别(相关的和不相关)的相关性判断。公式：P@k=1k∑j=1krjP@k=\dfrac{1}{k}\sum^{k}_{j=1}r^jP@k=

题目和解题思路来源于吴军著作《计算之魂》。本题目是例题1.3。文章目录1 问题描述2 解题思路2.1 三重循环2.2 两重循环2.3 分治法1 问题描述总和最大区间问题：给定一个实数序列，设计一个最有效的算法，找到一个总和最大的区间。例如给定序列：1.5,-12.3,3.2,-5.5,23.2,3.2,-1.4,-12.2,34.2,5.4,-7.8,1.1,-4.9总和最大的区间是从第5个数（23.2）到第10个数（5.4）。2 解题思路2.1 三重循环public int[] findM

1 线性可分的数据集1.1 超平面SVM的思想是找到最大间隔的分隔超平面。在两个分类中，找到能够一条线，以最好地区分这两个分类。这样如果有了新的点，这条线也能很好地做出分类。这样的线在高维样本中的时候就叫做超平面。1.2 几何间隔与函数间隔图中绿线h1效果不好，h2效果还行，h3效果最好。怎么区分效果好不好？如果超平面w.x+b=0w.x+b=0w.x+b=0已经存在，那么样本点距离超平面的距离能够表示预测的确信程度。∣w.x+b∣|w.x+b|∣w.x+b∣能够相对地表示点x距离超平面的距

原文地址：https://www.julyedu.com/questions/interview-detail?quesId=2761&cate=NLP&kp_id=30什么是 Word2vec?在聊 Word2vec 之前，先聊聊 NLP (自然语言处理)。NLP 里面，最细粒度的是 词语，词语组成句子，句子再组成段落、篇章、文档。所以处理 NLP 的问题，首先就要拿词语开刀。举个简单例子，判断一个词的词性，是动词还是名词。用机器学习的思路，我们有一系列样本(x,y)，这里 x 是词

从三个方面来说,一对象的引用计数机制,二垃圾回收机制,三内存池机制一、对象的引用计数机制Python内部使用引用计数，来保持追踪内存中的对象，所有对象都有引用计数。引用计数增加的情况：1，一个对象分配一个新名称2，将其放入一个容器中（如列表、元组或字典）引用计数减少的情况：1，使用del语句对对象别名显示的销毁2，引用超出作用域或被重新赋值sys.getrefcount( )函数可以获得对象的当前引用计数多数情况下，引用计数比你猜测得要大得多。对于不可变数据（如数字和字符串），解释器会在

文章目录1 项目介绍1.1 背景知识介绍1.2 NLG的实现方式1.2.1 基于模板1.2.2 检索式1.2.3 生成式1 项目介绍1.1 背景知识介绍对话系统按领域分类，分为任务型和闲聊型。闲聊型对话系统有Siri、微软小冰、小度等。它们实现可以以任意话题跟人聊天。任务型对话系统是以完成特定任务为目标的对话系统。例如可以以订机票为一个特定的任务，实现的对话系统。我们这里重点关注任务型对话系统。任务型对话系统分为语音识别、自然语言理解NLU、对话管理DM、自然语言生成NLG、语音合成几个部分。与N

文章目录1 项目介绍1.1 背景知识介绍1.2 数据集介绍1.3 评价指标2 技术方案梳理2.1 模型目标2.2 模型介绍2.3 模型实现2.3.1 数据处理2.3.2 构建dataset2.3.3 模型定义2.3.4 训练相关参数2.3.5 训练结果3 项目总结1 项目介绍1.1 背景知识介绍对话系统按领域分类，分为任务型和闲聊型。闲聊型对话系统有Siri、微软小冰、小度等。它们实现可以以任意话题跟人聊天。任务型对话系统是以完成特定任务为目标的对话系统。例如可以以订机票为一个特定的任务，实现的对话系

NLG(Natural Language Generation)，计算机将结构化数据转换为文本并以人类语言编写信息。使用GPT框架完成NLG任务。GPT模型是预训练模型， 采用两阶段过程，第一个阶段是利用语言模型进行预训练（无监督形式），第二阶段通过 Fine-tuning 的模式解决下游任务（监督模式下）。GPT模型是Seq2Seq模型中的一种。分为encoder和decoder两部分。encoder：有12个transform block。输入句子，输出词向量。decoder：有12个trans

文章目录1 注意力机制2 自注意力机制3 自注意力机制加强版4 Transformer的结构4.1 input4.2 encoder4.2.1 Multi-head attention4.2.2 残差链接4.2.3 层正则化layer norm4.2.4 前馈神经网络 feed forward network4.3 decoder4.3.1 输入4.3.1 Masked Multi-head attention4.3.2 Multi-head attention4.3.3 前馈神经网络 feed forwa

翻了一下自己的博客。记录了花花酱的二分搜索模板、王争的二分搜索模板。花花酱的文章中提到：不要试图去找一个正确答案。试图去找一个分割点m，使得x>=m，g(x)>0为true。这个始终get不到。王争的二分模板思路是比较简单的，就是时间长了，忘记了。考虑边界值的时候，是在代码逻辑中考虑，容易理解。接下来记录一下labuladong的二分搜索模板。1 查找目标值简单二分，查找目标值。int binarySearch(int[] nums, int target) { int le

文章目录1 项目目标2 模型介绍3 代码4 总结与优化1 项目目标基于知识图谱的问答系统，简称为KBQA，是知识图谱的一种应用方式。在本项目中的知识图谱数据是关于公司的。数据中包含公司的主键、名称、分红方式、所处行业、债券类型等，也包含公司主要职位的人物名称，还有公司与公司之间的关系。经过分析之后，我们建立的图谱中的实体有：公司、人物、行业、分红方式、违规类型、债券类型。公司与公司之间的关系有：供应商、客户、公担保。人物与公司之间的关系有：监事、董事。公司与行业的关系：属于。公司与分红方式的关系：属于

内容来自七月算法nlp课程。文章目录1 句子向量1.1 bert句子向量表示相似度效果不好1.2 sentence-bert1 句子向量句子向量是用于实体消岐的。可以使用Elmo，也可以使用bert。这里介绍用bert生成句子向量。1.1 bert句子向量表示相似度效果不好Bert中最常用的句向量方式是采用cls标记位或者平均所有位置的输出值，注意，在采用平均的方式的时候，我们需要先做一个mask的操作，计算均值时，除以mask的和。但bert的句子向量效果不理想。为什么呢？原因1：词频率影响

内容来自七月算法nlp课程。图谱问题是用户输入一句话，系统返回这句话的答案。这里分多种情况。例如根据实体和关系查询尾实体，或者根据实体查询关系，甚至还会出现多跳的情况，不同的情况采用的方法略有不同。1 根据实体和关系查询尾实体需要两个步骤完成：第一步找到实体与关系；第二步实体链接和实体消岐。1.1 找到实体与关系NER的方式很多。可以采用传统机器学习的分类方法，也可以使用深度学习神经网络，一般架构为encoder+cfr层。这里重点介绍AC自动机1.1.1 AC自动机1、构建前缀树2、给前

内容来自七月算法nlp课程。这是要解决知识图谱中的其中一个问题：从非结构文本中抽取三元组。要解决这个问题，总体思路有通过模板抽取、通过模型抽取。三元组工业界一般都存储在neo4j中，学术界会采用RDF形式存储。1结构化数据抽取定义好schema。按照schema的格式，把关系型数据转为图数据。2 非结构化数据抽取2.1 通过模板抽取通过模板抽取，这个一般是通过正则实现，课程上不做过多介绍。2.2 通过模型抽取模型的整体结构如图所示，输入是一段文本信息，经过encoder层进行编码，提取

squeeze：压缩，要减少维度。unsqueeze：解压缩，要增加维度。torch.squeeze(input)，那么会把input中所有维度长度为1的维度去掉。torch.squeeze(input,dim=1)，那么在给定dim的情况下，就只去掉dim这个维度，其他维度还保留。import torchx = torch.rand(5,3)x = x.squeeze(1)tensor([[0.0621, 0.2074, 0.5420],[0.5897, 0.3664, 0.4387],

pytorch的sum怎么那么烦人呢？我怎么知道应该给哪个维度做加和呢。如果 x=tensor([[0.5946, 0.3530, 0.2231],[0.7467, 0.2139, 0.4841],[0.6990, 0.6151, 0.1369],[0.1062, 0.5951, 0.7555],[0.7811, 0.2932, 0.2963]])那么我想 x.sum(dim=1)，第0个维度是行，第1个维度应该是列，那应该是按列求和吧，最后结果应该是一行3列。结果是tensor([1.17