约定写代码
码龄15年
  • 236,471
    被访问
  • 279
    原创
  • 23,482
    排名
  • 126
    粉丝
  • 1
    铁粉
关注
提问 私信

个人简介:虽然8年前开始学习更好,但今天开始学习,总要好过明天再开始。

IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:北京市
  • 加入CSDN时间: 2007-10-30
博客简介:

约定的博客

博客描述:
算法与nlp追随者
查看详细资料
  • 3
    领奖
    总分 396 当月 5
个人成就
  • 获得122次点赞
  • 内容获得38次评论
  • 获得467次收藏
创作历程
  • 6篇
    2022年
  • 51篇
    2021年
  • 79篇
    2020年
  • 71篇
    2019年
  • 36篇
    2018年
  • 52篇
    2017年
  • 8篇
    2016年
  • 2篇
    2014年
  • 1篇
    2013年
  • 1篇
    2011年
成就勋章
TA的专栏
  • nlp
    17篇
  • 机器学习
    14篇
  • 区块链
  • 试题准备
    1篇
  • 知识图谱笔记
    8篇
  • pytorch
    4篇
  • nutch
    2篇
  • 深度学习笔记
    14篇
  • 算法
    19篇
  • 概率论与数理统计
    16篇
  • scikit
    1篇
  • leetcode-java
    146篇
  • 微积分学教程
    1篇
  • 信息检索
    11篇
  • 数学
    1篇
  • 开发
    2篇
  • 极客-算法
    46篇
  • 最近
  • 文章
  • 资源
  • 问答
  • 帖子
  • 视频
  • 课程
  • 关注/订阅/互动
  • 收藏
搜TA的内容
搜索 取消

从决策树到xgboost(二)

文章目录3 集成学习4 Adaboost4.1 Adaboost算法5 提升决策树BDT6 梯度提升决策树GBDT7 极限梯度提升XGboost3 集成学习所谓集成学习,是指构建多个分类器(弱分类器)对数据集进行预测,然后用某种策略将多个分类器预测的结果集成起来,作为最终预测结果。通俗比喻就是“三个臭皮匠赛过诸葛亮”,或一个公司董事会上的各董事投票决策,它要求每个弱分类器具备一定的“准确性”,分类器之间具备“差异性”。集成学习根据各个弱分类器之间有无依赖关系,分为Boosting和Bagging两大流
原创
发布博客 2022.03.25 ·
1279 阅读 ·
0 点赞 ·
0 评论

从决策树到xgboost(一)

文章目录1 决策树1.1决策树定义1.2信息增益1.3 信息增益的算法1.4 信息增益比2 决策树ID32.1 ID3树的构建2.2 决策树的剪枝2.2.1 损失函数定义与计算2.2.2 剪枝过程1 决策树1.1决策树定义决策树的基本组成:决策节点、分支、叶子。决策树表示给定特征条件下的概率分布。条件概率分布定义在特征空间的一个划分上。将特征空间划分为互不相交的单元。并在每个单元上定义一个类的概率分布,就构成了一个条件概率分布。决策树的一条路径对应于划分中的一个单元。决策树的本质是在特征空间
原创
发布博客 2022.03.20 ·
540 阅读 ·
0 点赞 ·
0 评论

三种平滑方法

为了理解《LETOR: A benchmark collection for research on learning to rank for information retrieval》中提出的数据特征中的三个:LMIR.ABS、LMIR.DIR、LMIR.JM的计算方法,我查阅了很多资料。前面一篇博客是理解。这一篇也是。这篇博客的内容来自《A Study of Smoothing Methods for Language Models Applied to Ad Hoc Information Retr
原创
发布博客 2022.03.09 ·
347 阅读 ·
0 点赞 ·
0 评论

Jelinek-Merer与Absolute discounting 平滑方法

Jelinek-MererJelinek-Merer平滑方法的基本思想是利用低元n-gram模型对高元n-gram模型进行线性插值。PML(wi∣wi−1)=c(wi,wi−1)c(wi−1)P_{ML}(w_i|w_{i-1})=\dfrac{c(w_i,w_{i-1})}{c(w_{i-1})}PML​(wi​∣wi−1​)=c(wi−1​)c(wi​,wi−1​)​c(wi,wi−1)c(w_i,w_{i-1})c(wi​,wi−1​)是指词i和词i-1共同出现的次数。PML(wi)=c(w
原创
发布博客 2022.03.08 ·
583 阅读 ·
0 点赞 ·
0 评论

learning to rank评价指标

文章目录1 准确率Mean average precision1.1 定义1.2 计算2 NDCG(Normalized Discounted Cumulative Gain)2.1定义2.2 例子1 准确率Mean average precision1.1 定义Precision at position k (P@k)是一个衡量排名前k位的方法,使用两个级别(相关的和不相关)的相关性判断。公式:P@k=1k∑j=1krjP@k=\dfrac{1}{k}\sum^{k}_{j=1}r^jP@k=
原创
发布博客 2022.03.07 ·
112 阅读 ·
0 点赞 ·
0 评论

总和最大区间问题

题目和解题思路来源于吴军著作《计算之魂》。本题目是例题1.3。文章目录1 问题描述2 解题思路2.1 三重循环2.2 两重循环2.3 分治法1 问题描述总和最大区间问题:给定一个实数序列,设计一个最有效的算法,找到一个总和最大的区间。例如给定序列:1.5,-12.3,3.2,-5.5,23.2,3.2,-1.4,-12.2,34.2,5.4,-7.8,1.1,-4.9总和最大的区间是从第5个数(23.2)到第10个数(5.4)。2 解题思路2.1 三重循环public int[] findM
原创
发布博客 2022.01.03 ·
1187 阅读 ·
6 点赞 ·
1 评论

第三课 SVM(2)

1 线性可分的数据集1.1 超平面SVM的思想是找到最大间隔的分隔超平面。在两个分类中,找到能够一条线,以最好地区分这两个分类。这样如果有了新的点,这条线也能很好地做出分类。这样的线在高维样本中的时候就叫做超平面。1.2 几何间隔与函数间隔图中绿线h1效果不好,h2效果还行,h3效果最好。怎么区分效果好不好?如果超平面w.x+b=0w.x+b=0w.x+b=0已经存在,那么样本点距离超平面的距离能够表示预测的确信程度。∣w.x+b∣|w.x+b|∣w.x+b∣能够相对地表示点x距离超平面的距
原创
发布博客 2021.10.31 ·
35 阅读 ·
0 点赞 ·
0 评论

什么是word2vector

原文地址:https://www.julyedu.com/questions/interview-detail?quesId=2761&cate=NLP&kp_id=30什么是 Word2vec?在聊 Word2vec 之前,先聊聊 NLP (自然语言处理)。NLP 里面,最细粒度的是 词语,词语组成句子,句子再组成段落、篇章、文档。所以处理 NLP 的问题,首先就要拿词语开刀。举个简单例子,判断一个词的词性,是动词还是名词。用机器学习的思路,我们有一系列样本(x,y),这里 x 是词
转载
发布博客 2021.09.21 ·
115 阅读 ·
0 点赞 ·
0 评论

Python是如何进行内存管理的

从三个方面来说,一对象的引用计数机制,二垃圾回收机制,三内存池机制一、对象的引用计数机制Python内部使用引用计数,来保持追踪内存中的对象,所有对象都有引用计数。引用计数增加的情况:1,一个对象分配一个新名称2,将其放入一个容器中(如列表、元组或字典)引用计数减少的情况:1,使用del语句对对象别名显示的销毁2,引用超出作用域或被重新赋值sys.getrefcount( )函数可以获得对象的当前引用计数多数情况下,引用计数比你猜测得要大得多。对于不可变数据(如数字和字符串),解释器会在
转载
发布博客 2021.09.18 ·
273 阅读 ·
0 点赞 ·
0 评论

闲聊型对话系统之NLG总结报告

文章目录1 项目介绍1.1 背景知识介绍1.2 NLG的实现方式1.2.1 基于模板1.2.2 检索式1.2.3 生成式1 项目介绍1.1 背景知识介绍对话系统按领域分类,分为任务型和闲聊型。闲聊型对话系统有Siri、微软小冰、小度等。它们实现可以以任意话题跟人聊天。任务型对话系统是以完成特定任务为目标的对话系统。例如可以以订机票为一个特定的任务,实现的对话系统。我们这里重点关注任务型对话系统。任务型对话系统分为语音识别、自然语言理解NLU、对话管理DM、自然语言生成NLG、语音合成几个部分。与N
原创
发布博客 2021.09.05 ·
445 阅读 ·
0 点赞 ·
0 评论

对话系统之NLU总结报告

文章目录1 项目介绍1.1 背景知识介绍1.2 数据集介绍1.3 评价指标2 技术方案梳理2.1 模型目标2.2 模型介绍2.3 模型实现2.3.1 数据处理2.3.2 构建dataset2.3.3 模型定义2.3.4 训练相关参数2.3.5 训练结果3 项目总结1 项目介绍1.1 背景知识介绍对话系统按领域分类,分为任务型和闲聊型。闲聊型对话系统有Siri、微软小冰、小度等。它们实现可以以任意话题跟人聊天。任务型对话系统是以完成特定任务为目标的对话系统。例如可以以订机票为一个特定的任务,实现的对话系
原创
发布博客 2021.09.04 ·
913 阅读 ·
1 点赞 ·
0 评论

NLG模块实现(未完成)

NLG(Natural Language Generation),计算机将结构化数据转换为文本并以人类语言编写信息。使用GPT框架完成NLG任务。GPT模型是预训练模型, 采用两阶段过程,第一个阶段是利用语言模型进行预训练(无监督形式),第二阶段通过 Fine-tuning 的模式解决下游任务(监督模式下)。GPT模型是Seq2Seq模型中的一种。分为encoder和decoder两部分。encoder:有12个transform block。输入句子,输出词向量。decoder:有12个trans
原创
发布博客 2021.08.23 ·
96 阅读 ·
0 点赞 ·
0 评论

理解transformer

文章目录1 注意力机制2 自注意力机制3 自注意力机制加强版4 Transformer的结构4.1 input4.2 encoder4.2.1 Multi-head attention4.2.2 残差链接4.2.3 层正则化layer norm4.2.4 前馈神经网络 feed forward network4.3 decoder4.3.1 输入4.3.1 Masked Multi-head attention4.3.2 Multi-head attention4.3.3 前馈神经网络 feed forwa
原创
发布博客 2021.08.03 ·
97 阅读 ·
2 点赞 ·
1 评论

二分搜索模板

翻了一下自己的博客。记录了花花酱的二分搜索模板、王争的二分搜索模板。花花酱的文章中提到:不要试图去找一个正确答案。试图去找一个分割点m,使得x>=m,g(x)>0为true。这个始终get不到。王争的二分模板思路是比较简单的,就是时间长了,忘记了。考虑边界值的时候,是在代码逻辑中考虑,容易理解。接下来记录一下labuladong的二分搜索模板。1 查找目标值简单二分,查找目标值。int binarySearch(int[] nums, int target) { int le
原创
发布博客 2021.07.30 ·
86 阅读 ·
0 点赞 ·
0 评论

基于知识图谱的问答系统实践

文章目录1 项目目标2 模型介绍3 代码4 总结与优化1 项目目标基于知识图谱的问答系统,简称为KBQA,是知识图谱的一种应用方式。在本项目中的知识图谱数据是关于公司的。数据中包含公司的主键、名称、分红方式、所处行业、债券类型等,也包含公司主要职位的人物名称,还有公司与公司之间的关系。经过分析之后,我们建立的图谱中的实体有:公司、人物、行业、分红方式、违规类型、债券类型。公司与公司之间的关系有:供应商、客户、公担保。人物与公司之间的关系有:监事、董事。公司与行业的关系:属于。公司与分红方式的关系:属于
原创
发布博客 2021.07.09 ·
2002 阅读 ·
0 点赞 ·
0 评论

图谱问答-句子向量&模型部署&项目总结(未完)

内容来自七月算法nlp课程。文章目录1 句子向量1.1 bert句子向量表示相似度效果不好1.2 sentence-bert1 句子向量句子向量是用于实体消岐的。可以使用Elmo,也可以使用bert。这里介绍用bert生成句子向量。1.1 bert句子向量表示相似度效果不好Bert中最常用的句向量方式是采用cls标记位或者平均所有位置的输出值,注意,在采用平均的方式的时候,我们需要先做一个mask的操作,计算均值时,除以mask的和。但bert的句子向量效果不理想。为什么呢?原因1:词频率影响
原创
发布博客 2021.06.02 ·
111 阅读 ·
0 点赞 ·
0 评论

图谱问答-理解query

内容来自七月算法nlp课程。图谱问题是用户输入一句话,系统返回这句话的答案。这里分多种情况。例如根据实体和关系查询尾实体,或者根据实体查询关系,甚至还会出现多跳的情况,不同的情况采用的方法略有不同。1 根据实体和关系查询尾实体需要两个步骤完成:第一步找到实体与关系;第二步实体链接和实体消岐。1.1 找到实体与关系NER的方式很多。可以采用传统机器学习的分类方法,也可以使用深度学习神经网络,一般架构为encoder+cfr层。这里重点介绍AC自动机1.1.1 AC自动机1、构建前缀树2、给前
原创
发布博客 2021.05.27 ·
217 阅读 ·
0 点赞 ·
2 评论

知识图谱中三元组抽取

内容来自七月算法nlp课程。这是要解决知识图谱中的其中一个问题:从非结构文本中抽取三元组。要解决这个问题,总体思路有通过模板抽取、通过模型抽取。三元组工业界一般都存储在neo4j中,学术界会采用RDF形式存储。1结构化数据抽取定义好schema。按照schema的格式,把关系型数据转为图数据。2 非结构化数据抽取2.1 通过模板抽取通过模板抽取,这个一般是通过正则实现,课程上不做过多介绍。2.2 通过模型抽取模型的整体结构如图所示,输入是一段文本信息,经过encoder层进行编码,提取
原创
发布博客 2021.05.24 ·
5338 阅读 ·
3 点赞 ·
5 评论

pytorch中的squeeze和unsqueeze

squeeze:压缩,要减少维度。unsqueeze:解压缩,要增加维度。torch.squeeze(input),那么会把input中所有维度长度为1的维度去掉。torch.squeeze(input,dim=1),那么在给定dim的情况下,就只去掉dim这个维度,其他维度还保留。import torchx = torch.rand(5,3)x = x.squeeze(1)tensor([[0.0621, 0.2074, 0.5420],[0.5897, 0.3664, 0.4387],
原创
发布博客 2021.05.19 ·
159 阅读 ·
0 点赞 ·
0 评论

pytorch中的sum

pytorch的sum怎么那么烦人呢?我怎么知道应该给哪个维度做加和呢。如果 x=tensor([[0.5946, 0.3530, 0.2231],[0.7467, 0.2139, 0.4841],[0.6990, 0.6151, 0.1369],[0.1062, 0.5951, 0.7555],[0.7811, 0.2932, 0.2963]])那么我想 x.sum(dim=1),第0个维度是行,第1个维度应该是列,那应该是按列求和吧,最后结果应该是一行3列。结果是tensor([1.17
原创
发布博客 2021.05.19 ·
1480 阅读 ·
1 点赞 ·
0 评论
加载更多