![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
项目实训
文章平均质量分 76
项目实训
qq_47537678
这个作者很懒,什么都没留下…
展开
-
数据处理部分
数据处理部分原创 2022-06-08 14:17:22 · 222 阅读 · 1 评论 -
关键词抽取
SIFRank关键词抽取原创 2022-06-08 14:14:05 · 377 阅读 · 0 评论 -
TextRank模型改进
模型改进-TextRank原创 2022-06-08 14:12:09 · 573 阅读 · 1 评论 -
系统实现思路
面向问题的检索原创 2022-06-08 14:09:36 · 1696 阅读 · 0 评论 -
SIFRank_zh模型实现
主要是更换关键词抽取模型从textrank更改为用预训练模型的抽取选择的模型是:SIFRank_zh原模型是在英文上进行的,现模型修改为在中文上进行。核心算法:预训练模型ELMO + 句向量模型SIF一、词向量ELMO的优势:1、经过大规模预训练,较TFIDF、TextRank等基于统计和图的具有更多的语义信息2、ELMO是动态的,可以改善一词多义问题3、ELMO通过Char-CNN编码,对生僻词非常友好4、不同层的ELMO可以捕捉不同层次的信息二、句向量SIF的优势:1、根据词频对词原创 2022-04-19 12:52:18 · 1008 阅读 · 0 评论 -
Lucene查询的底层实现IndexSearch(下)
系列文章目录提示:这里可以添加系列文章的所有文章的目录,目录需要自己手动添加例如:第一章 Python 机器学习入门之pandas的使用提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录系列文章目录前言一、pandas是什么?二、使用步骤1.引入库2.读入数据总结前言提示:这里可以添加本文要记录的大概内容:例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。提示:以下是本篇文章正文内容,下面案例可原创 2022-03-27 03:01:04 · 674 阅读 · 0 评论 -
Lucene查询的底层实现IndexSearch(上)
系列文章目录(一)问答系统的文段检索(二)lucene全文检索底层原理理解(三)Lucene查询的底层实现IndexSearch文章目录系列文章目录前言IndexReaderLeafReaderCompositeReaderIndexReaderContextIndexReader 指向索引文件夹QueryParser 解析查询语句生成查询对象搜索查询对象重写Query对象树多态创建weight树获取termstates构造TermWeight前言搜索的过程理解:从索引中读出词典及倒排表信息原创 2022-03-27 02:57:30 · 821 阅读 · 0 评论 -
Lucene 源码分析
Lucene源码项目结构Lucene项目每个目录包含的类以及用途:文章目录Lucene源码项目结构Analysiscodecs二、使用步骤1.引入库2.读入数据总结Analysis主要用于对query,document的解析,拆解为tokencodecs示例:pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。二、使用步骤1.引入库代码如下(示例):import numpy as npimport pandas as pdimport matpl原创 2022-03-22 15:25:25 · 1166 阅读 · 0 评论 -
lucene全文检索底层原理理解
系列文章目录(一)问答系统的文段检索(二)lucene全文检索底层原理理解文章目录系列文章目录前言反向索引创建索引将被索引的原文档(Document)分词(Tokenizer) -----> 词元(Token)语言处理(Linguistic Processor) ----> 词(Term)词(Term) ----> 索引组件(Indexer)词(Term) --> 创建一个字典字典排序合并相同的词(Term) ---> 文档倒排(Posting List) 链表原创 2022-03-21 13:33:55 · 596 阅读 · 0 评论 -
问答系统的文段检索
开放领域问答的一个重要方法:检索器 + 阅读器模型。其中,检索器负责从海量文档中检索相关段落。本文主要介绍关于检索器的内容Open-domain 的 Question Answering (QA) 一般需要先从大量的文档库中检索出一些和问题相关的文档(retrive),相关的方法有 TF-IDF 和 BM25。文章目录前言TF-IDF 和 BM25实现的目标效果当前思路具体实现当前问题预期效果前言例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了原创 2022-03-20 00:32:30 · 1156 阅读 · 0 评论