一个小菜鸟的博客

介绍：在CogDL库中有两个版本的OAG-BERT，OAG-BERT是一个异构的实体增强学术语言模型，它不仅能够理解学术文本，还能够理解OAG中的异构实体知识。论文原文：《OAG-BERT: Pre-train Heterogeneous Entity-augmented Academic Language Model》版本1：普通版本这是一个基本版本的 OAG-BERT。与 SciBERT (opens new window) 类似，我们在 Open Academic Grap

词形还原（Lemmatization）词性还原，又称为Lemmatizetion主要是把单词的词缀部分除去，从而得到单词的词干部分词形还原（Lemmatization）与词干提取（stemming）的区别词形还原是把单词还原成本身的形式：比如将‘cars’还原成car，把‘ate’还原成‘eat’，把‘handling’还原成‘handle’词干提取则是提取单词的词干，比如将‘cars’提取出‘car’，将‘handling’提取出来‘handl’（单纯的去掉ing），对于‘ate’使用

def remove_duplicate(x): # 0 is flag for plain text word occur = set() return_list = [] for i in x: if i == 0 or i not in occur: return_list.append(i) occur.add(i) return return_listflag = [0, 1, 1, 0,.

记录一下代码："""__author__:shuangrui Guo__description__:"""import sysimport nltkimport jsonfrom tqdm import tqdm#多进程的包import multiprocessingimport argparseimport osimport reSUFFIX_NLTK = '__nltk.json'#清洗文本def clean_text(text): text = re.sub

原理中文字符编码范围：\u4e00 - \u9fff方法#判断字符串是否包含中文def str_contain_chinese(str): for ch in str: if u'\u4e00'<=ch<=u'\u9fff': return True return False

在获取单词的TF-IDF值的时候，可以选用已有的库来实现，而不用再去手动去写。这里使用sklearn中提供的已有的方法来获取TF-IDF：TfidfVectorizer类class sklearn.feature_extraction.text.TfidfVectorizer(*, input='content', encoding='utf-8', decode_error='strict', strip_accents=None, lowercase=True, preproc

TF-IDF（term frequency—inverse document frequency）TF-IDF介绍TF-IDF（词频-逆文档频率）是一种用于信息检索（Information retrieval）与数据挖掘（data mining）常用的加权技术TF-IDF是一种统计方法，用来评估单词或短语对于一个语料库的重要程度，它两部分组成：TF是词频（Term Frequency），IDF是逆文本频率指数（Inverse Document Frequency）主要思想：单词或短语的重要性