NLP
文章平均质量分 89
3
孔夫子的高压锅
这个作者很懒,什么都没留下…
展开
-
地名识别
构建训练集和测试集import osdef corpus(corpus_path): data = open(corpus_path,encoding='utf-8') #人民日报数据 train = open("train.data",'w+',encoding='utf-8') #训练集 test = open("test.data",'w+',encoding=...原创 2020-04-29 12:49:46 · 873 阅读 · 0 评论 -
词性标注和命名实体识别
词性标注import jieba.posseg as psg #加载 jieba 模块中的分词函数sent = "去森林公园爬山。"for w,t in psg.cut(sent): print(w,"/",t)命名实体识别构建训练集和测试集:import osdef corpus(corpus_path): data = open(corpus_path,encodin...原创 2020-04-29 12:57:30 · 521 阅读 · 0 评论 -
正向最大匹配、逆向最大匹配与双向匹配算法实现
分词词典:import os#正向向最大匹配法def MM(text): #读取词典 dictionary = [] dic_path = r'F:\大三下\自然语言处理\chapter-4\dic.utf8'# 在windows上使用open打开utf-8编码的txt文件时开头会有一个多余的字符# 它叫BOM,是用来声明编码等信息的,但python会把它当作文...原创 2020-04-23 01:06:12 · 3022 阅读 · 2 评论 -
继承 Module 类来构造模型
import torchfrom torch import nnprint(torch.__version__)class MLP(nn.Module):# 声明模型参数层 def __init__(self, **kwargs):# 初始化# **kwargs 表示函数接收可变长度的关键字参数字典# super() 用来调用父类 s...原创 2020-04-26 22:41:28 · 350 阅读 · 0 评论