![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
自然语言处理资源
文章平均质量分 95
本专栏主要包括一些自然语言处理的资源、数据等
chengjinpei
NLP算法工程师
展开
-
大模型系列课程学习-基于2080TI-22G魔改卡搭建双卡大模型训练平台(双系统)
X99主板、大模型训练平台、Ubuntu双系统原创 2024-06-30 20:51:35 · 1242 阅读 · 2 评论 -
大模型系列课程学习-AI 大模型时代的奠基石-transformer模型
文本分类:输入是一段文本,输出是该文本的类别命名实体识别:输入是一段文本,输出是该文本中的某些关键要素或者信息机器翻译:输入是一段语言文本,输出是 另一种语言文本文本摘要:输入是一段较长文本,输出是对该文本的一段精简表达文本多轮对话交互。原创 2023-12-29 21:48:23 · 790 阅读 · 0 评论 -
手把手教你实现命名实体识别
自然语言处理实战--命名实体识别1.互联网金融新实体发现(数据获取)2.环境搭建3.赛题分析4.代码解析4.1数据预处理4.2模型构建4.3模型训练-1.互联网金融新实体发现(数据获取)比赛链接: 互联网金融新实体发现.本博客主要参考他的文章和代码: 阿力阿哩哩.感兴趣的话可以关注他的知乎、公众号以及B站账号。2.环境搭建(1)硬件环境:操作系统:windows 10或者 linux(Ubuntu 16~18) (本人使用的windows 10)硬件配置:主要是显卡要求:1660Ti 6G原创 2021-05-12 12:23:26 · 623 阅读 · 2 评论 -
NER--《人民日报》语料库预处理
NER--《人民日报》语料库预处理转成标准BIEO格式转成标准BIEO格式# -*- coding: utf-8 -*-"""Created on Fri Jul 31 16:16:58 2020将《人民日报》中的标签转成标准的BIEO格式@author: jpcheng2"""import codecsdef text_map(texts: [str]) -> [str]: mapping = {'O': 'O', 'B_nr': 'B-PER原创 2020-08-12 16:21:30 · 3537 阅读 · 0 评论 -
命名实体识别数据预处理--格式转换
命名实体识别数据预处理常见的预料库数据预处理代码常见的预料库链接: 微软数据.链接: 人名日报.链接: 微博语聊数据.数据预处理代码下面展示一些 将我不是<per>江莱</per>转换成‘BIOE标准格式’。import codecs import sys def character_tagging(input_file, output_file): input_data = codecs.open(input_file, 'r', 'utf-原创 2020-08-07 11:25:16 · 2345 阅读 · 2 评论