NLP
文章平均质量分 55
什么都干的派森
满招损 谦受益
展开
-
机器学习相关知识点整理【更新中】
如果要在CSDN博客中输入数学公式又不知道那些奇奇怪怪的符号应该怎么写,那么可以参考KaTeX库的文档ps:KaTeX库是一个快速的,为网站呈现 Tex 科学公式 的简单易用的 javascript 库下面整理了一些机器学习相关的常用公式写法,以供参考。原创 2022-09-17 15:07:53 · 2145 阅读 · 84 评论 -
深度学习知识点简单概述【更新中】
人工神经网络(英语:Artificial Neural Network,ANN),简称神经网络(Neural Network,NN)或类神经网络,是一种模仿生物神经网络(动物的中枢神经系统,特别是大脑)的结构和功能的数学模型,用于对函数进行估计或近似。ps:和其他机器学习方法一样,神经网络已经被用于解决各种各样的问题,例如机器视觉、自然语言处理 和 多模态。这些问题都是很难被传统基于规则的编程所解决的,也是神经网络大展宏图的地方在生物神经网络。原创 2023-03-11 21:17:43 · 721 阅读 · 15 评论 -
基于huggingface的文本N分类问题finetune
定义标签与对应结果互相转换的字典【分类数量有变化时此处相应的跟着修改】 id2label = {"NEGATIVE" : 0 , "POSITIVE" : 1 } # 指定微调模型结构,num_labels指定几分类 from transformers import AutoModelForSequenceClassification , TrainingArguments , Trainer。原创 2022-12-22 15:56:09 · 491 阅读 · 6 评论 -
Pytorch机器学习的一般训练方法整理
该训练方法是根据李沐老师的 d2l 包整理出来,将所有涉及到 d2l 包的方法都提取出来进行逐行注释说明新增了训练权重的自动保存和断点续训功能重写了可视化部分的代码。原创 2022-08-17 09:55:15 · 653 阅读 · 9 评论 -
matplotlib动态绘制训练进度【训练精度、训练损失、测试精度】
代码】matplotlib动态绘制训练进度【训练精度、训练损失、测试精度】原创 2022-08-16 10:23:37 · 1837 阅读 · 10 评论 -
Pytorch张量在GPU上的使用方法
代码】Pytorch张量在GPU上的使用方法。原创 2022-07-23 12:36:40 · 1523 阅读 · 7 评论 -
Pytorch的rand、randn和normal的用法及区别
随机数【范围在0到1之间】随机数【均值为0标准差为1】随机数【均值和标准差由创建者指定】原创 2022-07-19 08:59:52 · 2327 阅读 · 9 评论 -
深度学习dropout相关知识补充
对mlp的隐藏层增加噪音但不改变期望值,从而提高模型的泛化度,防止过拟合。原创 2022-07-18 19:29:44 · 774 阅读 · 4 评论 -
pytorch 多层感知机实现
多层感知机通过隐藏层+非线性激活函数的方式来得到非线性模型,解决了感知机不能处理XOR分类的问题,多层感知机理论上可以拟合任何一种函数常用的非线性激活函数是Sigmoid、Tanh、Relu输出层接Softmax用来处理多分类问题超参数为隐藏层的个数和各个隐藏层的大小。......原创 2022-07-17 19:50:51 · 2807 阅读 · 2 评论 -
pytorch线性回归【从零实现+简洁实现】
文章目录一、前言二、实现1.从零实现2.使用pytorch提供的方法实现一、前言实现步骤构造数据集生成迭代器定义回归模型定义损失函数定义优化算法训练原创 2022-07-13 19:53:02 · 328 阅读 · 9 评论 -
Pytorch张量操作详解
一、前置条件二、操作1.指定长度的顺序向量2.查看元素总数3.改变张量形状4.查看张量形状5.全0张量6.全1张量7.声明时指定张量的每一个值8.张量元素运算9.张量拼接10.张量元素比较11.张量元素求和12.张量元素求均值13.广播机制14.取出张量中的元素15.张量中的元素赋值16.深拷贝与浅拷贝17.tensor 转 numpy18.numpy 转 tensor19.tensor大小为1的张量转标量20.矩阵转置21.判定矩阵是否是对称矩阵22.向量点积原创 2022-07-12 17:21:34 · 1370 阅读 · 6 评论 -
中英文常用标点符号统一清洗为英文格式
def cleaning_msg(msg): ''' 清洗标点符号为英文格式 :return: ''' return msg.replace('(', '(').replace(')', ')').replace('!', '!'). \ replace('?', '?').replace(',', ',').replace(';', ';').replace(':', ':'). \ replace('”', '"').replace原创 2021-09-03 19:34:38 · 5906 阅读 · 6 评论 -
中文命名实体识别(ner)迁移学习
文章目录1.首先将中文ner项目克隆到本地2.去ALBERT下载中文模型3.安装gpu运行环境4.配置虚拟环境5.创建命令执行脚本6.补充说明1.首先将中文ner项目克隆到本地项目地址:https://github.com/ProHiryu/albert-chinese-ner2.去ALBERT下载中文模型地址:https://github.com/brightmart/albert_zh解压后放入项目下新建的 albert_base_zh 文件夹中3.安装gpu运行环境建议使用tens原创 2021-08-30 13:07:06 · 6918 阅读 · 3 评论 -
中文命名实体识别迁移学习扩展版
文章目录中文命名实体识别迁移学习扩展版1.首先把项目搭建好2.然后进行扩展中文命名实体识别迁移学习扩展版1.首先把项目搭建好参考这篇博文:https://blog.csdn.net/weixin_43721000/article/details/1199936642.然后进行扩展参考这个项目:https://gitee.com/smdg/named-entity-recognition-ner/blob/master/README.md(1) 项目简单说明把ner_run.py、serv原创 2021-09-01 08:56:35 · 5953 阅读 · 4 评论 -
基于协同过滤的推荐算法(用户协同、物品协同、模型协同)
文章目录介绍1.基于用户的协同过滤推荐2.基于项目(物品)的协同过滤推荐3.基于模型的协同过滤推荐实现步骤1.用户协同过滤和物品协同过滤的实现方法1.收集用户偏好2.计算用户或物品的相似度3.推荐2.模型协同过滤的实现方法待补充介绍1.基于用户的协同过滤推荐基于用户的协同过滤推荐的基本原理是,根据所有用户对物品或者信息的偏好,发现与当前用户口味和偏好相似的“邻居”用户群。基于邻居的历史偏好信息,为当前用户进行推荐。即:归类相似用户ABC,推荐用户BC的物品给用户A优点:可以间接发现相似用户的潜在兴原创 2021-09-04 16:24:53 · 15378 阅读 · 9 评论 -
SnowNlp中文分词和中文关键词提取只能提取单个字不能提取分词的解决方法
文章目录问题描述原因解决方法问题描述# -*- coding: utf-8 -*-# 导入SnowNLP库from snownlp import *import jiebaimport reif __name__ == '__main__': # --------------------------------------------------------------------- text = u'''《三体3:死神永生》 与三体文明的战争使人类看到了宇宙黑暗的真相,原创 2022-05-07 10:43:42 · 514 阅读 · 5 评论 -
NLP数据预处理的一般方法
数据预处理一般包括如下几个步骤原创 2022-07-12 16:49:24 · 1607 阅读 · 6 评论 -
milvus安装
可以直接参考官网https://milvus.io/cn/docs/v2.0.x/install_standalone-docker.md2.下载 docker-compose 文件3.安装测试显示如下三个容器说明安装成功数据文件挂载在当前路径的 volumes 目录下原创 2022-06-24 10:36:01 · 2099 阅读 · 10 评论 -
Transformer模型涉及到的框架及任务类型
可以直接使用完整的架构,也可以只使用编码器或解码器,这取决于你的目标是解决什么样的任务,下表对此进行了总结 ↓原创 2022-06-21 11:51:57 · 399 阅读 · 9 评论 -
朴素贝叶斯分类器和一般的贝叶斯分类器有什么区别?
朴素贝叶斯转载 2022-06-20 10:59:17 · 350 阅读 · 7 评论