使用bert或者xlnet做预测类的事情

最新推荐文章于 2024-04-19 11:31:50 发布
最新推荐文章于 2024-04-19 11:31:50 发布
阅读量539 收藏
点赞数
分类专栏： 人工智能 日常 未来科技产品预览
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_32759777/article/details/109273242
版权

比如彩票比如股票（还可以使用２分类）

为什么这么说呢，
因为人类在分析这些的时候　　数据的时候（某些数据丢失）　会看后面和前面的数据是多少，就能推算出大致丢失的数据，
实际这类事件的本质就是　一个容器里面的水位　　高低的数据
比如说　　放出入水　一个小时　后水位　也就是说　水位高低取决于放入和放出　　是否放入就要取决于之前一段时间是放入还是放出
所以说

这类问题其实和人类的语言是一样的，人类语言是描述一件事情
这件事情就是一个　内容的容器，说出的内容多　那么埋藏的伏笔就少
所以使用语言类的模型处理这些数据是合适的

这也是中国古代为什么那么文明，却使用阴阳五行　　等推算人类的命运
因为人类的命运也算是一个容器
比如你使用了某些运势，那么容器就会少一点，你帮助了别人运势可能就会多一点
所谓的得道者多助　．．．．．
所以预测这个东西不是一个数学逻辑　是一个语言逻辑　因为本来的结果是未知的不确定的，这取决你如何选择
不是数学上的１＋１＝２
属于

东方佑
关注
专栏目录
订阅专栏
XLNet：超越BERT的新星
程序员光剑
04-29 268
-XLNet：超越BERT的新星 1.背景介绍 1.1 自然语言处理的重要性 自然语言处理(Natural Language Processing, NLP)是人工智能领域的一个重要分支,旨在使计算机能够理解和生成人类语言。随着大数据时
Deep-Time-Series-Prediction:Seq2Seq，Bert，Transformer，W​​aveNet用于时间序列预测
05-24
深度系列 用于时间序列预测的深度学习模型。 楷模 Seq2Seq /注意 WaveNet 变压器/变压器 快速开始 from deepseries . models import Wave2Wave , RNN2RNN from deepseries . train import Learner from deepseries . data import Value , create_seq2seq_data_loader , forward_split from deepseries . nn import RMSE , MSE import deepseries . functional as F import numpy as np import torch batch_size = 16 enc_len = 36 dec_len = 12 series_len = 1000
Bert做回归
DAICONG’s Blog
07-31 2880
文章目录1. 引言2. 应用场景2.1 github代码2.2 用法3. 实现细节 1. 引言 我们在做句子相似度计算的时候需要的输出是一个0到1之间的实数值，用来表示句子的相似程度。BERT默认只提供了run_classifier.py，它可以用于Fine-Tuning文本分类、相似度分类、Entailment等任务。但是无法实现实数值的输出，因此我参照run_classifier.py实现了一个run_reg.py。 2. 应用场景 2.1 github代码 需要的读者可以代码fancyerii/ber
自然语言处理中的XLNet模型
程序员光剑
01-18 899
1.背景介绍 自然语言处理(NLP)是计算机科学和人工智能的一个分支，旨在让计算机理解和生成人类语言。自然语言处理的一个重要任务是文本分类，即根据文本内容将其分为不同的类别。传统的文本分类方法通常使用手工设计的特征，但这种方法的效果受限于特征的选择和提取。 近年来，深度学习技术的发展使得自然语言处理取得了巨大进展。特别是，自注意力机制的出现使得模型能够捕捉到长距离的上下文信息，从而提高了文本分...
时间序列预测方法总结
weixin_45063703的博客
08-11 6764
前言 一、 时间序列基本规则法 --周期因子法 二、线性回归–利用时间序列特征做线性回归 三、 传统时序建模方法-- ARMA、ARIMA 四、 时间序列分解-- 加法模型或乘法模型 五、 特征工程入手– 六 、 转化为监督学习数据集 ...
pytorch-RNN进行回归曲线预测方式
09-18
今天小编就为大家分享一篇pytorch-RNN进行回归曲线预测方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
spacy-transformers：:flying_saucer:用于预训练的BERT、XLNet和GPT-2的spaCy管道-python
06-18
功能直接在您的 spaCy 管道中使用 BERT、RoBERTa、XLNet 和 GPT-2。 使用 spaCy 的 API 针对您的任务微调预训练的 Transformer 模型。 使用转换器功能进行文本分类的自定义组件。 自动对齐词条和输出到语言标记...
Bert基础(十六)--Bert实战：中文文本分类任务-- transformers库实现
最新发布
Andy_shenzl的博客
04-19 2890
Hugging Face 的 Transformers 库是一个开源库，它提供了大量预训练的模型，用于自然语言处理（NLP）任务，如文本分类、命名实体识别、机器翻译、问答系统等。这个库的特点是易于使用，支持多种模型架构，包括但不限于 BERT、GPT、RoBERTa、XLNet 等，并且可以轻松地在不同的任务上微调这些模型。以下是使用 Hugging Face Transformers 库进行情感分类的基本步骤：fill:#333;color:#333;color:#333;fill:none;
XLNet原理解析：从BERT到XLNet的进化之路
# 1. 自然语言处理的历史回顾 自然语言处理（Natural Language Processing，NLP）是人工智能领域中一项重要的研究方向，其发展历史可以追溯到上个世纪。在本章中，我们将回顾自然语言处理的历史，从传统技术到近年...
序贯模型作回归预测
Jiashilin
07-24 900
#!/usr/bin/env python # -*- coding:utf-8 -*- # Author: Jia ShiLin ''' 数据集是UCI库中的 读入用pandas，CSV文件，原因1.包含空字段，2.数据集为欧洲国家通常习惯的逗号作为小数点 ''' from keras.layers import Input from keras.layers.core import D...
LSTM or Bert， GCN算法股票预测天气预测房价预测交通流量预测
10-25 8244
粉色的圈代表 pointwise 的操作，诸如向量的和，而黄色的矩阵就是学习到的神经网络层。合在一起的线表示向量的连接，分开的线表示内容被复制，然后分发到不同的位置。long short term memory，即我们所称呼的LSTM，是为了解决长期以来问题而专门设计出来的，所有的RNN都具有一种重复神经网络模块的链式形式。给定一个特定的时间，假设要预测未来6小时的温度。下面的程序中，我们以1949-1952的数据预测1953的数据，以1950-1953的数据预测1954的数据，以此类推，训练模型。
【python量化】将Transformer模型用于股票价格预测
m0_67403076的博客
07-31 1032
下面的这篇文章主要教大家如何搭建一个基于Transformer的简单预测模型，并将其用于股票价格预测当中。原代码在文末进行获取。首先，需要导入用到库，以及模型的一些超参数的设置。其中，input_window和output_window分别用于设置输入数据的长度以及输出数据的长度。当然，这些参数大家也可以根据实际应用场景进行修改。Python学习交流Q群httpshttpshttpshttpshttps。...
2022年深度学习在时间序列预测和分类中的研究进展综述
deephub
01-12 5787
在过去的两年里，我们已经看到了Transformer在时间序列预测中的兴起和可能的衰落和时间序列嵌入方法的兴起，以及异常检测和分类方面的额外突破。但是对于深度学习的时间序列来说：可解释性、可视化和基准测试方法还是有所欠缺，因为模型在哪里执行，在哪里出现性能故障是非常重要的。此外，更多形式的正则化、预处理和迁移学习来提高性能可能会在未来中出现。
BERT（预训练Transformer模型）
teletubbies的博客
10-15 4487
Bert在18年提出，19年发表，Bert的目的是为了预训练Transformer模型encoder网络，从而大幅提高准确率Bert 的基本想法有两个，第一个想法：随机遮挡一个或者多个单词，让encoder网络根据上下文来预测被遮挡的单词。第二个想法：把两个句子放在一起让encoder网络判断两句话是不是原文里相邻的两句话Bert用这两个任务来预训练Transformer模型中的encoder网络。
时间序列预测 — 时间序列预测研究综述
几度春风里的博客
11-10 7514
指对某种事物发展变化过程进行观测并按照一定频率采集得出的一组随机变量。就是从众多数据中挖掘出其蕴含的核心规律并且依据已知的因素对未来的数据做出准确的估计。由于大量物联网数据采集设备的接入、多维数据的爆炸增长和对预测精度的要求愈发苛刻，经典的参数模型以及传统机器学习算法难以满足预测任务的高效率和高精度需求。近年来，以卷积神经网络、循环神经网络和 Transformer模型为代表的深度学习算法在时间序列预测任务中取得了丰硕的成果。
【动手学深度学习-Pytorch版】BERT预测系列——用于预测的BERT数据集
qq_43858783的博客
10-12 837
【代码】【动手学深度学习-Pytorch版】BERT预测系列——用于预测的BERT数据集。
如何用BERT模型预测电影的未来几天的情感倾向性
qq_42316533的博客
05-16 1195
如果要根据过去的电影评论评价预测接下来的几天该电影的情感倾向，那么就可以对过去几天的所有评论做情感倾向性分析，并比较其积极情感评分与消极情感评分，如果大多数评论都为积极情感评分，那么模型就能预测接下来几天，该电影的评论会是积极的，反之亦然。 而前面提到的测试过程需要对所有电影分析所有评论的情感倾向性。使用BERT工具来训练模型，BERT适合做这种需要考虑上下文的文本表示学习，因为BERT使用掩码语言模型进行训练，其中AE是自动编码模型，它与AR模型最大的区别就是AE可以考虑上下文信息，比如，对于同样的一句话
聊天机器人之 BERT4Rec, 使用Bert进行序列推荐
Chatopera
10-20 2226
目录0. 本文概览1. BERT4Rec简介2. 背景3. BERT4Rec模型介绍3.1 问题定义3.2 模型结构3.4 Embedding层3.5 Output层3.6 模型训练和预测4. 实验5. 个人感悟6. Reference 0. 本文概览 今天给大家介绍一篇BERT用于推荐系统的文章，题目是《BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer》，文章作者都
XLNet深度解析：与Bert、Transformer及TransformXL的比较
自回归语言模型（AR）如BERT，其特点是基于上文预测下一个词，只考虑单一方向的信息，适用于生成类任务如文本摘要和机器翻译。优点在于其结构简单，但受限于信息流向，不能同时利用上下文。自编码语言模型（AE）如...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

东方佑

你的鼓励是我最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值