- 博客(13)
- 收藏
- 关注
RSS订阅原创 基于pytorch自己训练一个小型的chatgpt闲聊程序
OpenAI公式在2018年提出了一种生成式预训练(Generative Pre-Trainging,GPT)模型用来提升自然语言理解任务的效果，正式将自然语言处理带入预训练时代，预训练时代意味着利用更大规模的文本数据一级更深层次的神经网络模型学习更丰富的文本语义表示。同时，GPT的出现提出了“”生成式预训练+判别式任务精调的自然语言处理新范式，使得自然语言处理模型的搭建变得不在复杂。生成式预训练：在大规模文本数据上训练一个高容量的语言模型，从而学习更加丰富的上下文信息；
2023-04-07 15:10:35
9520
22
原创 GPT模型介绍并且使用pytorch实现一个小型GPT中文闲聊系统
文章目录GPT模型介绍无监督训练方式模型结构微调下游任务输入形式GPT-2GPT-3pytorch实现一个小型GPT中文闲聊系统GPT模型介绍GPT与BERT一样也是一种预训练模型，与BERT不同的是，GPT使用的是Transformer的Decoder结构。在大量没有标号的数据上训练出一个预训练模型，然后少量有标号的数据上微调训练一个中下游任务的模型。在微调的时候构造与任务相关的输入，就可以很少地改变模型的架构。无监督训练方式使用一个标准的语言模型训练方式来进行无监督训练，就是给定一个句子，使用前
2022-04-11 21:26:01
17497
76
原创 hmm中文分词原理简单介绍与python实现
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录马尔可夫模型隐马尔可夫模型1.引入库2.读入数据总结马尔可夫模型一个长度为N的序列N1，N2，N3，...NNN_{1}， N_{2}， N_{3}，...N_{N}N1，N2，N3，...NN，每个位置有k种可能的状态Sj(1<=j<=k)S_{j}(1<=j<=k)Sj(1<=j<=k)，第t个位置的状态qtq_{t}qt 取决于前t个位置的状态,概率表示为p(qt=Sj∣.
2022-04-05 12:32:31
4289
16
原创 神经网络原理及反向传播公式推导 附加python代码实现(不使用深度学习框架，使用numpy实现)
文章目录神经网络简单原理神经网络结构前向传播计算代价函数反向传播公式推导定义变量反向传播公式推导神经网络简单原理逻辑回归只能解决线性可分问题，对于异或问题，无法找到一条直线分割两个类，则引入了神经网络，加入更多的神经元以及激活函数来拟合非线性问题。逻辑回归介绍在我另一篇博客：逻辑回归介绍与代码实现神经网络结构神经网络包含一层输入层，输入数据的特征，至少一层的隐藏层，和输出层。该例子输入数据x有三个特征，隐藏层包含三个神经元，输出层输出一个神经元。该例子可用于解决回归问题与二分类问题，若解决回归问
2021-11-23 21:09:40
1021
3
原创 逻辑回归原理以及代码实现 基于numpy
文章目录一、逻辑回归原理分类问题和回归问题的区别对数几率函数（sigmoid函数）代价函数参数更新方法：梯度下降法二、代码实现总结一、逻辑回归原理逻辑回归是一种基于回归思想来解决分类问题的一个算法，利用线性回归输出的值，进行一定的处理转化为分类的标签值分类问题和回归问题的区别我们可以按照任务的种类,将任务分为回归任务和分类任务。分类问题的输出是离散值，例如识别猫狗，任务的输出只能是猫或者狗，是离散值。回归问题的输出是连续值，例如根据某些特征预测一个人的体重，体重是连续值。考虑：线性模型的输出值.
2021-11-20 19:13:58
1696
3
原创 tensorflow2.0 实现文本分类
数据集一个英文评论的数据集，标签是三类，正向负向和中立引入库import tensorflow as tffrom tensorflow import kerasfrom tensorflow.keras import layersimport numpy as npimport pandas as pdfrom sklearn.model_selection import train_test_splitimport re读入数据data=pd.read_csv('dataset/
2021-11-16 19:45:07
1567
原创 Tensorflow2.0 自定义训练
文章目录前言一、自动微分运算 tf.GradientTape二、tf.keras.metrics模块1.tf.keras.metrics.Mean2.tf.keras.metrics.SparseCategoricalAccuracy三、自定义训练实战，手写数字识别总结前言Tensorflow2.0中tf.keras 封装的实在是太好了,定义好模型后直接使用model.fit函数就可以完成训练，不过有时需要对数据进行一些特殊处理，或者多输入多输出的情况，或者还需要自定义loss和accuracy的.
2021-10-30 10:40:55
1103
3
原创 tensorflow2.0 tf.data 简单示例 以及实现mnist手写数字识别
文章目录一、tf.data 简单示例1.引入库2.tf.data.Dataset.from_tensor_slices3.tf.data.Dataset.from_tensor_slices封装字典数据4.take方法5.shuffle方法6.repeat方法7.batch方法8.三种方法一起使用9.map方法二、mnist手写数字分类实现总结一、tf.data 简单示例1.引入库代码如下（示例）：import tensorflow as tfimport numpy as np2.tf.da
2021-10-17 09:48:01
502
原创 多层感知器MLP以及Tensorflow2.0 tf.keras代码实现
文章目录一、多层感知器MLP原理介绍常见的激活函数二、代码实现 基于Tensorflow2.0 tf.keras1.引入库2.读入数据3.划分数据集使用tf.keras构建并训练多层前馈神经网络结果预测总结一、多层感知器MLP原理介绍单层神经元的缺陷:神经元要求数据必须是线性可分的。异或问题无法找到一条直线分割两个类为了继续使用神经网络解决这种不具备线性可分性的问题，采取在神经网络的输入端和输出端之间插入更多的神经元多层感知器（MLP，Multilayer Perceptron）是一种前馈人工神经网
2021-10-11 10:23:47
1582
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人