想要好好撸AI
这个作者很懒,什么都没留下…
展开
-
Nvidia英伟达Bert .pt/.bin PyTorch模型导出onnx
c. 注释掉以下代码块,因为报错RuntimeError: Expected tensor for argument #1 'indices' to have one of the following scalar types: Long, Int;b. 注释掉以下代码块,因为非GPU环境下无法安装使用apex。d. 插入torch.onnx.export方法以导出onnx。a. 删除以下代码,因为未使用gpu。b. 安装dllogger包。a. 设置python路径。a. 导入onnx模块。原创 2023-04-20 11:17:18 · 258 阅读 · 0 评论 -
NLP自然语言处理全套教程传送门
1. pytorch:1. Pytorch基本语法 - PyTorch2. Pytorch初步应用 - PyTorch2. 自然语言处理入门:NLP入门云服务器使用入门 - NLP入门3. 文本预处理:第一章:文本预处理 - 文本预处理第二章:新闻主题分类任务 - 文本预处理4. 经典序列模型:HMM与CRF - 经典的序列模型5. RNN及其变体:1. RNN架构解析 - 学习手册2. RNN经典案例 - 学习手册6. Transformer:..原创 2021-12-15 12:35:54 · 540 阅读 · 1 评论 -
mnist数据集LR实战
机器学习简要介绍,NLP基础+实战 让机器“写小说”教程-慕课网 (imooc.com)目录配置代码数据集导入及处理创建神经网络计算损失函数采用adam自适应学习率优化器计算准确率session封装模型运行结果配置anaconda+pycharm+virtualenv环境代码数据集导入及处理mnist 6w训练数据,1w测试数据,按批次batch size存入内存,共有n batch个批次placeholder存放外部输入的数.原创 2022-02-07 14:58:08 · 1301 阅读 · 0 评论 -
skip-gram模型处理文本
目录理论基础代码总架构代码实战1. 导入包2. 从文件中提取停止词和训练文本3. 建立词典以及生僻词用UNK代替4. 为skipgram生成训练参数5. 构建模型6. 调用负采样,抽取管检测7. 准确率8. 输出词向量理论基础词向量计算工具word2vec,采用了两种语言模型:CBOW:周围词预测中心词 skip gram:中心词预测周围词权重负采样代码总架构导入包 从文件中提取停止词和训练文本 建立词典以及生僻词 为skipgr原创 2022-02-07 16:29:50 · 388 阅读 · 0 评论 -
Bert模型预训练介绍与使用
目录预训练本节概要介绍配置预训练Bert模型使用预训练的Bert模型本节概要谷歌bert仓库介绍预训练本节概要bert模型是只有编码器的transformer,用于理解语境 谷歌官方基于不同编码器层数和隐藏神经元数提供了不同的模型配置 预训练过程:输入数据-分词-添加CLS和SEP-掩码和预测-三个嵌入层-嵌入值相加得到嵌入向量-bert模型得到特征向量-送入使用softmax的前馈网络层得到预测的掩码或分类概率-多次迭代优化权重介绍bert是上下原创 2023-04-14 10:45:49 · 151 阅读 · 0 评论 -
Transformer
解法:Transformer就是为了解决这个问题,将句子中的所有词并行送入神经网络,它整合了编码器和解码器用于自然语言处理任务,替代了RNN和LSTM,衍生出Bert、GPT-3等知名架构。问题:循环神经网络RNN和长短期记忆网络LSTM无法记录长期依赖。RNN是将句子中的词逐个送入神经网络。前馈网络层:两个ReLU激活函数的全连接层。止每层的值剧烈变化,提高训练速度。原创 2023-04-14 10:32:02 · 53 阅读 · 0 评论 -
实战谷歌Bert处理中文数据集cnews
代码全流程!谷歌bert模型fine tune新的中文数据集,生成pb文件,再转onnx。原创 2023-04-14 10:21:40 · 162 阅读 · 0 评论 -
bert模型全攻略
手把手实现bert模型fine tune、转出pb、转出onnx。原创 2023-03-31 16:55:32 · 383 阅读 · 0 评论