- 博客(6)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Chatgpt 从零开始-GPT 和 ChatGPT
上一篇文章我们主要介绍 Bert，了解到通过训练 Bert 网络我们能得到更好的词向量表达方式，且词向量可以通过微调应用到不同的下游任务当中。我们知道 Bert 主要基于 Transformer 结构，此处再补充一点，实际中 Bert 主要使用 Transformer 结构的 encoder(编码器)结构进行训练。而 GPT 主要是基于 Transformer 的 decoder(解码器)实现，同时还需使用强化学习、人为标注方法对模型进行优化，最终基于 GPT 来实现 ChatGPT。
2024-02-25 00:36:57
987
原创 Chatgpt 从零开始-深度学习网络BERT简介
上一篇主要说了文本的表示方法，从最开始的以最简单粗暴的 one-hot 表示方法来表示一个句子，再到使用 word2vec 方法来表示一个句子，其中 word2vec 是只有单层神经元的网络，它接收一个长度为 N 的输入，然后进行自监督训练，得到一个权重参数矩阵，这参数矩阵可以用作文本表示。
2024-02-06 00:50:12
562
1
原创 简单的神经网络例子
我们说神经网络是个黑盒子，它有输入或者输出，那这里面是什么？我们以只有一个神经元的网络为例。当只有一个神经元时，它的输入只能是一个数字，这里先不要问为什么，你暂时只要知道这个神经元的输入只能是一个数字，这个数字来自于我们对某个事物在数学上的抽象，它作为一个数字输入到神经元，在神经元中我们会进行一个计算处理，然后得到另外一个数字，如下图：弄个不恰当的假设，假设我们要做的任务就是根据人的体重来判断这个人的胖瘦的可能性，这里的事物属性就是人的体重，为什么是 0.4？
2024-02-03 23:11:45
740
1
原创 Chatgpt 从零开始-文本的表示方法
你可能听说过计算机里面图片的表示方法，如 RGB、YUV 等相关概念，那么就知道一张图片一般有 3 个通道来进行表示，每个通道上都是一个矩阵，矩阵中的一个数字就是一个像素、一个离散的数据。例如，在某个像素上的三通道数值是 (255, 255, 255)，那么这个像素就是白色，这很容易理解，一些图像相关的深度学习任务可能会对图片进行处理，如进行灰度图片转化，得到的就是一个单一通道的矩阵数据，后续再进行神经网络的特征提取。然而在自然语言处理任务中，文字是以一种什么方式在计算机上来进行表示？
2024-02-03 16:19:19
711
原创 Laplacian Loss
Laplacian lossMatting 任务当中在几篇论文里发现一个Laplacian loss，这个loss在论文《Context-aware synthesis for video frame interpolation》中最先出现，这一篇论文主要是研究视频插帧的，需要恢复视频中某一帧的信息，这个任务与抠图在一个方面类似，也就是非常需要细节特征，原文描述为：Whereas the ℓ 1 color loss and the Laplacian loss aim to minimize the
2021-12-15 16:00:46
7479
8
原创 vatic--视频标注工具（ubuntu16.04+python2.7）
vatic–视频标注工具（ubuntu16.04+python2.7）1.最近做要做行为识别的项目，中间要用到视频标注工具，受人推荐使用了vatic这款工具2.目前在该系统上似乎只有用python2（最好是python2.7）才能成功安装，用python3的同学请将python版本换成2.7，方法 请自行百度3.需要安装 git，可执行pip指令，并记住github账户密码等参考网址...
2019-04-27 12:06:54
2104
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人