- 博客(8)
- 收藏
- 关注
RSS订阅原创 《GPT图解—大模型是怎样构建的》学习（第三天）
词向量通常也叫词嵌入，是一种寻找词和词之间相似性的NLP技术，它把词汇各个维度上的特征用数值向量进行表示，利用这些维度上特征的相似程度可以判断哪些词和哪些词语义更接近。在实际运用中，词向量和词嵌入两个重要术语其实可以互换使用，都表示将词汇表中单词映射到固定大小的连续向量空间的过程。但是在默写情况下也可能有细微的差别：词向量：通常用于描述具体的向量表示，即一个词对应的实际数值向量。例如我们可以说“‘cat’这个词的词向量是一个300维的向量”。词嵌入：通常用于描述将词映射到向量空间的过程或者表示方法。
2024-05-24 21:52:17
2033
原创 大模型微调(概念）
指令微调值微调的一个类型，通过这种方式模型学会了如何像聊天机器人一样遵守指令，为用户提供了更好的交互界面和模型模型互动。GPT3通过这种方式变成了chatgpt。指令微调的数据集通常是一种对话型的是数据集，或者说是指令应答数据集，例如公司客服的对话。有一种来自斯坦福的技术叫做Alpaca，使用chatgpt将数据集变为指令应答数据集。
2024-05-19 17:37:36
701
原创 《GPT图解—大模型是怎样构建的》学习（第二天）
他可以帮助我们了解某个文本序列在自然语言中出现的概率，因此也就能够根据给定的文本预测下一个最可能出现的单词。语言模型关注的是上下文单词之间的相关性，以保证模型生成的文本序列是合理的语句。
2024-04-30 17:12:12
704
3
原创 《GPT图解—大模型是怎样构建的》学习（第一天）
GPT-4可以跨越任务和领域的限制，解决数学、编码、视觉等领域中新颖或困难的任务，通过将各种类型的任务统一到对话形式的人机交互接口，极大地提高了使用的便利性。这样无论是谁，都能够通过对话简单地操作它。这种，正是（AGI）的显著特征。
2024-04-27 21:13:48
2304
原创 机器学习入门（第二天）
，指的是在梯度下降的每一步中，我们都用到了所有的训练样本，在梯度下降中，在计算微分求导项时，我们需要进行求和运算，所以，在每一个单独的梯度下降中，我们最终都要计算这样一个东西，这个项需要对所有m个训练样本求和。梯度下降的工作是希望找到最小化代价cost的参数w和b，在梯度下降的每一次迭代更新w和b后绘制j的位置，那么我们可能得到这样一条学习曲线，此时梯度下降就是收敛的，并且每一次梯度下降的迭代后j值都会下降。原始版本的线性回归中只有一个特征，但是多种特征会提供给我们更多的信息来进行预测，此时我们的函数。
2024-04-27 11:54:12
1191
原创 机器学习入门（第一天）
监督学习的关键特征是提供学习算法的实例以供学习，就是说给到的数据集中需要包括正确答案，学习算法通过查看给定的输入数据x和正确输出数据y来进行训练学习，最终可以只看输入数据不需要输出就可以。（标准符号是小写的y）。假设模型fw,b(x)=wx＋b，如果我们选择了直线去拟合数据，现在的问题就是如何去找到w和b的值，以便所以的预测值可以更接近真实值。比如上文说的波士顿房价问题就是典型的线性回归问题，在机器学习中，回归算法会有一个训练集，注意这时想要预测的房价不在训练集中，这里的房子面积称为输入变量，也叫。
2024-04-19 19:56:25
416
原创 批量新建TXT文件
可以对上述代码进行修改，修改TXT为其他后缀，101、1，200都可以按照需要改为任何数字。这段代码的意思就是生成101到200这个段内间隔为1的txt文件。然后将文件后缀改为.bat，点击运行就可以了。新建一个TXT，在里面输入代码。
2024-02-19 13:46:02
1272
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人