跟着AI学AI
文章平均质量分 88
幻灰龙
计算数学博士,程序员,热爱技术和学习。
展开
-
让chatGPT使用Tensor flow Keras组装Bert,GPT,Transformer
其中,左侧的每个Trm代表,右侧的放大图,也就是原始Transformer的Encoder部分结构。Bert的训练任务包括MLM(Masked Language Model)和NSP(Next Sentence Prediction). Bert的训练是无监督的,因为MLM实际上就是将语料的某些Token遮挡起来,那么输出结果需要知道答案是什么(标注信息)实际上就包含在语料里。GPT是无监督的,因为从机器学习的角度,输出数据需要的「标注信息」(下一个Token)就是语料已经提供的。原创 2023-06-10 03:36:45 · 2402 阅读 · 2 评论 -
跟着AI学AI(3):决策树
虽然决策树和逻辑回归是常用的分类算法,但是它们并不是万能的,仍然存在一些问题和局限性。例如,决策树容易受到噪声和异常值的影响,对于取值较多的特征,容易偏向于选择取值较多的特征,对于类别不平衡的数据集,容易偏向于选择样本数较多的类别,对于连续特征,需要进行离散化处理,可能会损失一些信息,决策树的复杂度较高,不适用于大规模数据集。具体来说,后剪枝的过程是从决策树的叶子节点开始,逐个将叶子节点替换为其父节点,然后计算剪枝后的决策树在验证集上的准确率,如果准确率提高了,则保留剪枝后的决策树,否则恢复原来的决策树。原创 2023-03-30 02:07:16 · 530 阅读 · 1 评论 -
跟着AI学AI(2): 逻辑回归
回答:离群值是指在数据集中与其他数据点相比具有异常值的数据点。离群值可能是由于测量误差、数据录入错误、数据采集问题或真实的异常情况引起的。离群值可能会对数据分析和建模产生负面影响,因为它们可能会导致模型过拟合或欠拟合,从而降低模型的准确性和可解释性。例如,在一个身高数据集中,如果有一个人的身高明显高于其他人,那么这个人就是一个离群值。在处理离群值时,可以将其删除、替换或保留,具体取决于数据集和分析目的。原创 2023-03-24 03:52:30 · 2174 阅读 · 23 评论 -
跟着AI学AI(1): 线性回归模型
在线性回归中,我们的目标是找到一条直线,使得所有数据点到该直线的距离之和最小。因此,我们的目标是最小化平方误差。具体来说,我们计算损失函数对w和b的偏导数,然后将其乘以学习率并从当前w和b的值中减去。在线性回归模型中,我们使用梯度下降来找到最小化平方误差的最佳拟合直线。具体来说,我们计算损失函数对每个参数的偏导数,然后将其乘以学习率并从当前参数值中减去。我们可以使用这些公式来实现梯度下降算法,找到最小化平方误差的最佳拟合直线。我们可以使用链式求导法来推导线性回归模型损失函数的偏导数计算过程。原创 2023-03-22 20:47:09 · 1467 阅读 · 18 评论