机器学习
文章平均质量分 93
发光的黑暗
这个作者很懒,什么都没留下…
展开
-
阅读论文记忆博客
Papers I’ve read before[arXiv:1706.03762] Attention Is All You Need动机:RNN中顺序性质使训练无法并行化;注意力机制(Attention)对序列信息处理很好,但依赖RNN。挑战:只靠Attention机制,不使用RNN和CNN,提高并行度;充分发挥Attention抓长距离依赖关系比RNN强的优势。方法:Transformer代替RNN;Transformer网络结构:Masked Attention: 不让Decoder在训原创 2022-01-14 23:29:19 · 1754 阅读 · 0 评论 -
吴恩达机器学习编程作业总结——具有神经网络思维的Logistic回归
这里写自定义目录标题吴恩达机器学习编程作业总结——具有神经网络思维的Logistic回归1.猫教程1.1训练集和测试集介绍1.2图片数据处理1.2.1对图片降维,转置:1.2.2标准化,图片数据的每一行除以255,使其处于0-1之间:1.3 Sigmoid函数1.4传播函数(难点)1.5优化函数(optimize)1.6预测函数(predict):1.7模型函数(model):1.8测试,绘图;改...转载 2019-04-19 20:09:12 · 534 阅读 · 0 评论 -
吴恩达机器学习编程作业总结——带有一个隐藏层的平面数据分类(含PyCharm报错问题解决方法)
目录吴恩达机器学习编程作业总结——带有一个隐藏层的平面数据分类(含PyCharm报错问题解决方法)1.隐藏层散点图分类1.1数据集介绍1.2 简单的Logistic回归的分类能行吗?1.3 搭建神经网络:1.4 初始化模型的参数(随机数):1.5 循环1.5.1 前向传播1.5.2 计算损失1.5.3 反向传播1.5.4 更新参数1.6 整合1.7 预测1.8 测试1.9 改变参数(迭代次数、隐藏...原创 2019-05-16 21:46:18 · 1105 阅读 · 0 评论