- 博客(5)
- 收藏
- 关注
RSS订阅原创 裸机开发步骤
汇编指令：汇编指令：ARM不能直接读取RAM中的数据，需要借助这种通用寄存器R0~R7.一、汇编步骤：1. 使能所有时钟2. 设置GPIO复用3. 设置GPIO电气属性4. 设置GPIO输出为低电平led.s编译：1.将.c/.s文件编译成.o arm-xxx-gcc -g（产生调试信息，用于GDB调试）-c（编译不链接）-o（指定产生文件名）2.将所有的.o链接为elf文件 arm-xxx-ld 链接地址指向RAM中，即外部DDR。
2023-09-20 22:09:02
32
1
原创 为什么attention机制用sigmoid不用softmax
在网络学习不到东西时，softmax通常会全部学习到一个类别上，全1。对中间的特征层来说，对特征图全部施加一个0.5大小的权重，即使学不好影响也不会很大，但用softmax，如果关键特征学不好，大权重必然会落无用特征上，也就造成了负面影响。且softmax的影响是持续性的，若初始时学不好，很可能导致注意力权重对应的整幅特征图始终都学不好（若初始时给到一个较小的权重，那么网络很可能不再对该组特征的进行学习，即使该特征的学习对最终任务的贡献很大，也很难对网络输出造成影响。
2023-08-31 17:46:16
375
原创 神经网络优化算法SGD、Adam等
梯度：往梯度方向走，函数值增长最快。看代码，可以看到区别，就是整体数据集是个循环，其中对每个样本进行一次参数更新。随机梯度下降是通过每个样本来迭代更新一次，如果样本量很大的情况，那么可能只用其中部分的样本，就已经将theta迭代到最优解了，对比上面的批量梯度下降，迭代一次需要用到十几万训练样本，一次迭代不可能最优，如果迭代10次的话就需要遍历训练样本10次。。。
2023-08-26 19:21:52
115
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人