- 博客(5)
- 收藏
- 关注
原创 裸机开发步骤
汇编指令:汇编指令:ARM不能直接读取RAM中的数据,需要借助这种通用寄存器R0~R7.一、汇编步骤:1. 使能所有时钟2. 设置GPIO复用3. 设置GPIO电气属性4. 设置GPIO输出为低电平led.s编译:1.将.c/.s文件编译成.o arm-xxx-gcc -g(产生调试信息,用于GDB调试)-c(编译不链接)-o(指定产生文件名)2.将所有的.o链接为elf文件 arm-xxx-ld 链接地址指向RAM中,即外部DDR。
2023-09-20 22:09:02
32
1
原创 为什么attention机制用sigmoid不用softmax
在网络学习不到东西时,softmax通常会全部学习到一个类别上,全1。对中间的特征层来说,对特征图全部施加一个0.5大小的权重,即使学不好影响也不会很大,但用softmax,如果关键特征学不好,大权重必然会落无用特征上,也就造成了负面影响。且softmax的影响是持续性的,若初始时学不好,很可能导致注意力权重对应的整幅特征图始终都学不好(若初始时给到一个较小的权重,那么网络很可能不再对该组特征的进行学习,即使该特征的学习对最终任务的贡献很大,也很难对网络输出造成影响。
2023-08-31 17:46:16
375
原创 神经网络优化算法SGD、Adam等
梯度:往梯度方向走,函数值增长最快。看代码,可以看到区别,就是整体数据集是个循环,其中对每个样本进行一次参数更新。随机梯度下降是通过每个样本来迭代更新一次,如果样本量很大的情况,那么可能只用其中部分的样本,就已经将theta迭代到最优解了,对比上面的批量梯度下降,迭代一次需要用到十几万训练样本,一次迭代不可能最优,如果迭代10次的话就需要遍历训练样本10次。。。
2023-08-26 19:21:52
115
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人