- 博客(22)
- 收藏
- 关注
原创 【学习记录】KL散度的定义
KL散度是非对称的,也满足三角不等式,不是严格意义上的距离度量。(1)对离散随机变量,KL散度定义为。(2)对连续随机变量,KL散度定义为。
2023-04-19 15:21:01 246
原创 【学习记录】神经网络三种主要类型
和前馈神经网络相比,反馈神经网络中的神经元具有记忆功能,在不同时刻具有不同的状态,反馈神经网络中信息传播可以是单向的,也可以是双向传播,包括循环神经网络、Hopfield网络和玻尔兹曼机。前馈神经网络中,把每个神经元接受信息的先后分为不同的组,每一组可以看做一个神经层,每一层中的神经元接受前一层神经元的输出,并输出到下一层神经元,整个网络中的信息是朝着同一个方向传播的,没有反向的信息传播,包括全连接前馈神经网络和卷积神经网络。
2023-04-16 17:40:26 689
原创 【学习记录】前馈神经网络
③损失函数估量模型预测值和真实值之间差距,损失函数给出差距越小,则模型鲁棒性越好,其中常用的损失函数:softmax,SVM。(3)从标注数据出发,优化模型数据(优化目标:损失值小,参数不复杂)②评分函数将输入数据映射为类别置信度大小:s=f(x)=④参数优化:梯度下降、误差反向传播(BP算法)①标注数据:(xi,yi)(1
2023-04-16 17:21:32 105
原创 【学习记录】激活函数+损失函数
用来评测模型预测值f(x)与真实值y的相似程度,损失函数越小,模型鲁棒性越好,损失函数指导模型学习。2.损失函数 softmax loss:①softmax②cross-entroy loss 组合而成的损失函数。(交叉熵:作为损失函数好处,使用sigmod函数在梯度下降时避免均方误差损失函数学习速率降低问题)全连接输出的向量z值无大小限制,(1)将其限制为0-1之间,变为概率值。与真值越接近,损失函数越小,与真值相对越远,损失函数越大。优化过程:不断提升与真值接近概率,降低损失函数。③相对熵(KL散度)
2023-04-16 17:03:38 215
原创 【学习记录】神经网络
1.2感知机:两层神经元构成是一种特殊的前馈神经网络(无隐藏层,只有输入层/输出层,无法拟合复杂数据)1.1神经元模型 生物神经网络工作原理-MP神经元模型。(f为激活函数,形式为阶跃函数,修正线性单元Relu)当隐藏层只有一层:两层神经网络(不包括输入层)输入层:网络输入层神经元代表一个特征。输出层:输出层个数代表了分类标签个数。神经网络分:输入层、隐藏层、输出层。输出层:阈值逻辑单元-MP神经元。i:第i个其他神经元的连接权重(xi:第i个其他神经元输入。b:当前神经元的阈值。
2023-04-16 16:32:18 83
原创 【GENIE基础教程】如何使用GeNie 2.3 academic软件建立一个简单的贝叶斯网络
如何使用GeNie 2.3 academic软件建立一个简单的贝叶斯网络
2023-03-28 19:10:48 9722 7
原创 尝试:解决华为matebook14安装ubuntu20.04 没有声音输出
解决华为matebook14安装ubuntu20.04 没有声音输出
2022-12-11 19:47:55 5937 5
原创 【学习记录】在虚拟机virtualbox中安装Ubuntu-server16.04
在虚拟机virtualbox中安装Ubuntu-server16.04
2022-11-26 21:50:15 493
原创 ckg解决报错1:输入http://www.localhost:8050/ 报错IntenalServer Error
输入http://www.localhost:8050/ 报错IntenalServer Error 500
2022-11-08 09:20:53 934
原创 【综述】研一小白第一次接触综述的学习过程哦
研一上半学期很多课程由于口罩原因最后的线下考试都变成线上考核,考核方式大多都是写综述,可是对于只接触过毕业论文的我来说综述是我需要克服的第一步台阶
2022-10-21 11:34:20 183
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人