weixin_44823313的博客

为什么要用softmax？ 交叉熵代价函数和softmax激活函数的配合使用使得权值的梯度十分的简洁 交叉熵代价函数 E=−Σyilogy^iE = -\Sigma y_ilog\hat y_iE=−Σyi​logy^​i​ softmax激活函数 y^=f(Z)=eZtΣeZi\hat y = f(Z) = \dfrac{e^{Z_t}}{\Sigma e^{Z_i}}y^​=f(Z)=ΣeZi​eZt​​ ...

注意区别：朴素贝叶斯和贝叶斯推理(主观贝叶斯、贝叶斯网络)不是同一个概念 朴素贝叶斯的思想 求解一个联合概率分布P(X,Y)P(X,Y)P(X,Y)需要首先得到先验概率分布P(Y=ci)P(Y=c_i)P(Y=ci​)和条件概率分布P(X=x∣Y=ci)=P(X=x1,X=X2,...,X=xn∣Y=ci)P(X=x|Y=c_i) = P(X=x_1,X=X_2,...,X=x_n|Y=c_i)P(X=x∣Y=ci​)=P(X=x1​,X=X2​,...,X=xn​∣Y=ci​)，而这个条件概率分布参数量很

超平面 超平面是指n维线性空间中，维度为n-1维的子空间。 超平面可以把线性空间划分为两个区域，二维空间中，一条线就是一个超平面，可以把二维空间一分为二；三维空间中，平面就是超平面，可以把三维空间一分为二 ...

BP算法 BP（error BackPropagation）算法又称误差逆传播算法 算法步骤 -------------------------------------------- 随机初始化权重和阈值 repeat  计算最后一层梯度项；  计算前一层梯度项；  更新权值和阈值； end -------------------------------------------- 更新规则：梯度下降法（gradient decent） 代价函数E=12Σj(yj^−yj)2E = \dfrac

熵的量化 n=log2mn = log_2mn=log2​m 熵的量化是用抛硬币来表示的，n表示该事件需要抛几枚硬币，m表示该事件出现的情况。 举例：选择题通过抛硬币来决定，应该用多少枚硬币呢？ ans:2枚。因为结果是ABCD四种情况，2枚硬币可表示4种情况（22=42^2=422=4）,对于这件事来说，混乱程度就是2个硬币 ...

有时间再来补充吧！

测试集的保留方法： 留出法 1.三七分、二八分 2.train set、test set 同分布 3.多次随机划分、训练多个模型、取平均值 交叉验证法 1.k折交叉验证法（数据量大时对算力要求高） 自助法 性能度量： MSE(Mean Square Error):E(f;D)=1mΣi=1m(f(xi)−yi)2E(f;D) = \dfrac{1}{m}\Sigma_{i=1}^m(f(x_i)-y_i)^2E(f;D)=m1​Σi=1m​(f(xi​)−yi​)2 DDD：样本集合 fff:映射关系

基本概念 模型：分类、回归（前两个是监督学习）、聚类（无监督学习）