机器学习
文章平均质量分 56
Jokic_Rn
北航
展开
-
深度学习——softmax函数
为什么要用softmax?交叉熵代价函数和softmax激活函数的配合使用使得权值的梯度十分的简洁交叉熵代价函数E=−Σyilogy^iE = -\Sigma y_ilog\hat y_iE=−Σyilogy^isoftmax激活函数y^=f(Z)=eZtΣeZi\hat y = f(Z) = \dfrac{e^{Z_t}}{\Sigma e^{Z_i}}y^=f(Z)=ΣeZieZt...原创 2021-08-13 10:57:39 · 234 阅读 · 0 评论 -
机器学习基础——贝叶斯
注意区别:朴素贝叶斯和贝叶斯推理(主观贝叶斯、贝叶斯网络)不是同一个概念朴素贝叶斯的思想求解一个联合概率分布P(X,Y)P(X,Y)P(X,Y)需要首先得到先验概率分布P(Y=ci)P(Y=c_i)P(Y=ci)和条件概率分布P(X=x∣Y=ci)=P(X=x1,X=X2,...,X=xn∣Y=ci)P(X=x|Y=c_i) = P(X=x_1,X=X_2,...,X=x_n|Y=c_i)P(X=x∣Y=ci)=P(X=x1,X=X2,...,X=xn∣Y=ci),而这个条件概率分布参数量很原创 2021-12-16 12:55:01 · 1262 阅读 · 0 评论 -
机器学习基础——支持向量机
超平面超平面是指n维线性空间中,维度为n-1维的子空间。超平面可以把线性空间划分为两个区域,二维空间中,一条线就是一个超平面,可以把二维空间一分为二;三维空间中,平面就是超平面,可以把三维空间一分为二...原创 2021-05-10 16:00:22 · 65 阅读 · 0 评论 -
机器学习基础——神经网络
BP算法BP(error BackPropagation)算法又称误差逆传播算法算法步骤--------------------------------------------随机初始化权重和阈值repeat 计算最后一层梯度项; 计算前一层梯度项; 更新权值和阈值;end--------------------------------------------更新规则:梯度下降法(gradient decent)代价函数E=12Σj(yj^−yj)2E = \dfrac原创 2021-05-10 11:16:29 · 118 阅读 · 0 评论 -
机器学习基础——决策树
熵的量化n=log2mn = log_2mn=log2m熵的量化是用抛硬币来表示的,n表示该事件需要抛几枚硬币,m表示该事件出现的情况。举例:选择题通过抛硬币来决定,应该用多少枚硬币呢?ans:2枚。因为结果是ABCD四种情况,2枚硬币可表示4种情况(22=42^2=422=4),对于这件事来说,混乱程度就是2个硬币...原创 2021-05-08 11:06:09 · 153 阅读 · 0 评论 -
机器学习基础——k近邻法
有时间再来补充吧!原创 2021-05-08 10:25:37 · 134 阅读 · 0 评论 -
机器学习基础——模型评估与选择
测试集的保留方法:留出法1.三七分、二八分2.train set、test set 同分布3.多次随机划分、训练多个模型、取平均值交叉验证法1.k折交叉验证法(数据量大时对算力要求高)自助法性能度量:MSE(Mean Square Error):E(f;D)=1mΣi=1m(f(xi)−yi)2E(f;D) = \dfrac{1}{m}\Sigma_{i=1}^m(f(x_i)-y_i)^2E(f;D)=m1Σi=1m(f(xi)−yi)2DDD:样本集合fff:映射关系原创 2021-05-07 09:36:30 · 165 阅读 · 0 评论 -
机器学习基础——绪论
基本概念模型:分类、回归(前两个是监督学习)、聚类(无监督学习)原创 2021-05-07 09:06:25 · 74 阅读 · 0 评论