机器学习
个人笔记
格里芬阀门工
这个作者很懒,什么都没留下…
展开
-
卷积与卷积神经网络
什么是卷积神经网络中的卷积是指用一个卷积核(也叫滤波器),实质上是一个矩阵,在图像上扫描一遍,得到一个新的图像。扫描的实质,就是矩阵大小的图像像素值,和卷积核做运算,然后得到新的像素值,放到新的图像中运算不是一行乘一列的乘法,而是哈达马积,即对应位置的元素一一相乘。最后,把哈达马积得到的矩阵上的每一个元素求和,得到最终的像素值。因此,每个神经元输入为图像的一小块和卷积核,输出为一个数值选择合适的卷积核,可以突出图像的关键信息。例如,这个卷积核说明每个像素会在原有值上增加八倍,在减去相邻的一圈原创 2021-01-23 10:58:24 · 1667 阅读 · 0 评论 -
长短时记忆网络(Long-Short Term Memory)
LSTM时RNN的变种,用于处理预测这个神经元的信息的辅助信息相距太远的情况,例如:I'm a student and I need to __预测这个空,student就是辅助信息,很容易找到,但对于下面这句话I grow up in France...,so I can speak fluent __假设中间的省略部分特别长,且与他的语言学习无关,那么France就是辅助信息,但相隔太远,传统的RNN就难以得出正确结果。基本实现思路传统的隐藏层节点只有一个状态:H,而LSTM多了原创 2021-01-22 10:48:20 · 485 阅读 · 0 评论 -
循环神经网络(RNN)
在普通神经网络的基础上,在每个隐藏层的神经元之间加上连接因为隐藏层之间可以传递信息了,因此适合处理序列数据,比如不断变化的数据,一句话等循环神经网络适用多对多或多对一,如标注句子里每个词的词性或判断句子种类...原创 2021-01-22 10:06:27 · 109 阅读 · 0 评论 -
感知机
感知机是神经网络的基础模型,用于两类分类的线性分类模型设输入样本为x,输出为y,则由输入空间到输出空间的如下模型称为感知机g为激励函数,规范输出值,w为权值,x为输入,b为偏置损失函数为了让损失函数的式子中包含w和b,方便优化,损失函数一般与分类错误的点到超平面的距离有关其中||w||是L2范数对于误分类的点,-yi(w*xi+b)>=0总是成立,因此误分类的点到超平面距离之和为不考虑1/||w||,则得到了极小化损失函数M为误分类点的集合当实际使用原创 2021-01-21 10:46:44 · 71 阅读 · 0 评论 -
信息熵
1.信息熵信息学概念:信源中所有可能发生的情况的平均不确定性设信源有N种取值,对应概率p1,p2...pn,则信息熵为原创 2021-01-20 14:52:54 · 251 阅读 · 0 评论 -
损失函数正则化
函数正则化是为了应对过拟合,防止模型只能适用于训练集,而无法用于测试集和实际环境。加入正则项,即可实现正则化,避免这个问题。在此之前先了解两个范数1.向量范数L1-范数:若向量有N个元素,则向量范数为N个元素的绝对值之和L2-范数:N个元素的平方先求和,再对和开方2.矩阵范数L1-范数:所有列向量求和,取和最大的那一列的和L2-范数:也称为谱范数,是的最大特征值的开方3.正则化基本上是一个或多个系数(正则强度alpha)分别乘以一个或多个范数组成,加入到预测的函数中,然后原创 2021-01-20 10:56:49 · 370 阅读 · 0 评论 -
特征降维
在讨论完特征选择后,接着讨论特征降维。特征选择是直接不要某些特征值,而降维则是把多个特征值揉为一体,常用方法有1.线性判别分析法(LDA)将数据在低维度上进行投影,让类内方差最小,类外方差最大。即投影后,同类数据尽可能在一起,且不和不同类的数据参杂混淆。例如,下图红蓝分别表示两种数据在二维内的分布,如果将他们投影到一维的线上,如果选择X轴,两者会大量重叠,如果选择Y轴,双方互不干涉,而且同类点相距较近,那么选择Y轴就比选择X轴好得多实际使用中,维度比这二维要高得多,很难用图像表示,但原创 2021-01-19 10:26:02 · 83 阅读 · 0 评论 -
特征选择
机器学习中,如果选取的特征太多,可能会严重降低训练和识别效率,一些无关紧要的特征还会干扰分类结果。因此在训练前,需要首先筛掉一些特征,只选取有用的那些。常见方法有:1.方差选择法方差非常小的特征值一般对样本的区分作用很低,排除2.皮尔森相关系数法计算特征值与分类结果值之间的相关系数,相关系数很小的可排除3.基于森林的特征选择法某些分类器自带提供特征重要性分值的功能4.递归特征消除法基本步骤:在初始特征或权重特征集合上训练,通过学习器返回的coef属性或feature_im原创 2021-01-19 10:06:53 · 77 阅读 · 0 评论 -
一致性的评价方法
1.最简单的一致性比例A和B均为二分类模型,处理同一个问题,结果如下,竖着为A,横着为B 1 0 1 a b 0 c d 则一致性比例为(a+d)/n,n=a+b+c+d,即AB结果相同的比例2.相关系数,对没错,就大学概率论里头那个相关系数3.Cohen's Kappa方法也是AB进行二分类,结果如上表。先计算一致性比例再分别计算A和B的随机一致性概率注意到,A和B各自给出1的结果的比例,A为(a+b)/n,B为(a+c)/n.原创 2021-01-17 23:15:13 · 2796 阅读 · 0 评论 -
分类的性能度量
以一个二分类为例,假设分类结果如表 预测结果 预测结果 正 负 总计 实际结果 正 TP FN P 实际结果 负 FP TN N 1.准确率(accuracy):分类正确的样本和总样本数之比:(TP+TN)/(T+N)2.精确率(precision):分类为正的结果中,实际为正的结果的比例:TP/(TP+FP)3.召回率(recall)/灵敏度(sensitivity...原创 2021-01-17 10:08:39 · 78 阅读 · 0 评论 -
logistic回归损失
简称log loss,又称交叉熵损失(cross-entropy loss)设某个样本真实标签只能取0或1,系统得到它取1的概率为p,取0的概率为1-p,而y的实际取值就是y则公式为例如,一个样本实际为1,算出来p=0.9,则logloss=-log(0.9)=log(10/9)再比如,一个样本实际为0,系统计算出的p=0.6,则logloss=-(1-0)log(1-0.6)=-log(0.4)=log(5/2)因为p处于0到1的闭区间,y只能为1或0,所以这个数越小越好。把一个模型计原创 2021-01-17 10:35:43 · 1099 阅读 · 0 评论