机器学习
文章平均质量分 93
西瓜ggg
如果不能把一个问题简单的讲出来,那么你就没有理解它。=
展开
-
熵及相关名称含义
最近在用互信息的一些知识,有些1.熵(entropy)系统混乱程度的度量,系统越混乱,熵越大。当完全均匀分布时,这个系统的熵就达到了最大值,也就是说此时的系统越混乱。对于事件来说,当所有状态概率相等的时候熵最大,这个时候系统对取什么态没有偏向性,所以混乱度最大。在信息世界,熵越高,则能传输越多的信息,熵越低,则意味着传输的信息越少。(这里指的是信息量)2.信息熵(information entropy)信息量的大小的度量,用于描述随机变量的不确定度。事件的不确定性越大,则信息量越大,原创 2022-04-25 18:28:39 · 1201 阅读 · 0 评论 -
《机器学习实战》Review
一、k-近邻法类别:分类算法原理:对于给定一个新的数据向量V,使用V和训练数据集所有向量做距离计算,选出最相邻的k个最相邻的样本,然后将k个样本中出现最多的类别判定为V的类别。特点:由于每个向量都要与数据集中所有向量两两计算距离,所以计算复杂度较高。二、决策树类别:分类算法原理:决策树总体的原理是通过应用特征选择规则,使得每次向下分类时,都可以使得分类效果达到最佳,此外决策...原创 2019-07-06 18:04:49 · 245 阅读 · 0 评论 -
RBF(Radical Basis Function)径向基函数神经网络
留在以后总结使用,初步明白其原理(1)https://wenku.baidu.com/view/b5bbf142e45c3b3567ec8bd9.html?sxts=1564134060472(2)https://wenku.baidu.com/view/c61384dda58da0116c174946.html?sxts=1564134362472(3)https://wenku.b...原创 2019-07-26 17:57:43 · 527 阅读 · 0 评论 -
深度学习-------参数初始化
1、pre-training2、random initialization3、Xavier initialization因为Xavier的推导过程是基于2个假设的,其中一个是激活函数是线性的。这并不适用于ReLU激活函数。另一个是激活值关于0对称,这个不适用于sigmoid函数和ReLU函数,实际情况是有可能在sigmoid函数上获得较好的效果。方法来源论文《Understan...原创 2019-09-01 20:22:01 · 734 阅读 · 0 评论 -
深度学习-CNN模型汇总
目录1、AlexNet网络模型2、VGG网络模型3、Inception模型(googleNet)3.1[v1]3.2[v2]3.3[v3]4 ResNet1、AlexNet网络模型2012年,Alex等人提出的AlexNet网络在ImageNet大赛上以远超第二名的成绩夺冠,卷积神经网络乃至深度学习重新引起了广泛的关注。主要特点有:更深的网络结构 使...原创 2019-09-07 21:41:11 · 3847 阅读 · 0 评论