码农的科研笔记

熵：就是描述信息的不确定的程度，统计学中，对事件的发生情况可以通过概率P定量的描述出来，熵也是一种统计学定量描述，是对信息的不确定程度的描述，这种描述也是通过“概率P”来描述的。对于某个事件的信息熵的计算公式如下：式中X代表事件，事件X的发生存在n中可能性，当我们知道每一种可能性情况下的发生概率值时，就能通过上式子计算得到信息熵值。【例子】序号 事件 ...

1、SGD,Momentum,Adagard,Adam原理？【第一张图为不同算法在损失平面等高线上随时间的变化情况】【第二张图为不同算法在鞍点处的行为比较。】SGD(Stochastic Gradient Descent)(随机梯度下降)【意义】单纯的梯度计算容易得到局部最优解，这个时候引入随机变量能很好的在保证梯度下降大体方向情况下得到最优解。也就是说，虽然包含一定...

最近在做关于农业重金属的项目，中间有需要用到经典遗传算法的部分方法，重新借用Python把遗传算法理论梳理一遍，毕竟用代码逻辑一方面对算法理论更深刻同时对Coding能力提高不少：【经典方法】1、随机生成指定维度的1和0矩阵方法#先生成全0矩阵，后面在逐行随机产生1并更新矩阵chromosomes = np.zeros((10, 31), dtype=np.uint8)for...

model.fit(X_train,y_train,batch_size=BATCH_SIZE,nb_epoch=1,validation_data=(X_val,y_val))以上是keras进行model训练的fit代码，它真正的实现流程是怎样的呢？以上最终调用的是training.Model.fit()方法，在fit方法主要进行步骤如下：模型参数的处理，验证数据的合法性相...

机器学习EM算法使用两个步骤交替计算，E步：利用当前估计的参数值来计算对数似然的期望值；M步：寻找能够使E步产生的似然期望最大化的参数值，然后用新得到的参数值重新进行E步计算，直到收敛。EM算法的理解容易，公式推导较为复杂，本文从简单的实例入手逐步进行深入理解EM算法，对EM的相关知识进行梳理。抛硬币实验：两枚硬币A和B，随机选择其中一枚硬币之后抛10次，重复5次。需要我们估...

“李航《统计学习方法》学习笔记”系列教程以李航老师《统计学习方法》为基础，系列笔记内容主要包括我学习过程中对于书中算法原理的理解和重点知识的汇总。由于能力有限，不足支持请大家多多指正，大家有什么想法也非常欢迎留言评论！关于我的更多学习笔记，欢迎您关注“武汉AI算法研习”公众号！本文分三个部分“【针对朴素贝叶斯法的理解】”、“【朴素贝叶斯算法原理】”、“【文本分类上应用】”来进行...

本文分以下几个部分“【对KNN的理解】”、“【算法原理推导】”、“【kd树】”、“【kd树搜索】”来进行展开，总共阅读时间大约15分钟。关于我的更多学习笔记，欢迎您关注“武汉AI算法研习”公众号，本文作者微信comrliuyu。【对KNN的理解】1、KNN是一种基本分类和回归方法；2、给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的K个实例，这K...

“Sklearn源码机器学习笔记”系列教程以Scikit-learn 0.19.x库为基础，系列笔记从Sklearn包源码入手进行理解算法，同时对于sklearn文档的部分demo进行深入的学习。由于能力有限，不足支持请大家多多指正，大家有什么想法也非常欢迎留言评论！关于我的更多学习笔记，欢迎您关注“武汉AI算法研习”公众号，Sklearn官网最新原版英文文档下载，公众号回复“sk...