机器学习基础算法
文章平均质量分 96
鲜-橙
用代码拼出诗和远方
展开
-
基础的神经网络与反向传播
算法原理概述:算法通过构建多层网络解决单层感知机的非线性可分无法分割问题,通过梯度下降法更新网络中的各个权值向量,使得全局的损失函数极小化,从而实现对任意复杂的函数的拟合,这在分类问题中表现为它能将任意复杂的数据划分开,在回归问题中表现为它能拟合任意复杂的回归函数其中梯度下降的核心是误差反向传播算法,这个算法大大减少了梯度下降法的计算量,是多层神经网络得以复苏的功臣,它使得当前层的梯度项能往...原创 2020-04-08 21:35:49 · 442 阅读 · 0 评论 -
逻辑回归完全剖析
算法原理概述:算法通过梯度下降法去极大化似然函数∏i=1n(pi)yi(1−pi)1−yi\prod_{i=1}^{n}(p_i)^{y_i}(1-p_i)^{1-y_i}∏i=1n(pi)yi(1−pi)1−yi,得到极大化时的权值向量。似然的本质就是根据已观察到的数据(现象),求得某个参数,使得在这个参数的情况下是最有可能出现已观察到的数据(现象)。这里的pi为标签y为1的概率...原创 2020-04-07 21:18:30 · 357 阅读 · 0 评论 -
K近邻与朴素贝叶斯
任务简述分类任务 如下图,数据集的X是“英语语句”,Y是该语句对应的“情绪”,情绪的可能取值有6种,任务是给定一个语句,能判断出它属于什么情绪 回归任务 如下图,数据集的X是“英语语句”,Y是该语句对应的六种情绪的可能性,情绪的可能取值有5种,任务是给定一个语句,能判断出它属于各种情绪的可能性 算法原理A. knn分类原理:是将训练集与测试集的数据转化成特征向量,...原创 2018-03-13 15:25:32 · 2535 阅读 · 0 评论 -
感知机学习算法
任务简介如图所示,数据集的X是一系列的属性值,Y是1或者-1,用感知机算法训练这样的分类模型,对于测试集这个分类模型能在Accuracy(准确率)、Precision(精确率)、Recall(召回率)、F1(F值)这4个指标上能尽可能的高 算法原理感知机用以解决数据的二分类问题,例如输入为若干个n维的向量X及其对应的Y(+1或-1),算法目的就是找出最好的权值向量W=[w1,...原创 2018-03-21 11:10:48 · 985 阅读 · 0 评论 -
决策树算法与具体实例
任务简介如图所示,数据集的X是一系列的属性值,Y是1或者-1,用决策树算法训练这样的分类模型,对于测试集这个分类模型能在Accuracy(准确率)这个指标上能尽可能的高 算法原理通过选择属性对数据进行划分,使得划分之后的数据的不确定性得到下降,其中的“不确定性”以信息增益或基尼指数,或是有所惩罚的信息增益比来衡量。 经过多层的划分,使得数据的不确定性降到最低,从而使得其在训练集...原创 2018-03-21 14:24:51 · 917 阅读 · 0 评论