Machine Learning
文章平均质量分 89
记录机器学习的冰川一角
野生蘑菇菌
中国科学院沈阳自动化研究所 && 深度学习 && 机器人控制
展开
-
梯度下降实现一元线性回归[C++]
梯度下降实现一元线性回归[C++] 这里写目录标题梯度下降实现一元线性回归[C++]一级目录二级目录三级目录原理代码 一级目录 二级目录 三级目录 原理 梯度下降是一种在机器学习和深度学习中广泛使用的优化方法,常用于回归和分类问题中。在函数表示的曲线上的一点,其梯度方向表示函数值上升最快的方向,由于在机器学习中的梯度是损失函数的梯度,因此我们想要损失函数最小,就要将参数往负梯度方向进行调整。 以一元线性回归为例,我们的数据是由 y= w_refx+b_ref 再加噪声生成,在这里我们假设w_ref=3,b_原创 2021-09-05 01:27:58 · 641 阅读 · 0 评论 -
机器学习课程笔记---支持向量机
引言 机器学习三种方法: 1、经典的参数估计方法 局限性是需要样本的先验分布 2、非线性方法,如ann 局限性是全靠经验,缺少理论 3、统计学习理论针对小样本 误差: 1、一般误差 真实误差 2、经验误差 来自样本 机器学习的目标是最小化一般误差,但是实际都是最小化经验误差 支持向量机同时最小化经验风险和置信风险。 vc维大,则拟合函数的维度高。 svm 基本型 这里的泛化能力最大就是说,正负类间隔最大。 对偶问题 变成求aerfa。 解决不可分问题 映射 但是样本原来就是高维的怎么办? 因此原创 2020-06-23 14:38:28 · 200 阅读 · 0 评论 -
机器学习听课笔记5.19
一、对率回归(也叫sigmod函数) lny/1-y = thetaTx原创 2020-05-19 15:46:24 · 395 阅读 · 0 评论 -
Harris角点检测+python实现+特征向量,特征值理解。
概述 是一种基于图像灰度的方法通过计算点的曲率和梯度来检测角点。 基本原理 如果在各个方向上移动窗口,窗口中的灰度值都会发生较大变化,那么认定在窗口遇到了角点; 如果在一个方向发生变化,另一个方向不变,就可能是一条直线; 如果各个方向移动,窗口内灰度值都没有发生变化,不存在角点。 具体实现 注意相对于Moravec而言,Harris之所以更加优秀,是因为通过引入微分的思想,从而使每个方向都可以由x,y方向的微分合成。也就是说检测了各个方向的变化。 其中对后面那一项进行泰勒展开 写成自相关函数(二次型)形原创 2020-05-16 18:23:22 · 1069 阅读 · 0 评论 -
图神经网络---台大李宏毅老师助教---听课笔记
首先上链接台大李宏毅助教讲解GNN图神经网络 图神经网络---台大李宏毅老师助理---听课笔记一、为什么要用图神经网络二、时域上的图神经网络三、频域上的图神经网络 一、为什么要用图神经网络 图神经网络和单纯神经网络一个很大的区别就是,图神经网络有节点和边的这种结构。 具体应用上,图神经网络可以识别具有图片,文字等结构信息。 比如识别一个人物的身份的任务就需要首先识别人,然后识别与之相关的其他人的信息(利用边连接),最后综合这些信息得出判断 二、时域上的图神经网络 1、 更新单个节点时,把邻居节点加起来,原创 2020-05-10 18:31:53 · 1072 阅读 · 0 评论 -
Tensorflow---dropout之神经网络结构分析
一、引言 之所以有这篇博客,可以说是对之前一段时间学习pthon以及tensorflow以及全连接神经网络的一个总结。原创 2020-02-26 22:08:01 · 321 阅读 · 0 评论 -
详解循环神经网络RNN原理+tensorflow实现
目录引言一、原理《深度学习》中关于循环和递归网络笔记1、简介2、展开计算图3、循环神经网络4、莫烦python1、简介二、tensorflow实现三、总结 引言 因为前段时间在跟B站学习强化学习,其中提到过循环神经网络,于是在《深度学习》中学习了一点关于循环神经网络的知识,今天突然想再写以下代码,于是正好趁机整理下关于循环神经网络的知识。 一、原理 《深度学习》中关于循环和递归网络笔记 1、简介 ...原创 2020-04-07 21:58:11 · 2228 阅读 · 3 评论 -
RNN之tensorflow-BasicLSTMCell+mnist手写字符数据集分类+github完整代码
RNN之tensorflow-BasicLSTMCell+mnist手写字符数据集分类+github完整代码一、原理部分二、代码详解1、代码分析RNN_LSTM_Classfication.pysimple_RNN.py2、问题解决三、实验结果+github 一、原理部分 关于RNN的详细介绍,请看博文 关于LSTM: 我们知道RNN包含了之前任意时刻的输入,但是这样会造成梯度消失或者梯度爆炸,同...原创 2020-04-07 21:56:20 · 639 阅读 · 0 评论 -
孤立随机森林实现异常检测
异常检测怎么做,试试孤立随机森林算法(附代码)—摘自《机器之心》公众号 箱线图: Python实现箱形图的绘制 python 箱线图 小提琴图: 关于使用python seaborn库绘制violinplot小提琴图的一些小坑 根据公众号介绍,孤立随机森林,就是利用随机森林算法生成树,因为异常点会因为数值异常所以很容易划分。最后再通过一些算法实现的找出异常点。 ...原创 2020-03-16 18:19:55 · 1270 阅读 · 0 评论 -
bp反向传播+3层全连接神经网络+softmax交叉熵损失+代码实现详解
引言 上学期选了"模式识别与机器学习"这门课,但是没有选"模式识别"这门硬课,略有遗憾,因此博主想利用假期补一补基础。 一、理论部分 如标题所述,本文探讨的是bp反向传播这一经典算法。算法分析如下: ...原创 2020-01-28 08:11:44 · 2156 阅读 · 0 评论