机器学习
文章平均质量分 91
留小星
持续更新 CV、NLP、语音、地震学领域深度学习相关阅读和学习笔记、手动实现各类深度学习网络结构(CNN、Transformer、GAN、DDPM、LLM)
展开
-
动手学深度学习(十三)——模型选择和优化(持续整理和更新,欢迎指正)
文章目录一、数据集1.1 训练数据集(Training Dataset)1.2 验证数据集(Validation Dataset)1.3 测试数据集(Test Dataset)1.4 为什么同时需要训练数据集和验证数据集?1.5 常用的划分数据集的方法1.5.1 留出法(Hold-out)1.5.2 交叉验证1.5.3 自助法二、误差2.1 训练误差2.2 测试误差2.3 泛化误差三、拟合3.1 过拟合3.2 欠拟合一、数据集1.1 训练数据集(Training Dataset)用来直接进行网络训原创 2021-07-25 17:05:17 · 2805 阅读 · 1 评论 -
非常全的CNN卷积神经网络整理
文章目录一、人的视觉原理二、卷积神经网络CNN简介:1. 简介2. 发展历史3. 应用4. 推荐文章(待更新)二、全连接神经网络的缺点及CNN解决的问题1. 全连接神经网络处理大尺寸图像明显的缺点2. CNN将复杂问题简化——将大量的参数降维成少量参数进行处理3. CNN保留图像特征4. CNN的三维体积神经元(3D volumes of neurons)三、卷积神经网络的层次结构1. 典型的CNN:2. 更为常见的CNN网络分层3.输入层(Input Layer)4. 卷积层1)数学上的卷积和机器学习中的原创 2020-11-12 20:16:39 · 3888 阅读 · 0 评论 -
机器学习——神经网络(五):BP神经网络解决异或问题
BP神经网络解决异或问题BP神经网络的推导、python实现代码及结果视图请移至机器学习——神经网络(四):BP神经网络单层感知器异或问题请移至机器学习——神经网络(二):单层感知机异或问题python 3.6numpy、matplotlib库import numpy as npimport matplotlib.pyplot as plt# 载入数据x_data = np.array([[1,0,0], [1,0,1],原创 2020-08-11 21:10:09 · 4424 阅读 · 0 评论 -
机器学习——神经网络(四):BP神经网络
BP神经网络(Back Propagation) 误差逆传播算法(error Back Propagation 简称BP),实际上是多层感知器的一种,在1986由Rumelhart和Hinton为首的科学小组提出。BP神经网络具有任意复杂的模式分类能力和优良的多维函数映射能力,解决了简单感知器不能解决的异或问题和其他问题。从结构而言具有输入层、隐含层和输出层;从本质上来讲是以网络误差平方为目标函数、采用梯度下降法来计算目标函数的最小值。主要过程:(1)工作信号向前正向传播的子过程(原创 2020-08-11 19:47:06 · 9843 阅读 · 1 评论 -
机器学习——神经网络(三):线性神经网络
文章目录线性神经网络(LMS)1.基础理论2. 简单的线性神经网络例子:3.使用线性神经网络解决异或问题:线性神经网络(LMS)1.基础理论对比理解:感知器LMS只有两种输出(1或者-1)输出可以是任意的值激活函数可以是sign、sigmod等函数激活函数是线性函数解决不了异或等问题只能解决线性可分问题,但是可以解决异或问题网络结构:>LMS学习算法(最小均方误差算法):为什么用两个激活函数:如上图所示在运算的原创 2020-08-08 23:00:24 · 4563 阅读 · 0 评论 -
机器学习——神经网络(二):单层感知机异或问题
单层感知机——异或问题异或问题:0^0 = 00^1 = 11^0 = 11^1 = 0代码解释:初始输入为四个点的数据以及偏置bias量学习率设置为0.11迭代次数为100次主要使用了numpy和matplotlib库代码:import numpy as npimport matplotlib.pyplot as plt# 载入数据x_data = np.array([[1,0,0], [1,0,1],原创 2020-08-08 22:06:40 · 2243 阅读 · 0 评论 -
机器学习——神经网络(一):单层感知机
神经网络——单层感知机感知机:preception,二元分类器,只有输入和输出层学习使用,不写原理了,直接贴代码(主要代码都是覃秉丰老师的课程中学习到的代码,但是很多地方我也做了注释和改进,适合我自己的学习)python 3.4 、jupyter这部分主要用到了numpy、matplotlib.pyplot库import numpy as npimport matplotlib.pyplot as plt# 载入数据(解释一下:x_data第一列为偏置值(bias),第二列和第三列就原创 2020-08-07 23:25:50 · 1799 阅读 · 0 评论 -
机器学习——VSM(覃秉丰)
SVM基础知识:1、发展历史:总结:SVM使用不是很多了,但也不是完全被淘汰了,不是特别感兴趣不用太过深入地研究2、原理:使得分界超平面距离两个类别之间的距离最大化基础知识——向量内积:支持向量(SVM)相关推导:d越大越好,就是指||W||越小越好凸优化问题广义拉格朗日乘子法进一步转换为对偶问题3. SVM简单程序(使用sklearn)SVM算法比较麻烦,一般不会去复写源代码,调用封装好的库就行了from sklearn import sv原创 2020-08-07 21:05:44 · 2130 阅读 · 0 评论