StarryPilgrim

文章目录前言背景整体把握传播函数激活函数反向传播函数损失函数总结前言这是李宏毅机器学习系列的一个补充博客，对于课程中一些比较模糊的重点会再次进行梳理，起到一个修补的作用背景本篇背景是对于机器学习中的神经网络进行梳理，由于李宏毅老师在讲解过程中将神经网络进行了拆分，容易导致初学者对于神经网络不能整体把握，本篇则是作者根据课程和一些博客，对神经网络的进行一次整体梳理。整体把握神经网络最基本的模型是由4个函数组成的。它们分别是：传播函数、激活函数、反向传播函数、损失函数　　它们分别实现了几个

文章目录前言为什么用CNN总结前言这是我在Datawhale组队学习李宏毅机器学习的记录，既作为我学习过程中的一些记录，也供同好们一起交流研究，之后还会继续更新相关内容的博客。为什么用CNN我们都知道CNN常常被用在影像处理上，如果你今天用CNN来做影像处理，当然也可以用一般的neural network来做影像处理，不一定要用CNN。比如说你想要做影像的分类，那么你就是training一个neural network,input一张图片，那么你就把这张图片表示成里面的pixel，也就是很长.

文章目录前言Changing LandscapeFeature Normalization总结前言这是我在Datawhale组队学习李宏毅机器学习的记录，既作为我学习过程中的一些记录，也供同好们一起交流研究，之后还会继续更新相关内容的博客。Changing Landscape我们在解决问题时，一种的方向是不断改进我们的方法，第二种方向就是不断简化问题。同理，我们在训练时，不仅可以改进我们的训练方法，也可以对我们的Error Surface进行简化，变得简单易于训练。上图中蓝色图像的成因就是x

文章目录前言分类是怎么做的将分类转化为回归Softmax登场分类问题的Loss使用Cross-entropy的优点总结前言这是我在Datawhale组队学习李宏毅机器学习的记录，既作为我学习过程中的一些记录，也供同好们一起交流研究，之后还会继续更新相关内容的博客。分类是怎么做的将分类转化为回归回归就是输入一组数据，输出一个数。分类的话就是输入一组数据，输出一个类别。而将回归转化成分类的话是通过输出的数字来判别类别。通过回归来分类，这要求神经网络输出是一个向量。这个向量中的每一个元素代

文章目录前言Training stuck不一定是Small Gradient单一固定的学习率遇到的问题总结前言这是我在Datawhale组队学习李宏毅机器学习的记录，既作为我学习过程中的一些记录，也供同好们一起交流研究，之后还会继续更新相关内容的博客。Training stuck不一定是Small Gradient如上图所示，Loss在不断下降最后不再下降，也就是说遇到了Training Stuck了，而这就是一定是遇到了Critical Point吗？再看norm of gradient（梯

文章目录前言最优化失败的原因如何区分局部最值和鞍点泰勒级数近似数学基础的补充判断方法总结前言这是我在Datawhale组队学习李宏毅机器学习的记录，既作为我学习过程中的一些记录，也供同好们一起交流研究，之后还会继续更新相关内容的博客。最优化失败的原因如图所示，在梯度下降中，Loss应该不断下降并达到一个最小值。但在我们训练中，有可能出现Loss下降到了一个谷底，但此时并没有足够小的情况，也有可能Loss就没怎么下降（对应图中蓝，橙曲线）。出现这种情况的原因是下降中遇到了临界点（critica

文章目录前言链式法则反向传播取出一个Neuron进行分析Forward Pass总结前言这是我在Datawhale组队学习李宏毅机器学习的记录，既作为我学习过程中的一些记录，也供同好们一起交流研究，之后还会继续更新相关内容的博客。# 背景## 梯度下降给到 θ\thetaθ (weight and bias)先选择一个初始的 θ0\theta^0θ0，计算 θ0\theta^0θ0 的损失函数（Loss Function）设一个参数的偏微分计算完这个向量（vector）偏微分，然后就可

文章目录前言深度学习的三个步骤Step1：神经网络完全连接前馈神经网络Step2: 模型评估Step3：选择最优函数思考隐藏层越多越好？普遍性定理总结前言这是我在Datawhale组队学习李宏毅机器学习的记录，既作为我学习过程中的一些记录，也供同好们一起交流研究，之后还会继续更新相关内容的博客。# 深度学习的发展历程回顾一下deep learning的历史：1958: Perceptron （linear model）1969: Perceptron has limitation198

文章目录前言什么是梯度下降法？Tip1：调整学习速率小心翼翼地调整学习率自适应学习率Adagrad 算法Adagrad 是什么？Adagrad举例Adagrad 存在的矛盾？多参数下结论不一定成立Adagrad 进一步的解释Tip2：随机梯度下降法Tip3：特征缩放为什么要这样做？怎么做缩放？梯度下降的理论基础问题数学理论泰勒展开式定义多变量泰勒展开式利用泰勒展开式简化梯度下降的限制总结前言这是我在Datawhale组队学习李宏毅机器学习的记录，既作为我学习过程中的一些记录，也供同好们一起交流研究，之

文章目录前言Error的来源估测估测变量x的偏差和方差评估x的偏差与方差求x的偏差求x的方差为什么会有很多的模型？考虑不同模型的方差考虑不同模型的偏差偏差v.s.方差怎么判断？分析偏差大-->欠拟合方差大-->过拟合模型选择交叉验证N-折交叉验证总结前言这是我在Datawhale组队学习李宏毅机器学习的记录，既作为我学习过程中的一些记录，也供同好们一起交流研究，此后还会继续更新相关内容的博客。Error的来源从上节课测试集数据来看，Average ErrorAverage

文章目录前言一、回归定义二、模型步骤Step 1：模型假设 - 线性模型一元线性模型（单个特征）多元线性模型（多个特征）Step 2：模型评估 - 损失函数如何判断众多模型的好坏Step 3：最佳模型 - 梯度下降梯度下降推演最优模型的过程梯度下降算法在现实世界中面临的挑战w和b偏微分的计算方法如何验证训练好的模型的好坏总结前言这是我在Datawhale组队学习李宏毅机器学习的记录，既作为我学习过程中的一些记录，也供同好们一起交流研究，此后还会继续更新相关内容的博客。一、回归定义回归（Regres

文章目录前言一、机器学习介绍1.人工智能、机器学习、深度学习之间的关系2.Hand-crafted rules与Machine learning3.机器学习的思路二、机器学习相关的技术1.监督学习A.回归（Regression）问题分类（Classification）问题Deep Learning2.半监督学习迁移学习无监督学习监督学习中的结构化学习（structured learning）强化学习总结前言这是我在Datawhale组队学习李宏毅机器学习的记录，既作为我学习过程中的一些记录，也供同好们