wizzniu-CSDN博客

原创 2021-08 集成学习打卡Task01：数学基础

Task01 数学基础学习地址集成学习B站视频地址集成学习开源笔记地址论坛版块介绍这部分内容主要复习一下机器学习以及深度学习涉及到的数学基础，包括高数、线代、概率论、数理统计、随机过程以及部分数值模拟计算等常用概率分布总结在分类和回归等任务中我们经常会假设某些变量服从某种分布，比如假设回归目标变量服从正态分布，有时候当目标变量并不服从正态分布时我们又会想办法通过一些transform将其分布转化到近似正态分布，这是因为常用的损失函数一般选择MSE，其假设分布服从正态分布。然而有时候又很难

2021-08-18 02:03:43 662

原创 2021-07 李宏毅机器学习打卡Task07：总结

Task07 总结学习地址李宏毅机器学习B站视频地址new: 2021春课程视频地址李宏毅机器学习开源笔记地址论坛版块总结Three Steps for Deep Learning/ Machine Learning机器学习或深度学习的框架都可以概括为3步：Step 1: define a set of function只是深度学习里定义的function set 即神经网络Step 2: goodness of function一般通过合适的loss function 来衡量

2021-07-25 17:04:31 435 1

原创 2021-07 李宏毅机器学习打卡Task06：卷积神经网络CNN

Task06 卷积神经网络(CNN)学习地址李宏毅机器学习B站视频地址new: 2021春课程视频地址李宏毅机器学习开源笔记地址论坛版块最流行的神经网络架构—CNN如何用FullyConnectedNetwork分类image全连接网络的问题将输入image转为3-D的Tensor，再flatten，送进全连接网络存在的问题：参数量太多，容易过拟合图像处理里，用全连接提取特征并不好用考虑图像本身的特性，每个neuron为了提取某种特征，并不需要通过整张图片，只关心一小部分即可

2021-07-23 17:04:57 419

原创 2021-07 李宏毅机器学习打卡Task05：网络设计的技巧

Task05 网络设计的技巧学习地址李宏毅机器学习B站视频地址new: 2021春课程视频地址李宏毅机器学习开源笔记地址论坛版块网络设计的技巧(解决神经网络训练问题)(一)局部最小值(local minima)与鞍点(saddle point)loss不下降的一个可能原因：卡在了critical pointcritical point 即梯度接近0的点，包括local minima和saddle pointHow to do with critical point?if me

2021-07-21 20:10:00 376

原创 2021-07 李宏毅机器学习打卡Task04：深度学习简介和反向传播(下)

Task04 深度学习简介和反向传播(下)学习地址李宏毅机器学习B站视频地址李宏毅机器学习开源笔记地址论坛版块反向传播背景梯度下降参数更新依旧使用梯度下降，只是计算梯度时使用更高效的方法即反向传播机制链式求导法则反向传播的基础即链式法则，通过一层一层的误差导数向前传播完成所有梯度的计算反向传播具体机制主要分两个部分：Forward Pass 和 Backward Pass要计算 loss 对某个参数 w 的偏导，即 ∂l∂w\frac{\partial{l

2021-07-18 02:11:59 202

原创 2021-07 李宏毅机器学习打卡Task04：深度学习简介和反向传播(上)

Task04 深度学习简介和反向传播(上)学习地址李宏毅机器学习B站视频地址李宏毅机器学习开源笔记地址论坛版块深度学习简介深度学习的发展感知机和逻辑回归类似，只是没有sigmoid激活函数多层感知机MLP和全连接神经网络NN类似，少了激活函数GPU的发展推动了深度学习2012Alexnet转折点Three Steps for Deep LearningStep1：定义function set即神经网络神经网络中的每个节点，类似逻辑回归函数，不过激活函数不一定是sigm

2021-07-18 01:31:51 224

原创 2021-07 李宏毅机器学习打卡Task03：误差来源、梯度下降

Task03 误差来源、梯度下降学习地址李宏毅机器学习B站视频地址李宏毅机器学习开源笔记地址论坛版块误差error误差来源来源一：bias(一般见于underfitting)在训练集上loss就很大 —> model bias来源二：variance(一般见于overfitting)在训练集上可能表现很好loss很小(比如把输入特征很多，模型参数很多，将模型建得很复杂)，在测试集上效果反而变差 —> overfittingBias v.s Variance简

2021-07-16 21:24:47 266 2

原创 2021-07 李宏毅机器学习打卡Task02：回归

Task02 回归学习地址李宏毅机器学习B站视频地址李宏毅机器学习开源笔记地址论坛版块回归定义和例子比较简单，不详细介绍。主要总结一下相关理解和注意点。模型步骤step1：模型假设，选择模型可以选择线性模型，一元的或多元的ps：线性模型不仅仅只是一次的，也可以是n次的以及其他交叉的，只需将 xn 看作是一个特征即可step2：模型评估，如何判断众多模型的好坏（损失函数）对于线性回归选择误差平方和即可ps：这是一个凸函数，故在用gradient descent寻找最优

2021-07-14 23:30:11 227 2

原创 2021-07 李宏毅机器学习打卡Task01：机器学习介绍

Task01 机器学习介绍学习地址李宏毅机器学习B站视频地址李宏毅机器学习开源笔记地址论坛版块机器学习介绍人工智能AI/机器学习ML/深度学习DL之间的关系AI > ML > DLAI是目标，ML是想要达成目标的手段，DL是ML的其中一种方法。机器学习 ≈ Looking for a Function机器学习可以理解为让机器具有寻找一个function的能力，即让其根据提供的资料，寻找出需要的function。机器学习框架Step 1: define a

2021-07-12 18:57:27 204

qq_40258328的博客