- 博客(16)
- 收藏
- 关注
RSS订阅原创 机器学习笔记12_激活函数的重要性
因此也会给神经元引入非线性元素，使得神经网络可以逼近其他的任何非线性函数，这样可以使得神经网络应用到更多非线性模型中。而引入激活函数之后，我们会发现常见的激活函数都是。它从每一层的输出，我们都使用一个线性激活函数。纯粹的线性组合并不能够解决更为复杂的问题。假设我们构建一个只有一个输入的神经网络。其实本质就是，每一层都使用线性激活函数。最终它只能算作一个线性回归模型。因为，如果不使用激活函数。这样整个网络无论多复杂。
2023-11-13 17:03:37
54
原创 机器学习笔记11_如何选择激活函数
就是我熟知的 sigmoid 函数非常适用于二分类问题这里可以近似认为没有使用激活函数g（z）= z适用于结果有正有负，并且结果线性递增的情形比如：预测股市价格g（z）= Max（0，z）适用于结果只有非负数的情形比如：预测房价当前深度学习领域的从业人员在隐藏层大多数情况下都会使用 ReLU 函数原因如下：
2023-11-13 16:25:19
50
原创 机器学习笔记10_从零开始训练一个神经网络
这个代码片段指定了神经网络的整个架构根据这个代码片段，TF 可以根据上一层和下一层神经元的数量，自动计算 W 和 b 的维度最后告诉 TF 可以以函数形式，计算输出（output）所需要的一切（注：这里的 w 和 b ，一开始是随机生成的，会根据后面的步骤不断更新和优化）在这一步中，我们指定一个，就可以告诉 TensorFlow 如何计算和推断。
2023-11-13 15:47:13
31
原创 机器学习笔记09_神经网络前向传播的实现
dense 函数的作用：输入前一层激活并给定当前层的参数最后输出下一层的激活定义一个函数几个全连接层就可以按顺序的串联起来就可以实现在神经网络中的前向传播注：大写字母表示矩阵，小写字母表示向量和标量。
2023-11-13 13:24:29
51
原创 HexPlane论文阅读笔记__简略叙述版
传统方法依赖于隐式表示，需要进行多次多层感知机（MLP）的评估，导致速度较慢。目前还不清楚在一些特殊情况下，如极端光照条件或复杂的动态场景中，HexPlane方法是否仍然有效。因此，为了进一步提高输出结果的质量，论文中引入了一个深度MLP网络来对颜色和σ进行再次回归。通过使用深度MLP，HexPlane能够在保持高效性的同时，实现更准确和真实的输出结果。小型的MLP可能无法很好地捕捉到复杂的动态场景中的细节和变化。在每一个时间戳下，获取到当前时刻的（x，y，z，t）而深度MLP能够学习到更复杂的特征表示。
2023-10-22 18:13:49
186
1
原创 HexPlane复现——从零搭建笔记
来自的密歇根大学的研究者提出了「HexPlane」，一种能高效合成动态场景新视图的方法。在三维视觉中，动态三维场景的建模和重渲染是一项具有挑战性的任务。目前许多基于NeRF的方法在该任务中依赖于隐式表示，由于大量的MLP评估，这相对较慢，限制了现实世界中的应用。作者发现动态3D场景可以由六个特征平面显式表示，从而产生了一个名为HexPlane的优雅解决方案。作为一种显式表示，HexPlane通过融合从每个平面提取的向量来计算时空点的特征，这是有效且高效的。
2023-10-21 22:19:58
263
4
原创 机器学习笔记08_关于正则化（regularization）
简述正则化是针对减少过拟合出现的概率的数学处理手段具体的处理是放在了 梯度下降这一步骤中。
2023-10-15 20:53:10
72
2
原创 nerfstudio复现___踩坑坑坑坑坑指南
nerfstudio官方网站：Data conventions - nerfstudio如果想要训练自己的数据集，那么还需要注意：查看自己显卡的类型：图源：AI脑洞君 查看显卡支持的cuda版本：Torch 2.0.1 with CUDA 11.8下载nerfstudio源码有两种方法，任选其一即可但第二种方法速度更快一些或者官网给出的数据集下载地址，下不起一点......可以直接用命令下载数据集，需要先在项目下建立data/nerfstudio的
2023-10-14 02:49:54
1369
5
原创 机器学习笔记07__过拟合及如何解决过拟合问题
直白一点解释就是算法非常非常努力的去拟合训练集中的每一个样本从左到右依次为：欠拟合、刚刚好、过拟合可以发现过拟合的函数曲线波动非常大，也意味着它的方差非常大因此，过拟合有时也称之为 高方差同理，欠拟合也被成为高偏差更具体一点的去解释过拟合如果两个程序员使用同一个过拟合算法，使用同一个新样本去预测结果两人得出的预测值会偏差非常大，尽管算法在之前的训练集上表现的非常非常好为什么要避免过拟合就是因为过拟合的算法在训练集上表现得很好但是于此同时，泛化能力就会变得很差一旦遇到没有见过的数据。
2023-10-09 17:08:44
44
1
原创 机器学习笔记06_逻辑回归模型的代价函数
因此，我们在逻辑回归模型中重新定义了代价函数把积分外面的拿到了里面来，对于本身的 J 来说并不影响数值然后把 J 中蓝色框中的部分，用一个重新定义的函数来表示，我们称它为损失函数（loss function）进行取对数的处理，抵消之前放进损失函数里的，再加上一个负号因为真实标签有 0 和 1 两个取值，因此，把损失函数按情况定义为分段函数当真实标签= 1 时，图像如上图所示当真实标签= 0 时，图像如上图所示。
2023-10-09 15:50:23
50
1
原创 机器学习笔记05_逻辑回归模型
把 z 带入逻辑回归函数（sigmoid function），就可以输出一个0-1之间的数。把特征和权重通过特定的方程进行处理，这里以线性回归方程为例。逻辑回归简单来说就是，帮助人们去分类或者判断是否的模型。也就意味着，逻辑回归模型一定会输出一个0-1之间的数字。输入特征或特征集X，然后输出0-1之间的数字。通过大量的输入，输出有限个 y。
2023-10-02 22:08:53
18
1
原创 机器学习笔记04__如何选择学习率
前提背景：线性回归模型在进行选择学习率之前，我们要保证模型的学习曲线是收敛的只有得到收敛的学习曲线，w 和 b 才能得到最优解因此，在选择合适的学习率之前，我们可以先绘制出学习曲线这是一个正常的学习曲线，代价函数在不断下降并且最终收敛当然，还有一种方法可以判断代价函数是否收敛，它叫做我们提前人为的设定一个很小很小的阈值，如果代价函数一旦小于这个阈值就可判断此时代价函数已经收敛但是我们并不推荐这个方法因为，通常选出正确的阈值是非常非常困难的，我们并不能提前知道它会在什么时候收敛。
2023-10-02 16:45:34
56
1
原创 机器学习笔记03_加速梯度下降算法——特征放缩（feature scaling）
如图所示，当有的特征取值范围的数值很大，有的特征取值范围数值很小那么为了去匹配真实数据，就要给数值大的特征点乘一个数值比较小的权重同理，也要给数值小的特征点乘一个数值比较大的权重如果不按照上述方法安排权重大小，那么取值范围小的特征将会被忽略接着上面的说我们做出这样的安排之后，对于代价函数的等高线图（图1的右边那个图），就会变得又高又瘦此时，尽管我的 w1 只是进行了微小的变动，梯度下降的步幅也会变得很大这样会导致我们在寻找局部最小点的时候，会在最优解的周围来回浮动，导致梯度下降算法运行过慢。
2023-10-02 16:02:50
136
1
原创 机器学习笔记01_为什么方差代价函数要使用平方而不直接使用误差的绝对值？（最全解析）
线性回归模型被假设为其中和 b 被称为模型参数，通过调节合适的和 b 的大小，可以使得预测值更接近真实数据。但是和 b 值的大小，我们可以有很多个选项，那么如何比较不同的和 b 之间，哪一组预测的输出更接近真实数据呢？因此，我们引入了代价函数（Cost fuction）
2023-10-01 17:44:55
409
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人