weixin_47125742的博客

假设输入到ReLU的数据服从正态分布且对称点在x轴右侧，则说明大部分的数据都是可以激活ReLU的，可能会出现一种情况：即通过之前的线性变换。导致ReLU右侧的斜率变得很陡，那么梯度就会很大，从而w会发生较大的变化。因为在ReLU之前还要线性变换，可能就因为这一次w的变化使得。的输出分布的中心向左偏，例如-0.1，这就导致大部分数据都会被ReLU重置为0，梯度也为0，w不再更新，假设某ReLu层的输入x满足高斯分布，中心在+0.1，方差不会异常大。大多数输入为正，经过激活后保持原值，负输入将全部归零；

变量增加=维度增加，如果想要取得更好的效果，该维度下就要让数据更密集（即训练集更大），但如上图所示从起初的4个点到二维、三维下，需要将整个空间布满的点数成指数级增长，显然不可能有着么多图片供我们训练。KNN中的维度灾难为，在高维空间，数据变得异常稀疏，这就使得即使是最近的邻居数据点（相对近而已），所需计算数据点之间的距离也变得异常得远：例如二维下两点间距离公式。，而三维下又加一组变量，显然在距离上的变化变得更为敏感了。这导致了随着变量的增加，训练集所要求的数据量呈指数级的增长，计算量也随之变得异常大。

最近想换个框架，然后就选了tensorlow，用的是这本教材说实话，写的一般，而且它里面的很多程序已经用不了了，tensorflow比较特别，它现在的高版本不适应低版本，我自己拆过很多坑，比如如何在version2里面用version1，以及tensorboard打不开等等情况。我在下面列出来，有需要的可以看一下，希望大家不要再踩坑了！！！！！我就举相似的例子，实际情况要根据那么自己出的问题来解决，另外我用的是tensorflow2.5第一个：出现类似报错：error: AttributeError:

代码、数据集、文章我都是放到了https://github.com/AAAZC/SVM_blog上面了，文章在issues里面，建议上这个网站看《机器学习实战》：通俗理解支持向量机关于这篇文章​ 《机器学习实战》终究只是一本实践型的书籍，它更多地是为了带着读者去了解算法的使用，而减少了理论部分的比重。就如第六章：支持向量机，它里面最关键的分类器求解优化问题只有不到两页。支持向量机的知识本来就晦涩难懂，这下更难看懂了，但是这本书仍然是一本很好的入门教材，我相信还有很多的同学在使用这本优秀的教材，所以我

如下图所示，这个是MNIST的神经网络，在学习CNN的过程中我我发现一个问题，为什么单通道的输入图像卷积之后变成了32个通道这个是我自己的想法：官方的说法就是通道数就是使用的卷积核的个数，其实说的通俗一些就是：像下面这张图一样，假设我们输入的图是RGB3通道的，如果我们只卷积一次，就只会输出一个值，但是输入图片是三个通道的，现在通道倒反还减少了，我觉得这样不好，所以我又做了一个卷积核再让他卷积（卷积核的形状一样，但是里面的w都是随机值，所以不用担心卷积的结果会重复），于是现在输出就有两个了，然后我们就可

矩阵是一种映射

在学习数据准备的时候遇到一个问题让我想了很久：就是from sklearn.preprocessing import LabelEncoder里面的这个fit_transform到底是个什么意思？它输出的序列到底是什么？我翻了很多本站点的文章都没能解决我的问题，查的资料都说这个是将数据标准化了，那你倒是说啊，以什么为标准化，标准化的方法太多了。在想清楚以后我给出我的理解：我们直接看代码#我们先看看fit是啥from sklearn import preprocessingle = preproc