一些乱七八糟的概念

神经网络

神经网络是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。神经元为神经网络中的基本组成单位

神经元模型

如图所示，每个神经元的输入包含多个变量x1~xn以及一个偏置值b，同时输出h(x) = f(w1*x1+w2*x2+w3*x3+b)，f(x)为激活函数。

激活函数

激活函数是用来加入非线性因素的，因为线性模型的表达力不够

对于图像，我们主要采用了卷积的方式来处理，也就是对每个像素点赋予一个权值，这个是线性的。但是对于我们样本来说，不一定是线性可分的，为了解决这个问题，我们可以进行线性变化，或者我们引入非线性因素，解决线性模型所不能解决的问题

构建稀疏矩阵，也就是稀疏性，这个特性可以去除数据中的冗余，最大可能保留数据的特征，也就是大多数为0的稀疏矩阵来表示。

例如Relu，它就是取的max(0,x)，因为神经网络是不断反复计算，实际上变成了它在尝试不断试探如何用一个大多数为0的矩阵来尝试表达数据特征，结果因为稀疏特性的存在，反而这种方法变得运算得又快效果又好了。

分类器

分类器是数据挖掘中对样本进行分类的方法的统称，包含决策树、逻辑回归、朴素贝叶斯、神经网络等算法
线性分类器：即用一个超平面将正负样本分离开，表达式为 y=wx。这里是强调的是平面。
非线性分类器：可以是曲面，多个超平面的组合等。