qq_55841287的博客

首先数据经过前向传播（经过隐藏层和输出层）得到一个预测结果，然后预测结果和数据标签做损失，然后损失通过反向传播算法来更新模型的参数，直至收敛。

就是不断确定分裂点，将数据分开的过程。这个过程通过找到使得信息增益最大的数据特征及其特征值来确定分裂点，将数据分别左子树和右子树，然后不断对左右子树递归这个过程，直至达到我们对决策树的要求（比如限定了决策树的层数，限制了叶子节点的最小数据量之类的），叶子节点中样本数最多的类别就为这个叶子节点所属的类别。由于机器学习中，研究的都是一大堆数据，所以这里举一个包含多个数据的系统的信息熵，比如，这个系统中，我有100个数据，其中80个数据的标签为1，20个数据的标签为0，那么这个系统的信息熵该如何计算呢？

正则化为什么有效？答：正则化减小了或者去除了模型中某些特征对于预测值的影响，这些特征往往是我们不需要的特征，甚至是和预测值不相关的特征，比如噪声特征，降低了这种特征对预测值的影响后，模型的泛化能力就能得到进一步的提高；正则化是可以减小参数大小，可是为什么减少了参数大小就可以降低模型复杂度呢？答：参数大小减小后，导致在特征空间中，参数小的特征影响力降低，使得拟合曲线变得更为平滑，平滑后，模型看起来就不那么复杂了，实际参数数量可能并没有改变。# 加载波士顿房屋数据集# 不使用正则化。

用一个一元线性函数（y = kx+b）去拟合训练数据，从而达到预测同等分布规律的预测数据的目的；

近朱者赤，近墨者黑。一个元素周围的元素决定了这个元素的性质、类别。

因为不同特征之间量纲不一样，如果不进行归一化，特别又采用诸如欧式距离来衡量样本之间的距离的方法，那么量纲大的特征就会起决定性作用，这显然对于模型判断是不利的。

conda常见命令