weixin_51194902的博客

注意：这篇文章需要有logistic回归基础，可以参考我的这一篇文章吴恩达机器学习：从单变量线性回归到Logistic回归1. 神经网络概念首先我们要了解神经网络的形式，之所以被叫做神经网络，是因为它的工作原理和人的大脑神经相似。这是一个房屋预测的案例，我们输入房屋的大小，卧室的个数，邮政编码，财富，经过神经元的一系列计算，得到预测值price（房屋的价格）1. 前向传播和反向传播1.1. 前向传播假设我们有个神经网络，有这样一个代价函数J(a,b,c)=3(a+bc)=3(5+3×2.

1. 决策树1.1. 决策树的定义决策树，顾名思义是用来做决策的，当我们决定一件事情要不要做的时候，会有很多条件。举个例子，我们决定明天要不要去打高尔夫，那么我们会考虑到明天的天气，温度等情况。这里的天气和温度就是特征，是否去打高尔夫就是类别标签。我简单画个图决策树的学习过程包括：特征选择、决策树生成、决策树剪枝。下面我将围绕这些过程讲解1.2. ID3算法这里要引入一些概念数据集的信息熵，信息熵反映了一个数据集的纯度，信息熵越大，样本纯度越低，不确定性越大。信息熵的计算公式条件熵，在