机器学习与神经网络的本质（高屋建瓴）

1、机器学习中的学习到底指什么？

以神经网络为例，向神经网络提供数据，并确定符合这些数据的神经元权重和偏置的过程就称为学习。

2、机器学习与优化理论的关系是什么？

机器学习中的学习 == 数学上的最优化，神经网络学习中，梯度下降就是其中一种求解参数的优化方法。

3、神经网络与最小二乘法的关系是什么？

神经网络与最小二乘法在本质上没什么区别，但是最小二乘法需要优化的参数很少。但是使用神经网络的话，它的内部具有很多很多的线性函数和非线性函数，需要优化的参数很多。但是神经网络可以拆开为子单元并行计算，这也就是GPU在神经网络计算中大放异彩的原因。

4、神经网络（深度学习）与工程应用

深度学习本身是一个解决高维度输入的强大工具，但是也只是工具而已。作为工程师，一定是具体问题具体分析。深度学习回归能力强，但是参数也很多，解释性弱。抖音可以根据你的喜好给你推荐，错了也没关系，谷歌翻译、siri...也是同样的道理。但是作为工业领域的工程师，如果解决的是实际问题，那么你就需要非常小心了。