神经网络与深度学习笔记：概述

 一：硬计算与软计算

概述

AI的发展离不开算法的进步，由于AI的主要任务是模拟人脑等自然事物，而自然大多是模糊不精确的，因此计算方法上人们逐渐意识到使用精确的数学理论无法满足AI的发展需求，在传统工程与AI领域，人们常常使用严格精确的数学理论与函数公式进行数学建模产生精确解，例如控制论与专家系统，但是事实上，现实绝大部分问题非常复杂无法精确描述，因此专家开发出了几种不精确的计算模式：神经网络（学习）、模糊系统（决策）、遗传算法（优化），这些模拟自然的不精确算法统称智能计算方法，也被称为软计算，与之对应的精确算法称为硬计算。

发展历史

二：机器学习与深度学习概述

机器学习

机器学习（Machine Learning)是计算机模拟人脑学习行为的学科，一般的思路步骤如下：数据获取、预处理、特征提取、特征选择、推理预测识别，其中最重要的就是中间三步，统称特征表达，良好的特征表达对于系统起了决定性作用，然鹅机器学习对于此类操作都是手工提取的，而且需要大量专业知识。

深度学习

深度学习（Deep Learning)就是为了解决这一问题，人脑处理信息过程是分层的，其思想就是模拟
这个过程，堆叠多个层，上一层输出作为下一层输入，实现对信息的分层表达，更能提取结构化特征，其是浅层学习（传统神经网络）的一种延伸，区别之一就是使用更多的隐藏层，深度学习与浅层学习的训练方法不同，其数据量大，容易产生欠拟合与梯度扩散等问题，因此通常采用逐层训练的方法