Tensorflow学习笔记一——人工智能的发展

1.1 人工智能的发展
1.专家系统：20世界60年代末到70年代出现了知识库方法，典型应用为DENDRAL化学质朴分析系统
2.20世纪80年代末，BP算法出现，同时出现了很多基于数理统计学模型，比如机器学习 支持向量机，随机森林，逻辑回归
3.2006年，加拿大多伦多大学发现：
（1）多隐层的忍冬神经网络具有较好的特征提取能力，提取到的特征能够更精确的刻画数据
（2）通过“逐层初始化”的方法可以解决关于深度神经网络在训练上的难题
此理论支持下产生了DNN。DNN的经典应用：
DNN-Google-语音识别
CNN-图像识别
1.2 大数据
1.大数据：是不用随机分析法（如抽样调查）这样的捷径，对数据进行分析处理。
2.大数据的5大特点：大量，高速，多样，价值密度，真实性。
3.商业模式的展开研究是大数据产业健康发展的关键。
1.3 机器学习和深度学习
1.监督学习：从带有标注的训练数据中学习到如何对训练数据的特征进行判断。–分类和预测
2.无监督学习：从没有标注的训练数据中学习数据的特点或信息。–强化学习
3.SVM（支持向量机）
模型：线性函数 wTx+b=b+∑aixTXi；
4.深度学习:
深层网络训练中梯度消失问题的解决方案：无监督预训练对权值进行初始化+有监督训练微调。
5.
1.4 人工神经网络与TensorFlow
1.人工神经网络简称神经网络或者链接模型，是一种模仿动物神经网络行为特征，进行分布式信息处理的数学算法模型。
2.M-P神经元模型
3.感知机
（1）给定权重
（2）模型训练得到输出结果
（3）调整权重
（4）不断优化至不在出错
缺点：只对线性问题具有分割能力
优化方向：多层感知机-双隐层感知机—但是隐藏层权值无法训练
4.HOPfiled神经网络模型—循环神经网络，引入“计算能量”的概念，开创了网络稳定性判断依据，–联想记忆和优化计算。
5.并行分布式处理：对具有非连续性变换函数的多层感知及的误差反向传播算法进行陷阱的分析。实现了多层网络的摄像。
6.TensorFlow
1.5 其他主流深度学习框架介绍
现有的深度学习框架有 Caffe，Deeplearning4J，Microsoft Cognitive Toolkit(CNTK),MXNet,PaddlePadle,Theano,Torch等
1.Caffe
完成某一功能的神经网络被封装在相应的模块中，这个模块就是一个个的Layer。
Caffe中，数据以四维数组Blobs的方式存储和传递，每个Layer都可以接受数据，并在内部使用这些数据进行计算。
Caffe能很好的使用GPU进行运算，并且收集了很多经典模型，但是没有原生支持分布式的训练，需要使用第三方库—比如（CaffeOnSpark）。
Caffe底层是通过C++实现的，可以在多种平台上编译成功。
2.Torch
Torch 中新的layer需要用户实现 C++/CUDA
3.Theano
核心是一个可用于处理对魔神经网络训练的计算而设计饿数学表达式编译器。
4.MXNet
5.Keras
1.6 机器学习中常见任务
1.分类
MNIST手写字识别；对象识别
2.回归
回归算法经常被用在股市预测中
3.去燥
4.转录-语音转化为文字，图片中文字的提取
5.机器翻译
6.异常检测
7.结构化输出
1.7 深度学习的现代应用
1.计算机视觉
1.计算机视觉包含：画面重建，实践检测，目标跟踪，图像识别，索引建立，图像恢复
光学字符识别，人脸识别
2.自然语言处理—单词向量
3.语音识别