黑白吾尝的博客

概述智能人工智能人工神经网络ANN的发展历史ANN与大数据ANN的基本特征ANN的基本功能ANN的应用领域智能智能（Intelligence） 是个体有目的的行为，合理的思维以及有效的适应环境的综合能力。或者说智能是个体认识客观事物和运用知识解决问题的能力。通常认为智能包含以下方面的能力：感知与认识客观事物、客观世界和自我的能力：人类生存最基本的能力，感知是智能的基础通过学习取得知识与积累经验的能力：人类能够持续发展的最基本的能力理解知识，运用知识经验去分析、解决问题的能力：智能的高级形式，人

神经元模型生物神经元的结构生物神经元的功能生物神经元信息处理机制M一P模型激活函数生物神经元的结构神经元是大脑组织的基本单元，是神经系统结构与功能的单位。不同的神经元形态不同，功能也有差异，其共性的结构简化如下：细胞体：神经元主体，由细胞核、细胞质、细胞膜等组成，细胞膜对细胞液中的不同离子通透性不同，使得产生离子浓度差，从而出现内负外正的静息电位树突：通过树突接受来自其他神经元的输入信号轴突：传出细胞体产生的输出电化学信号突触：神经元间通过一个的轴突末梢和其他神经元的细胞体或者树突进行通信连接

神经网络模型神经网络模型的分类按照拓扑结构分层次结构互连结构按照信息流向分前馈型网络反馈型网络前馈神经网络 VS 反馈神经网络神经网络模型的分类按照拓扑结构分层次结构单纯层次结构层内有互连输出层到输入层有连接互连结构全互连：每个节点都和其他所有节点连接局部互连：每个节点只与其临近节点有连接稀疏连接：节点只与少数相距较远的节点有连接按照信息流向分前馈型网络网络信息从输入层到各隐藏层再到输出层逐层前进。比如上面的单纯层次结构。前馈神经网络（FeedForward NN）：

概念云计算大数据人工智能云计算简单的讲，云计算就是把闲置的计算资源通过网络连接起来，形成一个资源池，供用户使用。用户按照使用量进行付费。这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池（资源包括网络，服务器，存储，应用软件，服务），这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。云计算提供存储和计算的基础设置，大数据是运行在其上的实际应用。大数据大数据是指 无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才

机器学习机器学习的定义分类相关概念机器学习的定义在不直接针对问题进行编程的情况下，赋予计算机学习能力的一个研究领域。——Arthur Samuel，1959一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能。——Langley，1996计算机算法的研究，并通过经验自动进行改善。——Tom M.Mitchell，1996对于某类任务T和性能度量P，如果一个计算机程序在T上以P衡量的性能随着经验E而自我完善，那么我们称这个计算机程序在从经验E学习

KNN：k-Nearest Neighbour，分类算法中最简单的算法之一，其核心思想是如果离某一个样本最近的k个样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。KNN不但可以预测分类，还可以做回归分析（预测具体的值）。有 N 个已知分类结果的样本点，对新记录 r 使用KNN将其分类的步骤：Step1：确定 k 值，确定计算距离的公式，比如欧氏距离Step2：计算 r 和其他样本点之间的距离dird_{ir}dir​，其中i∈(1,N)i∈(1,N)i∈(1,N)S

决策树构建流程：准备工作选择特征创建分支是否终止结果生成准备工作选择特征创建分支是否终止结果生成明确自变量和因变量确定信息度量的方式确定终止条件得到当前待处理子集计算所有特征信息度量得到当前最佳分类特征根据选中特征将当前记录分成不同分支分支个数取决于算法判断是否满足终止条件满足则退出循环不满足则继续递归调用判断是否需要剪枝需要则进行适当修剪不需要则为最终结果例：根据现有的电脑购买记录，对购买者建模。该模型可以基于客户的一些信息预测他是否会购买电脑。观察数据，明

简介K-Means属于划分聚类。其工作原理为根据初始化的聚类中心信息，计算每个样本到这些中心的距离，可以判断每个样本均归属于某个类簇，更新聚簇中心信息，重新计算每个样本到新的聚类中心的距离，重新划分样本到新的聚类中心对应的类中，重复进行，直到满足终止条件。实现已知N个样本点，使用K-Means将其聚类的步骤：Step1：确定聚类的个数 k ，并制定k个聚类的中心 C1,C2,...,CkC_1,C_2,...,C_kC1​,C2​,...,Ck​Step2：计算每个样本点SiS_iSi​到k个中心

关联规则（Association Rule） 是反映事物与事物间相互的依存关系和关联性的一个分析方法。如果两个或多个事物间存在一定的关联关系，则其中一个事物能够通过其他事物预测到。最常见的场景就是购物篮分析（MarketBasket）。通过分析顾客购物篮中的不同商品之间的关系，来分析顾客的购买习惯。经典案例就是啤酒与尿布。常见的关联规则算法有：Apriori算法ECLAT算法例：根据某超市的购物篮信息，分析顾客的购物习惯，制定货物摆放或者捆绑销售策略。流水购买商品1001

有监督学习算法（学习样本中有结果标记）分类算法Classification基于统计的：朴素贝叶斯（NB，Naïve Bayes）基于规则的：决策树（DT，Decision Tree）:ID3（迭代树3代，Iterative Dichotomiser）C4.5C50CART基于神经网络的：神经网络基于距离的：KNN（K最近邻，K-Nearest Neighbour）SVM（支持向量机，Support Vector Machine）……回归预测Regression线性回归（Linear

相关概念基本概念机器学习方法三要素模型策略损失函数风险函数范数基本概念输入空间：将输入的所有可能取值的集合称作输入空间输出空间：将输出的所有可能取值的集合称作输出空间输入空间 VS 输出空间输入空间和输出空间可以是有限元素的集合，也可以是整个欧氏空间输入空间和输出空间可以是连续值集合，也可以是离散值集合输入空间和输出空间可以是同一个空间，也可以是不同空间通常输出空间会比输入空间小特征：即属性。每个输入实例的各个组成部分（属性）称作原始特征，基于原始特征还可以扩展出更多的衍生特征。比如月

模型的评估与选择模型选择的原则模型评估的方法拆分数据集留出法（Hold-out）交叉验证法（Cross Validation）留一法（Leave-One-Out，LOO）自助法（Bootstrapping）几种方法的适用场景模型的性能指标分类模型常用的性能度量：聚类模型常用的性能度量：模型选择的原则误差（Error）：是模型的预测输出值与其真实值之间的差异训练（Training）：通过已知的样本数据进行学习，从而得到模型的过程训练误差（Training Error）：模型作用于训练集时的误差泛化（

在选择合适的评估方法和相应的性能度量时，计算出性能度量后直接进行比较，会存在以下问题：模型评估得到的是测试集上的性能，并非严格意义上的泛化性能，两者并不完全相同测试集上的性能与样本选取关系很大，不同的划分，测试结果会不同，比较缺乏稳定性很多模型本身有随机性，即使参数和数据集相同，其运行结果也可能存在差异上述问题按照统计学的知识描述为：已知两个模型 f1和f2 ，两者的泛化性能在测试集上的表现不同， f1好于f2 ，请检验在统计意义上 f1 是否好于 f2 ？这个把握有多大？用掷硬币问题描述上述

偏差（Bias）：描述的是根据样本拟合出的模型的输出预测结果的期望与样本真实结果的差距，即在样本上拟合的好不好。方差（Variance）：模型每一次输出结果与模型输出期望之间的误差，即模型的稳定性。噪声（Noise）：为真实标记与数据集中的实际标记间的偏差。通常由多种因素综合影响造成，不可去除。偏差度量了学习算法的期望预测与真实结果的偏离程度，刻画了学习算法本身的拟合能力。方差度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响。噪声表达了在当前任务上任何学习算法所能达

回归是处理两个或两个以上变量之间互相依赖的定量关系的一种统计方法和技术，变量之间的关系并非确定的函数关系，通过一定的概率分布来描述。线性（Linear）的严格定义是一种映射关系，其映射关系满足可加性和其次性。通俗理解就是两个变量之间存在一次方函数关系，在平面坐标系中表现为一条直线。不满足线性即为非线性（non-linear）线性回归（Linear Regression）：在回归分析中，如果自变量和因变量之间存在着线性关系则被称作线性回归。如果只有一个因变量一个自变量，则被称作一元线性回归，如果有一个因变

一元线性回归一元线性回归模型一元线性回归的参数估计最小二乘估计最大似然估计最大似然估计数学推导有偏估计与无偏估计参数估计的性质一元线性回归的显著性检验一元线性回归的残差分析一元线性回归模型的应用一元线性回归模型一元线性理论回归模型为：y=β0+β1x+εy=β_0+β_1x+εy=β0​+β1​x+εyyy 是因变量（被解释变量）β0β_0β0​ 是回归常数β1β_1β1​ 是回归系数xxx 是自变量（解释变量）εεε 是随机误差E(ε)=0E(ε)=0E(ε)=0，均值是0（期望是0

多元线性回归模型多元线性回归模型的参数估计最小二乘估计最大似然估计多元线性回归模型的显著性检验回归方程是否显著： F 检验回归系数是否显著：t 检验多元线性回归模型的相关系数自变量的标准化简单相关系数复相关系数与偏相关系数多元线性回归案例汽车油耗分析建模模型评估模型检验...

神经网络学习规则关于学习的定义学习规则的类型赫布法则赫布学习规则离散感知器学习规则连续感知器学习规则：δ规则最小均方学习规则外星学习规则关于学习的定义学习是指通过训练使个体在行为上产生较为持久改变的过程，一般来说效果随着训练的增加而提高，即通过学习获得进步。人工神经网络的功能由其连接的拓扑结构和网络的连接权值决定，其全体的权值 W 整体反映了神经网络对于所解决问题的知识存储。即一旦拓扑结构和权值确定，该网络就可以应用于新的数据得到结果。人工神经网络的学习就是通过对样本的学习训练，不断改变网络的拓扑结