AI333888的博客

1.自我介绍2.介绍论文和项目3.详细问了一下论文中的解决思路和方法4.用公式详解BP原理5.详细介绍一个你了解的DL模型，我就介绍了YOLOv3，说到loss function的时候面试官说不用说了6.卷积是空间不变性还是时间不变性7.CNN网络有哪些层8.pooling分几种，分别有什么特点和作用9.解决过拟合的方法10.分别介绍L1和L2正则化的方式和优缺点11.主要使用的语言和框架12.作为一个机械的学生为什么会想到做DL，怎么克服困难自学的？

定义：最小二乘法（又称最小平方法）是一种数学优化技术，它通过最小化误差的平方和寻找数据的最佳函数匹配。作用：利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。原则：以”残差平方和最小”确定直线位置(在数理统计中，残差是指实际观察值与估计值之间的差)数学公式：基本思路：对于一元线性回归模型, 假设从总体中获取了n组观察值（X1，Y1），（X2，Y2）， …，（Xn，Yn），对于平面中的这n个点，可以使用无数条曲线来拟合。

这里再重复一下标题为什么是"使用"而不是"实现"：首先，专业人士提供的算法比我们自己写的算法无论是效率还是正确率上都要高。其次，对于数学不好的人来说，为了实现算法而去研究一堆公式是很痛苦的事情。再次，除非他人提供的算法满足不了自己的需求，否则没必要"重复造轮子"。

(简单介绍一下支持向量机，详细介绍尤其是算法过程可以查阅其他资)在机器学习领域，支持向量机SVM(Support Vector Machine)是一个有监督的学习模型，通常用来进行模式识别、分类(异常值检测)以及回归分析。其具有以下特征：(1)SVM可以表示为凸优化问题，因此可以利用已知的有效算法发现目标函数的全局最小值。而其他分类方法都采用一种基于贪心学习的策略来搜索假设空间，这种方法一般只能获得局部最优解。(2) SVM通过最大化决策边界的边缘来实现控制模型的能力。

作为新兴起的、高度灵活的一种机器学习算法，随机森林（Random Forest，简称RF）拥有广泛的应用前景，从市场营销到医疗保健保险，既可以用来做市场营销模拟的建模，统计客户来源，保留和流失，也可用来预测疾病的风险和病患者的易感性。最初，我是在参加校外竞赛时接触到随机森林算法的。最近几年的国内外大赛，包括2013年百度校园电影推荐系统大赛、2014年阿里巴巴天池大数据竞赛以及Kaggle数据科学竞赛，参赛者对随机森林的使用占有相当高的比例。

需要我们剖析业务场景，设定清晰的目标，明确当前问题属于哪一种机器学习类型。本文首先介绍了机器学习，了解了机器学习是一种从数据生成规则、发现模型，来帮助我们预测、判断、分组和解决问题的技术，并对机器学习的分类以及深度学习做了总结，其次，介绍了怎么利用 juypter 进行机器学习的环境准备，安装相关机器学习包进行可视化数据的处理、分析及展示。

随机森林也是集成方法的一种，是对Bagging算法的改进。随机森林主要有两步组成：1）有放回的随机抽取样本数据，形成新的样本集。这部分和Bagging算法一样，但是有两点需要注意：a）新的样本集的大小和原始样本集的大小是一样的。假如原始样本有1000个数据，那么新样本集也要包括1000个数据，只是新样本集里面会含有部分重复的数据，这样可以避免过度拟合的问题。b）每生成一个决策树，都需要重新对原始数据进行取样。假如进行k次训练(即生成k课树)，那么就需要重复k次这个动作2）无放回的随机抽取属性列。

Mean-shift（即：均值迁移）的基本思想：在数据集中选定一个点，然后以这个点为圆心，r为半径，画一个圆(二维下是圆)，求出这个点到所有点的向量的平均值，而圆心与向量均值的和为新的圆心，然后迭代此过程，直到满足一点的条件结束。(Fukunage在1975年提出)后来Yizong Cheng 在此基础上加入了 核函数 和 权重系数 ，使得Mean-shift 算法开始流行起来。目前它在聚类、图像平滑、分割、跟踪等方面有着广泛的应用。

AP(Affinity Propagation)通常被翻译为近邻传播算法或者亲和力传播算法，是在2007年的Science杂志上提出的一种新的聚类算法。AP算法的基本思想是将全部数据点都当作潜在的聚类中心(称之为exemplar)，然后数据点两两之间连线构成一个网络(相似度矩阵)，再通过网络中各条边的消息(responsibility和availability)传递计算出各样本的聚类中心。

K-means算法是最为经典的基于划分的聚类方法，是十大经典数据挖掘算法之一。K-means算法的基本思想是：以空间中k个点为中心进行聚类，对最靠近他们的对象归类。通过迭代的方法，逐次更新各聚类中心的值，直至得到最好的聚类结果。

(只是简单介绍下理论内容帮助理解下面的代码，如果自己写代码实现此理论不够)1） BP神经网络是一种多层网络算法，其核心是反向传播误差，即： 使用梯度下降法(或其他算法)，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层（input）、隐藏层(hidden layer)和输出层(output layer)，每层包含多个神经元。2）BP神经网络示例图上图就是一个简单的三层BP神经网络。

线性判别式分析（Linear Discriminant Analysis），简称为LDA。也称为Fisher线性判别（Fisher Linear Discriminant，FLD），是模式识别的经典算法，在1996年由Belhumeur引入模式识别和人工智能领域。基本思想是将高维的模式样本投影到最佳鉴别矢量空间，以达到抽取分类信息和压缩特征空间维数的效果，投影后保证模式样本在新的子空间有最大的类间距离和最小的类内距离，即模式在该空间中有最佳的可分离性。LDA与PCA都是常用的降维技术。

我们将使用Haar级联分类器来检测图像中的车牌号码。Haar级联分类器是一种有效的目标检测方法。它是一种基于机器学习的方法。要训练车牌分类器，该算法最初需要大量正图像（带有车牌的图像）和负图像（没有车牌的图像）。分类器会从这些正的和负的图像中训练。然后用它来检测其他图像中的物体（车牌）。我们可以使用已经训练好的haar级联来进行目标检测。

我们首先检测图像中的所有对象轮廓以检测多边形。然后遍历所有轮廓。为每个轮廓查找近似的轮廓。如果近似轮廓中的顶点点数为5或更多，则将其绘制为三角形。请参见下面的伪代码。for cnt in contours: approx = cv2.approxPolyDP() if len(approx) >= 5: cv2.drawContours() cv2.putText("Polygon")步骤我们可以使用以下步骤来检测图像中的多边形：导入所需的库

OpenCV提供了函数用于在图像上绘制带箭头的线条。该函数带有不同参数以绘制线条，请参阅以下语法。- 线条的起始坐标，格式为(width, height)。- 线条的结束坐标，格式为(width, height)。- 线条的颜色。红色颜色在BGR格式下传递(0, 0, 255)。- 线条的厚度，以像素为单位。- 线条的类型。- 分数位数。- 箭头长度相对于线条长度的比例。- 返回绘制了线条的图像。

要在图像上绘制填充椭圆，我们使用方法。该方法接受不同的参数以绘制不同类型的椭圆。

要在图像上绘制折线，我们使用方法。我们可以在图像上绘制开放或关闭的折线。在绘制开放折线时，第一个和最后一个点不连接。

我们使用方法来提取图像中的前景。请按照以下步骤详细操作。使用方法读取输入图像。指定完整的图像路径。定义变量：和定义矩形“”，包括前景对象的坐标，格式为。正确的坐标对提取有意义的前景非常重要。应用grabCut（）算法来提取输入图像的前景。将和作为参数传递给算法。我们将模式应用为，因为我们使用矩形。获取新掩模mask2。将新掩模与图像相乘以找到分段图像（前景）。显示提取的前景。让我们来看一个程序示例，以更好地理解。

凸包看起来类似于轮廓近似，但它并不完全是轮廓近似。凸包是一个凸的曲线，围绕着一个物体。凸曲线总是鼓出或至少是平的。凸包可以找到凸性缺陷并进行纠正。

我们使用来找到图像的离散余弦变换。此函数将dtype float32的灰度图像转换为变换图像。它接受两种类型的标志或。为了将变换后的图像转换回原始图像，我们使用。