空港

最近一月在郫县大数据中心实训，实训的项目包括Python数据处理和Spark ML，我选的实训的结题项目为MNIST手写数字识别项目，一来是对学的Python知识进行总结，二来是对机器学习进行一个入门，特整理博客，梳理一下思路。 拿到这个题目，加上之前对于机器学习理论知识的学习，首先想到的是使用Tensorflow框架进行编写，因为Python实现较为多，也较为顺手，几乎不会遇到一些未知和无关的...

线性回归 Linear Regression 概念等同于数学中的线性回归模型，机器学习的本质是模型的拟合。 即在二维问题中求一条直线来拟合各个点（x,y） 其中x是自变量，或者叫输入参数/特征值，y是因变量，也就是结果/标签 （x一般在数学问题中叫做参数，在机器学习中叫特征值） 或者在多维问题中，求一个曲面（二维），或立体/域 来拟合所符合的各个点/域 假设一个n维问题中，输入n个特征...

SVM，全称是support vector machine，中文名叫支持向量机。 SVM是一个面向数据的分类算法，它的目标是为确定一个分类超平面，从而将不同的数据分隔开。 所谓支持向量机，顾名思义，分为两个部分了解，一什么是支持向量(简单来说，就是支持 or 支撑平面上把两类类别划分开来的超平面的向量点)，二这里的“机”是什么意思。我先来回答第二点：这里的“机（machine,机器）”便是一个...

判别方法：由数据直接学习决策函数 Y = f（X），或者由条件分布概率 P（Y|X）作为预测模型，即判别模型。 生成方法：由数据学习联合概率密度分布函数 P（X,Y）,然后求出条件概率分布P(Y|X)作为预测的模型，即生成模型。 由生成模型可以得到判别模型，但由判别模型得不到生成模型。 常见的判别模型有：K近邻、SVM、决策树、感知机、线性判别分析（LDA）、线性回归、传统的神经网络、逻辑斯...

摘录自知乎 1 抽象成数学问题 明确问题是进行机器学习的第一步。机器学习的训练过程通常都是一件非常耗时的事情，胡乱尝试时间成本是非常高的。 这里的抽象成数学问题，指的我们明确我们可以获得什么样的数据，目标是一个分类还是回归或者是聚类的问题，如果都不是的话，如果划归为其中的某类问题。 2 获取数据 数据决定了机器学习结果的上限，而算法只是尽可能逼近这个上限。 数据要有代表性，否则必然会过拟合。 而...

过拟合 所谓过拟合（over-fitting）其实就是所建的机器学习模型或者是深度学习模型在训练样本中表现得过于优越，导致在验证数据集以及测试数据集中表现不佳。 打个比喻就是当我需要建立好一个模型之后，比如是识别一只狗狗的模型，我需要对这个模型进行训练。恰好，我训练样本中的所有训练图片都是二哈，那么经过多次迭代训练之后，模型训练好了，并且在训练集中表现得很好。基本上二哈身上的所有特点都涵括进去...