数据分析有关概念理解

机器学习的这个过程 机器学习就是要拟合某种分布或者说某种函数 ，确定好某种函数后 ， 就是对这个函数的参数做求解，而训练的过程就是参数求解的过程。机器学习更注重底层逻辑 ，深度学习是机器学习的一种 ，深度学习更容易。

数据建模：数据清洗（缺失值和异常值处理）完了之后，进行可视化展示，然后我们使用一条线去拟合这些点，这条线就是一个函数，有了这个函数我们就可以进行预测，这个函数就是一个模型，这就是数据建模的过程。

拟合就是一个求解的过程

大数据、数据挖掘与数据分析的区别

​ 数据分析更多采用统计学的知识，对源数据进行描述性和探索性分析，从结果中发现价值信息来评估和修正现状。而数据挖掘不仅仅用到统计学的知识，还要用到机器学习的知识，这里会涉及到模型的概念。数据挖掘具有更深的层次，来发现未知的规律和价值。

​ 从侧重点上来说，相比较而言，数据分析更多依赖于业务知识，数据挖掘更多侧重于技术的实现，对于业务的要求稍微有所降低。

​ 从数据量上来说，数据挖掘往往需要更大数据量，而数据量越大，对于技术的要求也就越高。

​ 从技术上来说，数据挖掘对于技术的要求更高，需要比较强的编程能力，数学能力和机器学习的能力。

​ 从结果上来说，数据分析更多侧重的是结果的呈现，需要结合业务知识来进行解读。而数据挖掘的结果是一个模型，通过这个模型来分析整个数据的规律，一次来实现对于未来的预测，比如判断用户的特点，用户适合什么样的营销活动。显然，数据挖掘比数据分析要更深一个层次。

​ 综上，大数据是互联网上海量的数据挖掘，而数据挖掘更多的是针对企业内部的小数据挖掘，数据分析是进行有针对性的分析和诊断。大数据需要分析的是趋势和发展趋势，而数据挖掘主要是发现问题和诊断。

​ 数据模型是数学公式，也可以是图像等等。数学模型就是为了某种目的，用字母、数字及其它数学符号建立起来的等式或不等式以及图表、图象、框图等描述客观事物的特征及其内在联系的数学结构表达式。用来描述数据、组织数据和对数据进行操作，是对现实世界数据特征的描述。可以理解成具有若干个参数的数学公式。

​ 数据分析中的机器学习，用算法把数据进行处理，形成数据模型，每次传入新的数据都能更新原来的数据模型，越特别的数据更新的内容越多，信息量越大。

​ 特征设置和指导机器的过程就是一个有监督的数据训练的过程，机器反馈和人工调整的纠正是前向的传播和反向的传播的算法执行过程。

非线性模型往往可以线性化为线性模型，方法是把非线性模型在工作点邻域内展成泰勒级数，保留一阶项，略去高阶项，就可得到近似的线性模型。

♥♥：自己定义的函数体可以叫数据模型，函数体内的执行步骤叫算法。机器学习中的算法和数据模型也是如此

​ 算法：我们教他怎么计算的，这种方法计算，比如里面一加一等于二，你计算的是一加二等于三，那这样的话就是你这就是里面计算的这种方式了，计算方式我们可以叫他算法，计算的方式。

​ 数据模型：所谓的数据模型或者数学模型，就是从一堆数据，一堆数据形成的一种形状，我们叫做模型。你来一个数据，我就能知道这个数据它对应的是啥，比如a，赋值93，那么就对应93，这都可以叫做一个模型。因为他有一个对应，那这个对应是怎么形成的，其实是一堆数据经过计算形成的，所以这叫数据模型，如果要用把一堆复杂的解出来，那么他一定是有算法在里面的，就是通过算法来进行形成的。所以就说数据模型是表达抽象事物的，世界上所有的事情都可以通过数学来进行表达，数据模型就是其中的一种表达方式。

因为数据模型是这种对应的规律，也是相对应的这种规律，我们把它数据模型也可以叫做数学模型，因为数据模型的话，他总是有数学的关系在里面，我们才叫他数学模型，所以数据模型和数学模型它都是一个意思。

​ 算法的质量优劣：算法做一些分类，或者做一些排序的话，它是有排的快，有排的慢对吧，那这个的话它就是有质量，因为效率它不一样，所以有高质量。

​ 优质的数据模型：数据模型中的算法可以有几个函数的一个组合，比如你在这一段用了X加一等于Y，你在那个函数就可能等于X方等于Y，他有可能是几个数学函数的一个组合，这样的话就是我们的数据越多，他哪一段更符合哪个性质，哪一段更符合哪个曲线。这样的话，通过训练学习，然后就能够形成最优秀的数学模型（得到最理想图像或者抽象的表达）。