机器学习2----第一天

机器学习概述

数据集的组成

格式不用mysql原因：
1、对于存储读取几M或几G文件数据时，读取速度慢。
2、格式不太符合机器学习要求的数据格式，还需要自己进一步处理数据格式。
所以一般企业中获取数据不在数据库中获取。
对于mongodb数据库，读取性能好，但是大多数都是以json格式，但是json格式又不太适合机器学习，所以数据还是得处理。

因此大多数数据以文件形式存储，如存储在csv文件中。

pandas读取存储数据非常快，它是基于numpy做的，而numpy速度很快。

python是动态性语言，有个全局解释器锁，当真正通过多线程进行操作时，如开启4个线程，但不是一起工作，而是每个时刻只有一个线程去工作。在机器学习这要认识到：我们这后边的才是真正的多线程，即4个线程并行工作，原因是numpy，之后所有库都是基于numpy的，numpy就是把GIL锁给释放了。

数据集的结构

可以用的现成

每个领域的数据基本都有

数据集常用的库网址

常用数据集的结构组成

特征值：机器学习的数据大多数是由特征组成的，但是不是所有的特征都是必要的，有一些可以删除，有一些可以做一些处理。
目标值：自己想做的事。

数据中对于特征的处理

当有重复值时，若有10个样本，还没学习好，则再把10个样本给他让他去学习，即又学习一些东西，所以在机器学习中不用对重复值进行处理。pandas就可以进行数据处理的工具，但只是处理一些简单的合并等简单操作，将数据处理好后，就可以进行机器学习了。

特征工程：对特征的处理。