机器学习入门笔记

机器学习的数据来源: 文件CSV(主要)
从历史数据中获取规律

为什么不用mysql:
1. 性能瓶颈,读取速度
2. 格式不太符合机器学习要求的数据格式

python中有强大的库: pandas,numpy
python中有GIL锁导致python这门动态语言执行效率不高.
机器学习的库都是基于numpy,而numpy释放了GIL锁,达成了真正的多线程并行
GIL锁只存在于cpython解释器中
历史原因:
1.加GIL锁是为了数据安全

数据集 = 特征值+目标值
特征工程: 是将原始数据转换为更好地代表预测模型的潜在问题的特征的过程,从而提高对未知数据的预测准确性(将特征处理为机器能够读懂的数据)
特征工程的意义: 特征工程的结果将直接影响预测的结果.
特征抽取: 文本,字符串 对文本等数据进行特征值化,为了计算机更好地理解数据
特征抽取API sklearn.feature_extraction

字典数据抽取
把字典中一些类别数据,分别转换成特征,对数值类型的不转化
数组形式,有类别的这些特征,先转换成字典数据
One-hot编码:将每个类别生成一个布尔列,这些列中只有一列可以为每个样本取值1.因此,俗称一个热编码