一、机器学习概念
机器学习顾名思义是让机器能够像人类一样具备学习能力,能够感知世界、认知世界和改造世界。
首先我们看看人类和机器是如何学习的:
机器学习本质就是通过数据训练,使用算法挖掘事物背后隐藏的规律和本质,得到模型。
二、机器学习相关领域
机器学习相关的一些领域包括人工智能、大数据、深度学习等,它们之间的关系如下图:
三、机器学习怎么学习?
机器学习运作机理大概如下图:
训练数据集:从历史数据集中拿出一部分数据作训练集,用来训练模型;
算法选择:一般会根据业务场景和经验从多种算法中,选定一个适合该业务场景的算法
模型训练:通过算法+数据(训练集)进行训练,得到初步的模型;
模型评估:输入测试集,通过一些指标,如准确率,评估模型的好坏;如果模型好则使用该模型,
如果模型评估结果不好,则通过调整训练集、调整算法参数甚至更换算法,不断调整模型;
模型使用:将需要预测的数据输入至模型,得到最终的预测结果
四、机器学习的分类
从学习方式来说,机器学习还可分为监督学习、非监督学习、半监督学习,学习过程和上图类似,
主要区别在于训练数据集里告不告诉机器正确答案。
训练集给定了正确答案的叫监督学习,主要用于分类预测和回归预测
训练集未指定正确答案的为非监督学习,主要用于聚类
五、机器学习算法
机器学习重要的几个算法。
决策树 :基于规则的一种分类算法
朴素贝叶斯 :基于概率的一种分类算法,主要用于文本的分类
SVM :主要用于非线性可分的分类算法
KNN :基于距离的一种分类算法
线性回归:主要用于预测目标结果为连续值的问题
逻辑回归:主要用于预测目标结果为离散值的问题
神经网络 :主要用于深度学习机器学习
六、常见的算法引擎
SparkML
R
sklearn
Caffe
pytorch
tensorflow
kera
mxnet