机器学习大致可以分三类:
有监督学习:指每个样本都有对应的期望值,通过模型搭建,完成从输入的特征向量到目标值的映射,典型的例子是回归和分类问题,例如:逻辑回归、随机森林、决策树。
无监督学习:指在所有的样本中没有任何目标值,期望从数据本身发现一些潜在的规律,例如一些简单的聚类K-means、DBSCAN等。
增强学习:相对来说比较复杂,是指一个系统和外界环境不断交互,获得外界反馈,然后决定自身的行为,达到长期目标的最优化。其中典型的案例就是Alpha Go围棋,或者无人驾驶。
阿里云机器学习平台是构建在阿里云是构建在阿里云Maxcompute计算平台之上,集数据处理,建模,离线预测,在线预测为一体的机器学习平台。阿里云机器学习封装了阿里巴巴集团内成熟的算法,向机器学习用户提供了更简易的操作体验。
该智能平台主要分为三层:
第一层:web UI界层;
第二层:机器学习算法层;
第三层:Maxcompute平台层。
Web UI界面主要由下区域组成:
主要功能区:展示了个各组件名称
画布区:使用者可以用鼠标相应的组件拖拉到画布上,形成一个有向的工作流,完成从数据到数据处理,再到建模等一系列的数据挖掘工作。
属性区:该区域可以设置组建内参数的信息。
阿里云机器学习的基础架构:
基础设施层:CPU计算集群
计算框架层:包括MaxReduce,SQL,MPI等计算方式,分布式计算框架主要执行并行化计算分发任务。
机器学习PAI的优点:1.算法丰富 2.深度学习(GPU) 3.可视化操作界面
4.一站式服务
同时,PAI的深度学习支持算法框架:1.Tensorflow 2.Caffe 3.MXNet
在机器学习平台上完成以下基本任务:
开通机器学习服务
数据准备
数据预处理
数据可视化
算法建模
模型评估
其中数据准备阶段,机器学习平台底层支持两种数据源,一种是MaxCompute存储数据,另一种是OSS存储数据。
注意:使用MaxCompute作为存储,建议当数据小于20MB时使用机器学习IDE环境上传,当数据大于20MB时使用命令行工具上传。
开通机器学习PAI,并且创建项目,开通时注意自己选择的地域。
2.数据准备,进入机器学习平台,单击数据源,创建表。
IDE端上传数据到Maxcompute
OSS上传数据创建新空白数据
3. 数据准备完成后,单击组件,在工具和数据预处理文件夹下将SQL脚本、类型转换、归一化组件拖到画布中,并拼接成如下实验。
4. 数据可视化
5. 在机器学习->二分类文件夹下,将逻辑回归二分类组件拖入画布。
在右侧的字段设置页签,将目标列设置为ifhealth,训练特征列选择除目标列以外的全部列,并拼接运行,如下图所示。
6.模型评估
在机器学习->评估文件夹下,将二分类评估组件拖入画布。在画布右侧的字段设置页签,将原始标签列列名设置为ifhealth,并连接对应的组件流和数据流。
单击运行。完成后右键单击二分类评估组件,选择查看评估报告,单击图表页签,得到不同参数下训练的LR模型的ROC曲线,如下图所示。
喜欢记得来一个
“哪吒头”—玩转小潮流