1.概念
从历史数据中寻找规律,用于解决未来不确定的问题。分2个方向数据分析和机器学习。不同的算法找出来的规律不同。概率论和数据统计2门学科是基石。
2.机器学习的原动力
用数据代替专家,不希望靠专家。经济驱动,数据变现,受大数据的影响。
3.模式
离线学习 和在线学习
4.应用
啤酒和纸尿裤的例子 精准营销(全球通-成功人士,动感地带-学生,神舟- 务工人士) 垃圾邮件的识别 信用卡欺诈-决策树 搜索引擎 电商的推荐系统 情感分析
实体识别 深度学习(人脸识别)
5.职位 机器学习和数据分析的区别
交易数据(一致性必须高),必须用关系型数据库 行为数据(一致性不高),只能用nosql数据库
机器学习是预测未来,数据分析强调是历史
数据分析师能处理的维度是有限的,人驱动。机器学习是靠算法来驱动的,可以有大量的维度。
机器学习客户是个体,数据分析客户是公司的老板
6.机器学习常用算法
分类算法 回归算法 聚类算法 标注算法 生成模型 判别模型(给一个函数,数据丢进去,直接给结果)
AdaBoost(人脸识别) FP-Growth 逻辑回归 RF、GBDT 深度学习
7.机器学习的框架 ,算法都在里面
确定目标 业务需求 收集数据 特征工程
从历史数据中寻找规律,用于解决未来不确定的问题。分2个方向数据分析和机器学习。不同的算法找出来的规律不同。概率论和数据统计2门学科是基石。
2.机器学习的原动力
用数据代替专家,不希望靠专家。经济驱动,数据变现,受大数据的影响。
3.模式
离线学习 和在线学习
4.应用
啤酒和纸尿裤的例子 精准营销(全球通-成功人士,动感地带-学生,神舟- 务工人士) 垃圾邮件的识别 信用卡欺诈-决策树 搜索引擎 电商的推荐系统 情感分析
实体识别 深度学习(人脸识别)
5.职位 机器学习和数据分析的区别
交易数据(一致性必须高),必须用关系型数据库 行为数据(一致性不高),只能用nosql数据库
机器学习是预测未来,数据分析强调是历史
数据分析师能处理的维度是有限的,人驱动。机器学习是靠算法来驱动的,可以有大量的维度。
机器学习客户是个体,数据分析客户是公司的老板
6.机器学习常用算法
分类算法 回归算法 聚类算法 标注算法 生成模型 判别模型(给一个函数,数据丢进去,直接给结果)
AdaBoost(人脸识别) FP-Growth 逻辑回归 RF、GBDT 深度学习
7.机器学习的框架 ,算法都在里面
确定目标 业务需求 收集数据 特征工程
定义模型 定义损失函数 优化算法 模型评估