第七课:Spark 机器学习内幕剖析

1.Spark机器学习的本质是什么?
机器学习,数据+算法(迭代),
从某个角度而言,其实Spark的机器学习就是Spark 平台之上的函数库,这些函数基于RDD,DataFrame,DataSet
Spark机器学习的数据来源,在Spark的最底层肯定是RDD封装的,这个和Spark具体是什么版本没有任何关系,版本的发展只不过是提供了更多的更高层的API而已,
例如:DataFrame,DataSet等,而之所以有DataFrame,DataSet,一般情况下是为了使用统一的优化引擎(抽象程度越高,优化算法就越高)
但是机器学习从算法的角度而言,最原始的其实是都是基于Vector和Matrix来计算的,
也就是说RDD/DataFrame/DataSet里面的数据从机器学习的角度来讲,都是Vector和Matix,而借助于RDD/DataFrame/DataSet,天然分布式并行计算完成了机器学习的并行化和可扩展性等
其实这和图计算的思路非常相似,图计算中数据也是存储在RDD,但是Spark的图计算提供了Vertices,Edges,Routing Table等对象来解析RDD中的数据,从而变成图计算可用的数据

RDD/DataFrame/DataSet和Vector/Matrix关系图:


学好Spark机器学习的关键:
1.Spark core
2.Vector和Matrix的学习
3.Spark机器学习的算法:
     1.算法原理和应用场景
      2.Spark如何实现
        3.案例实战
            4.基于上面的步骤,进入深入地思考
4.综合案例


归纳总结:1.Spark机器学习的本质是什么
2.RDD/DataFrame/DataSet和Vector/Matrix关系图


本课程来源于

本套大数据热门技术Spark+机器学习+贝叶斯算法系列课程,历经5年沉淀,调研企业上百家,通过上万学员汇总,保留较为完整的知识体系的同时,让每个模块看起来小而精,碎而不散。在本课程中基于大量案例实战,深度剖析和讲解Spark2.4原理和新特性,且会包含完全从企业真实业务需求中抽取出的案例实战。内容涵盖Spark核心编程、Spark SQL和Spark Streaming、Spark内核以及源码剖析、推荐系统、Kafka消费机制、Spark机器学习、朴素贝叶斯算法、企业级实战案例等。通过理论和实际的紧密结合,可以使学员对大数据Spark技术栈有充分的认识和理解,在项目实战中对Spark和流式处理应用的场景、以及大数据开发有更深刻的认识;并且通过对流处理原理的学习和与批处理架构的对比,可以对大数据处理架构有更全面的了解,为日后成长为架构师打下基础。本套教程可以让学员熟练掌握Spark技术栈,提升自己的职场竞争力,实现更好的升职或者跳槽,或者从J2EE等传统软件开发工程师转型为Spark大数据开发工程师,或是对于正在从事Hadoop大数据开发的朋友可以拓宽自己的技术能力栈,提升自己的价值。Spark应用场景Yahoo将Spark用在Audience Expansion中的应用,进行点击预测和即席查询等。淘宝技术团队使用了Spark来解决多次迭代的机器学习算法、高计算复杂度的算法等。应用于内容推荐、社区发现等。腾讯大数据精准推荐借助Spark快速迭代的优势,实现了在“数据实时采集、算法实时训练、系统实时预测”的全流程实时并行高维算法,最终成功应用于广点通pCTR投放系统上。优酷土豆将Spark应用于视频推荐(图计算)、广告业务,主要实现机器学习、图计算等迭代计算。本套大数据热门技术Spark+机器学习+贝叶斯算法共计13季,本套为第3季。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值