Spark入门到精通视频学习资料
真爱无敌86
华为云MVP,华为云体验官,昇思MindSpore资深开发者
本人具备丰富的工作经验、扎实的技术能力以及项目管理能力,对业务需求分析比较透彻,不仅能够独立完成任务,也能带领团队完成任务,具有良好的团队协作精神和沟通能力。
从事软件行业有10年多,经历过电信省级规模的项目、地市级广电项目,使用过普通的JAVA技术、SSH、SSI/SSM框架,同样也接触过包括云计算、大数据、物联网等主流技术。
对大数据以及BI行业有个人独特的看法和见解,能够独立制作解决方案。
目前在互联网行业担当CTO,负责整体公司产品的技术架构,同时也接触互联网产品和运营相关的内容。
展开
-
Spark入门到精通视频学习资料--第七章:Spark多语言编程(1讲)
Spark目前支持scala、python、JAVA编程。作为Spark的原生语言,scala是开发Spark应用程序的首选,其优雅简洁的代码,令开发过mapreduce代码的码农感觉象是上了天堂。Spark提供了python的编程模型PySpark,使得python可以作为Spark开发语言之一。尽管现在PySpark还不能支持所有的Spark API,但是我们相信以后的支持度会越来越高原创 2015-03-04 13:55:02 · 1656 阅读 · 0 评论 -
Spark入门到精通视频学习资料--第六章:Machine Learning on Spark(1讲)
MLlib is Apache Spark's scalable machine learning library.(如下图所示) 很明显:MLlib 是一个广泛的机器学习的libray。 其定为基于Apache Spark的四大子组件,并且权重极大。在目前而言,Spark 0.9.1 MLLIB 包含了如下的算法:1 依赖2 二元分类3 线性原创 2015-03-04 13:45:22 · 2522 阅读 · 0 评论 -
Spark入门到精通视频学习资料--第五章:Shark介绍与使用(2讲)
熟悉Hadoop的应该就知道HBase和Hive,如果了解这两个组件,那么对于Shark就不会那么陌生了,也就比较容易上手了。Shark基本上就是在Spark的框架基础上提供和Hive一样的HiveQL命令接口,为了最大程度的保持和Hive的兼容性,Shark使用了 Hive的API来实现query Parsing和 Logic Plan generation,最后的PhysicalPla原创 2015-03-02 13:56:31 · 1896 阅读 · 2 评论 -
Spark入门到精通视频学习资料--第四章:基于Spark的流处理框架Spark Streaming(2讲)
随着大数据的发展,人们对大数据的处理要求也越来越高,原有的批处理框架MapReduce适合离线计算,却无法满足实时性要求较高的业务,如实时推荐、用户行为分析等。 Spark Streaming是建立在Spark上的实时计算框架,通过它提供的丰富的API、基于内存的高速执行引擎,用户可以结合流式、批处理和交互试查询应用。 本文将详细介绍 Spark Streaming 实时计算框架的原理与特点、适用原创 2015-02-28 12:53:05 · 3626 阅读 · 0 评论 -
Spark入门到精通视频学习资料--第三章:Spark进阶(2讲)
掌握Spark内核是精通Spark的关键,也是驾驭Spark的精髓所在。基于Spark内核,Spark构建起了一体化多元化的大数据处理流水线,在一个技术堆栈中即可以同时完成批处理、实时流处理、交互式查询、机器学习、图计算以及这些子框架之间数据和RDD算子的无缝共享与互操作。可以说,Spark内核是每个想彻底掌握Spark的人员的必修课,通过对内核的探索,我们对整个Spark的运行机制会了如原创 2015-02-28 12:40:05 · 3310 阅读 · 1 评论 -
Spark入门到精通视频学习资料--第二章:Spark生态系统介绍,Spark整体概述与Spark编程模型(2讲)
概述什么是Spark◆ Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于map reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出和结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭原创 2015-02-26 13:58:08 · 1892 阅读 · 0 评论 -
Spark入门到精通视频学习资料--第一章、Scala基础与实践
Scala可能是下下一代Java。这么高的评价让人不禁想看看它到底是什么东西。原创 2015-02-06 16:38:59 · 6932 阅读 · 6 评论 -
Spark入门到精通视频学习资料--第八章:项目实战(2讲)
项目实战主要以数据处理为整体方向,总体的处理流程如下所示:数据源-->存储(HDFS)-->计算(MR/SPARK/MPI)-->计算结果(Mysql/HBase/Redis)-->查询接口(WEB/报表)按照这样的思路来讲解项目实战,具体请看视频:《项目架构与案例(上).mp4》 链接: http://pan.baidu.com/s/1bnCm82r原创 2015-03-05 10:32:26 · 3573 阅读 · 0 评论