大数据
文章平均质量分 92
给dongcc换成百威
百威IT技术交流,企鹅942277506,课程视频https://www.bilibili.com/video/BV1Ep4y1i7yn/
展开
-
Spark学习宝典(保姆级)
Spark简介快如闪电的统一分析引擎.Apache Spark™是用于大规模数据处理的统一分析引擎。发展历史2009 年,Spark 诞生于伯克利大学的 AMPLab 实验室2010 年,伯克利大学正式开源了 Spark 项目2013 年 6 月,Spark 成为了 Apache 基金会下的项目2014 年 2 月,Spark 以飞快的速度成为了 Apache 的顶级项目2015 年至今,Spark 变得愈发火爆,大量的国内公司开始重点部署或者使用 Spark核心模块及功能Spar原创 2021-03-31 10:46:29 · 794 阅读 · 1 评论 -
Scala学习宝典(保姆级)
前言在我个人看来,Scala是一门非常优雅的语言,但优雅的背后要付出的辛苦也很多,比如学习Scala的人都会说,Scala语法非常简洁,但这也意味着抽象级别比较高,对初学者而言不好理解。也会有人说,Scala语法非常灵活,一个功能可以有非常多的实现方法,可以说条条大路通罗马,那么代价就是对于初学者来说,路多了反而不好选择。所以在这里我对初学者的忠告是:在学习Scala前期,先走通一条路,屏蔽掉多余的干扰项,可能我们第一次使用Scala实现的项目看起来是非常笨拙的,但是没关系,任何的学习都是循序渐进的,不原创 2020-10-14 21:37:50 · 1788 阅读 · 8 评论 -
(三)Scala从入门到项目实战(Flink、Spark、Kafka)——Scala方法和函数
方法和函数说明:在Scala中既有方法也有函数,大多数情况下,他们没有区别,作为初学者暂时不用明确区分。一般情况下方法的类型为具体一个返回值类型,可以省略不写。而函数的类型为:参数类型 => 返回值类型 ,也可以省略不写,在后边的代码中会体现这个特点。方法的定义 def max(a:Int,b:Int):Int={ if(a>b) return ...原创 2020-05-07 22:53:17 · 1059 阅读 · 0 评论 -
(二)Scala从入门到项目实战(Flink、Spark、Kafka)——Scala入门及基本语法
Scala入门官网:https://www.scala-lang.org/课程版本:2.13.1HelloWorld创建一个scala工程创建一个包创建HelloWorld.scala编写代码object HelloWorld { def main(args: Array[String]): Unit = {//入口函数 pr...原创 2020-05-07 17:57:19 · 1060 阅读 · 0 评论 -
(一)Scala从入门到项目实战(Flink、Spark、Kafka)——Scala及课程简介——董长春
前言——对Scala初学者的忠告在我个人看来,Scala是一门非常优雅的语言,但优雅的背后要付出的辛苦也很多,比如学习Scala的人都会说,Scala语法非常简洁,但这也意味着抽象级别比较高,对初学者而言不好理解。也会有人说,Scala语法非常灵活,一个功能可以有非常多的实现方法,可以说条条大路通罗马,那么代价就是对于初学者来说,路多了反而不好选择。所以在这里我对初学者的忠告是:在学习Sc...原创 2020-05-07 17:33:56 · 1187 阅读 · 0 评论 -
(二)Flink从入门到项目实战——Flink入门程序
目录Flink环境准备开发工具及环境要求Maven依赖坐标Flink入门程序Flink批处理Flink流式处理总结开发过程Flink环境准备开发工具及环境要求IDE最好使用IntelliJ IDEA (eclipse存在插件不兼容的风险)唯一的要求是使用 Maven 3.0.4 和安装 Java 8.x(或更高版本)。Maven依赖坐标<...原创 2020-02-04 10:38:59 · 1530 阅读 · 3 评论 -
(一)Flink从入门到项目实战——Flink介绍——董长春
重要说明该文将根据本人学习进度不断更新,计划分章节仔细介绍,随着对知识的不断学习,我将会对前边的内容进行优化,以保证技术描述的准确,以及与官方版本同步。Flink介绍Apache Flink 是一个海量数据计算框架和分布式处理引擎,用于在无边界和有边界数据流(离线、流式)上进行有状态的计算。Flink 能在所有常见集群环境中运行,并能以内存速度和任意规模进行计算。那么如何来理解有边...原创 2020-02-04 10:15:32 · 2792 阅读 · 1 评论