User-mcq-CSDN博客

原创 sparksql

sparksql1、课程目标2、sparksql概述2.1 sparksql前世今生2.2 sparksql是什么3、sparksql特性4、DataFrame4.1 dataFrame是什么4.2 RDD与DataFrame优缺点对比5、DataSet5.1 dataSet是什么5.2 dataFrame和dataSet互相转换5.3 创建DataSet6、基于IDEA开发代码将rdd转换成dataFrame6.1 利用反射机制1、课程目标1、掌握sparksql原理2、掌握DataFrame和D

2020-06-26 08:15:03 464 2

原创 Spark

Spark1.学习目标2.Spark基础2.1什么是Spark2.2 Spark特点：3.Spark集群搭建4. Spark集群启动5.Spark masterUI界面Running ApplicationsCompleted Applications6.配置Spark高可用集群（HA）7.Spark应用程序的运行模式8.Spark应用程序开发8.1spark-shell开发9.Spark中重要角色1.学习目标了解spark相关背景以及其框架特点掌握搭建spark集群（尤其是高可用集群搭建）（重点

2020-06-21 13:55:37 659 3

原创数据库&数据仓库

数据库&数据仓库数据库和数据仓库的区别和联系数据仓库的分层，分几层？每一层的作用，分层的好处。ODS层（临时存储层）PDW(DW)层（数据仓库层）MID(DM)层（数据集市层）APP层（应用层）分层的好处星型模型和雪花模型是什么？有什么好处？一共有多少种范式，三范式是什么？目前关系数据库有六种范式：数据库和数据仓库的区别和联系数据仓库基于数据库对数据进行整理相同点：都是依赖于一些软件来存储数据都是高效率分析数据以某种模型来管理数据数据仓库的分层，分几层？每一层的作用，分层的好处。ODS

2021-05-30 10:17:44 421 1

原创 ETL抽取（extract）、交互转换（transform）、加载（load）

ETLETL抽取（extract）、交互转换（transform）、加载（load）至目的端的过程。ETL工具常用的有哪些？ETL常用工具：比较 Kettle informatica优势劣势特性etl调度：ETL多用在数据仓库，那么数据仓库是什么？ETL抽取（extract）、交互转换（transform）、加载（load）至目的端的过程。ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、交互转换（transform）、加载（load

2021-05-30 10:10:25 1639

原创 sparkStreaming

spark_day04学习笔记1、课程目标1、掌握sparkStreaming原理和架构2、掌握Dstream常用的操作3、掌握flume整合SparkStreaming4、掌握kafka整合SparkStreaming2、sparkStreaming概述2.1 sparkStreaming是什么Spark Streaming makes it easy to build scalable fault-tolerant streaming applicationsSparkStre

2020-06-28 21:55:06 205

原创 Spark计算模型RDD

Spark计算模型RDD1.课程目标2.RDD介绍2.1RDD概念以及特性2.2RDD的五大属性3.wordcount案例详解4.RDD的构建方式5.RDD的算子操作6.RDD的依赖关系7.血统机制8.RDD的缓存机制9.checkpoint机制1010.1 DAG划分10.2 DAGScheduler10.3 TaskScheduler10.4 Worker节点10.5 Spark Job运行过程中重试机制11. Shuffle机制12.spark应用程序的执行架构1.课程目标掌握RDD的原理熟练

2020-06-21 18:42:52 387

原创 Scala高级特性

Scala高级特性1.课程目标2.Scala中函数2.1高阶函数2.2高阶函数使用规则2.3闭包函数2.4柯里化函数2.5柯里化应用场景3. 隐式转换操作3.1 隐式转换的对象类型3.2隐式参数和隐式变量3.3 隐式转换的管理3.4隐式转换的查找机制4.编程实战4.1 基于akka模拟实现spark的通信机制1.课程目标深入理解高阶函数闭包函数柯里化函数深入理解隐式方法隐式变量以及隐式参数综合案例模拟Spark任务调度2.Scala中函数2.1高阶函数函数是一个对象，如果

2020-06-21 09:03:38 439

原创 Scala面向对象编程

Scala面向对象编程 1.课程目标2.面向对象2.1 类2.2 setter getter2.3 方法的调用原则2.4 Scala构造器2.5 Scala中单例对象2.6 伴生对象2.7 main函数2.8 继承2.9 子类调用父类的构造器2.10 抽象类2.11匿名内部类2.12 超级父类2.13 类型转换和类型判断2.14特质3. 模式匹配4. 偏函数5.逆变协变非变6.上下界7.Scala并发操作1.课程目标掌握Scala中面向对象编程掌握Scala模式匹配掌握Scala泛型高级内容

2020-06-21 08:56:13 201

原创 Scala基础笔记

Scala 编程 -Scala基础1.课程目标2.Scala基础2.1Scala概述2.2 Scala语言特点3.Scala编译环境和开发环境的安装4.Scala基础语法4.2 变量的数据类型4.3 Scala中操作符5.Scala中的表达式5.1 If表达式5.2 块表达式5.3 for循环6.Scala中函数7.Scala中方法定义8.方法和函数的区别9.Scala中数据结构9.1 不可变Array9.2 可变数组ArrayBuffer （长度和数据都可变）9.3 list 列表9.4 Tuple（元

2020-06-20 09:33:12 761

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

weixin_45046751的博客