- 博客(15)
- 收藏
- 关注
RSS订阅原创 Spark 学习之路三——Spark 的核心之 RDD 进阶
Spark 学习之路三——Spark 的核心之 RDD 进阶文章目录一、Spark 优化1.1 常用参数说明1.2 Spark 常用编程建议二、Spark 中的两种依赖关系2.1 宽依赖2.2 窄依赖2.3 `DAG`2.4 **任务的划分（重点）**2.5 RDD的缓存与检查点2.5.1 RDD 缓存2.5.2 RDD 检查点2.6 累加器和广播变量2.6.1 累加器2.6.2 广播变量三、Spark 的原理3.1 Spark 的运行流程3.2 Spark 的运行涉及概念3.2.1 `Applicati
2021-11-02 20:46:25
2184
原创 Spark学习之路二——Spark 的核心之 RDD基础
Spark学习之路二——Spark 的核心之 RDD一. 概述1.1 什么是 RDDRDD（Resilient Distributed Dataset）—— 弹性分布式数据集。RDD 是 Spark 中的抽象数据结构类型，Spark 中最基本的数据抽象，实现了以操作本地集合的方式来操作分布式数据集的抽象实现。它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD 具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD 允许用户在执行多个查询时显示地将工作集缓存在
2021-10-11 14:04:27
568
原创 Spark学习之路一——Spark基础及环境搭建
高速内存计算框架 —— Spark文章目录一. Spark 概述1.1 概述1.2 优势特性1.2.1 运行速度快1.2.2 容易使用1.2.3 通用性1.2.4 运行模式多样1.3 Spark vs Hadoop1.3.1 表达能力更丰富1.3.2 运算效率更优1.3.3 先进的任务调度机制1.3.4 实际开发更方便1.4 Spark 生态系统1.4.1 `Spark core`1.4.2 `Spark SQL`1.4.3 `Spark Streaming`1.4.4 `Spark MLib`1.4.
2021-09-29 13:54:22
1084
原创 Scala 编程
Scala 编程 文章目录一. Scala 简介二. Scala 的安装与验证2.1 下载安装2.2 验证2.3 IDEA 中使用 Scala三. Scala 的特性3.1 面向对象3.2 函数式编程3.3 静态类型3.4 可扩展性3.5 并发性四. 基本语法4.1 变量的声明与定义4.2 数据类型和操作符4.2.1 数据类型4.2.2 操作符4.2.2.1 数学运算4.2.2.2 关系与逻辑操作4.2.2.3 对象相等性五. 控制结构与函数5.1 if 表达式5.1.1 if 语句的语法格式5.1.2
2021-09-16 22:36:04
638
原创 任务调度系统 Airflow
任务调度系统 Airflow 文章目录一. Airflow 简介1.1 体系结构1.2 重要概念1.2.1 DAG（Directed Acyclic Graph）有向无环图1.2.2 Task二. Airflow 安装部署2.1 安装依赖2.2 Python 环境准备2.3 安装 Airflow2.4 创建数据库用户并授权2.5 修改 Airflow DB 配置2.6 安装密码模块2.6.1 安装 `password` 组件2.6.2 修改 `airflow.cfg` 配置文件2.6.3 ...
2021-09-13 10:07:42
546
原创 电商离线数仓项目实战（下）
电商离线数仓项目实战（下）电商分析——核心交易文章目录电商离线数仓项目实战（下）电商分析——核心交易一、业务需求二、业务数据库表结构1. 数据库表之间的联系img2. 业务数据库——数据源3. 数据库表结构设计3.1 交易订单表3.2 订单产品表3.3 产品信息表3.4 产品分类表3.5 商家店铺表3.6 地域组织表3.7 支付方式表三、数据导入3.1 全量数据导入3.1.1 产品分类表3.1.2 商家店铺表3.1.3 商家地域组织表3.1.4 支付方式表3.2 增量数据导入3.2.1 订单表3.2.
2021-09-13 10:05:29
1606
原创 黑马程序员_IO流
——- android培训、java培训、期待与您交流！ ———- 一、概述 1、流的概念和作用 流是一组有顺序的,有起点和终点的字节集合,是对数据传输的总称或抽象.即数据在两设备间的传输称为流. 流的本质是数据传输,根据数据传输特性将流抽象为各种类,方便更直观的进行数据操作. 2、用来处理设备之间的数据传输 3、java对数据的操作是通过流的方式 4、JAVA用于操作流的对象都在I
2015-08-31 21:20:27
335
原创 黑马程序员_集合框架（四）
——- android培训、java培训、期待与您交流！ ———- 集合框架的工具类 一： Collections 1、Collections：它的出现给集合操作提供了更多的功能。这个类不需要创建对象，内部 提供的都是静态方法。 静态方法： Collections.sort(list);//list集合进行元素的自然顺序排序。 Co
2015-08-30 16:44:06
342
原创 黑马程序员_集合框架（三）
------- http://www.itheima.com" target="blank">android培训a>、<a href="http://www.itheima.com" target="blank">java培训a>、期待与您交流！ ----------泛型四：泛型限定泛型限定通配符,也可以理解为占位符号? extends E:可以接受E类型或者E的子
2015-08-29 09:48:08
382
原创 黑马程序员_集合框架（二）
——- android培训、java培训、期待与您交流！ ———- set集合 一：set集合的特点 1、元素是无序的。（存入和取出的顺序不一定一致） 2、元素不可以重复。 3、set集合的功能和collection是一样的。 4、数值唯一。 二：set集合中常见的子类 1、HashSet 底层数据结构式哈希表，是通过元素的hashco
2015-08-27 20:22:29
355
原创 黑马程序员_集合框架（一）
——- android培训、java培训、期待与您交流！ ———- 一、集合框架体系概述 1、为什么出现集合类？ 面向对象语言对事物的体现都是以对象的形式，所以为了方便对多个对象的操作，就对对象进行存储，集合就是存储对象最常用的一种方式。 2、数组和集合类同是容器，二者有何区别？ 数组虽然也可以存储对象，但长度是固定的，集合长度是可变的。 数组中可以存储基本数据类型，集合只能存储对象。
2015-08-27 15:18:19
390
原创 黑马程序员_常用API之BufferString、StringBuilder
——- android培训、java培训、期待与您交流！ ———- 一、StringBuffer 是个字符串缓冲区对象，用于存储数据的容器 特点：1.长度是可变的 2.可以存储不同类型数据 3.最终要转换成字符串使用（toString方法） 4.可以对字符串进行修改 功能
2015-08-26 10:42:00
298
原创 黑马程序员_常用API之String类
——- android培训、java培训、期待与您交流！ ———- 1、字符串的特点 String是一个特殊的对象，一旦被初始化，就不会被改变。（）指的是abc 不是变量 s1.` “public class day1301 { public static void main(String[] args) { String s1 = “abc”;//
2015-08-26 10:21:05
276
原创 黑马程序员_Java基础面向对象之继承
继承的作用： 1、提高了代码的复用性 2、让类与类之间产生了关系，有了这个关系，才有了多态的特性。注意： 千万不要为了获取其他类的功能，简化代码而继承。 必须是类与类之间有所属关系才可以继承。所属关系：is a。Java语言中，Java只支持单继承，不支持多继承。 因为多继承容易带来安全隐患：当多个父类中定义了相同功能时，但功能内容不同时，子类不确定要运行哪一个。 但是java保留了这种
2015-08-25 10:20:59
428
原创 黑马程序员_Java基础之多线程
------- android培训、java培训、期待与您交流！ ----------一：概念讲解现在的操作系统是多任务操作系统。多线程是实现多任务的一种方式。1、进程正在进行中的程序。每一个进程执行都有一个执行顺序，该顺序是一个执行路径，或者叫一个控制单元。进程是指一个内存中运行的应用程序，每个进程都有自己独立的一块内存空间，一个进程中可以启动多个线程。比如在Wind
2015-08-25 09:38:05
393
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人