- 博客(3)
- 收藏
- 关注
原创 Golang基础
下载 官方下载地址:https://studygolang.com // 查看是否安装成功 go version // 查看环境变量 go env 配置国内镜像 // 设置国内镜像(适用于1.13及以上版本) go env -w GOPROXY=https://goproxy.cn,direct // 设置go module为on go env -w GO111MODULE=on // 安装goimports工具 go get golang.org/x/tools/cmd/goimports
2020-12-08 14:50:27 245
原创 Flink基础
Flink核心概念 概念 Streams:可分为有界流和无界流 State:状态指的是在进行流式计算中的信息。一般用于容错和持久化,流式计算本质上是增量计算,需要不断地查询过去的状态。并且状态的持久化也是集群出现Fail-over的情况下自动重启的前提条件。 Time:支持Event Time、Processing Time、Ingestion Time语义,时间是判断业务状态是否滞后和延迟的重要依据 API:Flink提供了不同级别的抽象来支持流式或批处理程序的开发,由上而下可分为SQL/Table A
2020-12-08 14:47:10 179
原创 Spark知识点总结
一、架构图 从物理部署层面上来看,Spark主要分为两种类型的节点,Master节点和Worker节点,Master节点主要运行集群管理器的中心化部分,所承载的作用是分配Application到Worker节点,维护Worker节点,Driver,Application的状态。Worker节点负责具体的业务运行。 二、Spark Core RDD概念 RDD(Resilient Distributed Dataset)叫做分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变、可分区、里面的元素可
2020-12-08 14:43:51 648
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人