- 博客(3)
- 收藏
- 关注
原创 Golang基础
下载官方下载地址:https://studygolang.com// 查看是否安装成功go version// 查看环境变量go env配置国内镜像// 设置国内镜像(适用于1.13及以上版本)go env -w GOPROXY=https://goproxy.cn,direct// 设置go module为ongo env -w GO111MODULE=on// 安装goimports工具go get golang.org/x/tools/cmd/goimports
2020-12-08 14:50:27
264
原创 Flink基础
Flink核心概念概念Streams:可分为有界流和无界流State:状态指的是在进行流式计算中的信息。一般用于容错和持久化,流式计算本质上是增量计算,需要不断地查询过去的状态。并且状态的持久化也是集群出现Fail-over的情况下自动重启的前提条件。Time:支持Event Time、Processing Time、Ingestion Time语义,时间是判断业务状态是否滞后和延迟的重要依据API:Flink提供了不同级别的抽象来支持流式或批处理程序的开发,由上而下可分为SQL/Table A
2020-12-08 14:47:10
184
原创 Spark知识点总结
一、架构图从物理部署层面上来看,Spark主要分为两种类型的节点,Master节点和Worker节点,Master节点主要运行集群管理器的中心化部分,所承载的作用是分配Application到Worker节点,维护Worker节点,Driver,Application的状态。Worker节点负责具体的业务运行。二、Spark CoreRDD概念RDD(Resilient Distributed Dataset)叫做分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变、可分区、里面的元素可
2020-12-08 14:43:51
671
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人