大数据
文章平均质量分 70
Recently 祝祝
不认命就拼命,脚踏实地,稳步前行
展开
-
scala基础练习,学习scala必备知识点
有一句话叫做:先看懂,然后再手懂。就是先脑子会代码,然后再手练熟了代码,这确实是程序员的必备精神之一,多学多敲多看。作为一个scala初学者,有必要先学习scala的基础scala基础学习,点进去你就会有收获了特别注意scala严格遵循大小写,关键字名不能写错下面就让我们来练习一下下,我们可爱的scala的基础吧,基础学习一:定义数组,追加数组,以及删除添加数组import scala.collection.mutable.ArrayBufferobject shimmer2 { de原创 2021-03-05 18:01:16 · 492 阅读 · 1 评论 -
数据流---Apache Flink架构
1:搭建Flintk所需的组件:这些组件是:JobManager、ResourceManager、TaskManager和Dispatcher。 (JVM)JobManager:作为主进程(masterprocess) , JobManager控制着单个应用程序的执行。换句话说,每个应用都由一个不同的JobManager掌控。(JobManager还要负责所有需要集中协调的操作,如创建检查点,建立检查点、保存点及状态恢复)简单业务描述:JM从RM申请执行任务的必要资源(TM处理槽)),一旦JM收到原创 2021-06-08 22:42:29 · 936 阅读 · 9 评论 -
数据流—DataStreamAPI
大数据数据流之Flink1:构建一个典型的Flink流式应用需要一下几步:1:设置执行环境。2:从数据源中读取一条或多条流3:通过一系列流式转换来实现应用逻辑。4:选择性的将结果输出到一个或多个数据汇(用来接收处理结果并发送)中5:执行程序1:设置执行环境。执行环境决定了应用是在本地机器上还是集群上运行。DataStream API的执行环境由:StreamExecutionEnviroment来表示调用静态方的getExecutionEnvironment()方法来执行环境根据调用上原创 2021-06-13 21:11:35 · 714 阅读 · 3 评论 -
Python 中列表、元祖、字典的区别
原创 2021-05-10 15:59:14 · 118 阅读 · 0 评论 -
Python库之numpy之数组切片
众所周知,python中有很多的库,numpy就是其中的一个库,做数据分析必备的库之一,今天就让我们来学一下,numpy的切片今天上课学这个切片切的我快自卑了,为啥为啥,脑子里全是为啥,为啥不是我想要的结果呢?后来花了半小时弄懂终于弄懂了,年轻人还是需要一些锲而不舍的精神的首先让我们定义一个多维数组1:导入numpyimport numpy as np2:定义一个数组(我发现用Spyder还是挺好用的,可以看到数据,不用输出)D=np.array([[1,2,3,4],[5,6,7,8],[原创 2021-04-26 19:51:21 · 3054 阅读 · 5 评论