数据仓库&大数据开发
文章平均质量分 53
主要是介绍数据开发相关的工作
QuantumWalk
这个作者很懒,什么都没留下…
展开
-
Spark环境搭建以及基本的算子操作
import org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.sql.SparkSessionimport org.apache.spark._import org.apache.spark.rdd.RDDimport org.apache.log4j.{Level, Logger}import org.apache.spark.sql.functions._object firstDemo{ Log.原创 2021-09-12 18:02:28 · 361 阅读 · 0 评论 -
利用ValueState获取指标的最小值
在读《Flink原理、实战与性能优化》的时候,遇到其中有一个案例即使用valuestate获取最小值,文章中使用的Scala写的案例,改写的时候,忽略了其中初始化部分,导致迟迟计算不出结果public class StreamTest { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getEx原创 2021-03-01 19:08:49 · 350 阅读 · 0 评论 -
flink使用web观测资源情况
一、在IDEA中写frauddetection模型参照官网,可以使用官网maven命令远程下载代码,用IDEA打开,但是有时候需要稍微理解一下,所以我是参照官网和网络上的资源去照着写的,遇到bug慢慢修改首先设置POM文件,加入了maven自动打包的设置。设置完依赖之后,开始写代码<!--Licensed to the Apache Software Foundation (ASF) under oneor more contributor license agreements. See原创 2021-02-28 16:45:24 · 670 阅读 · 0 评论