![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink
文章平均质量分 81
0x8g1T9E
0x8g1T9E
展开
-
pyflink pyalink pyspark on jupyter docker一键构建
https://hub.docker.com/r/hzchendou/pyalink基于jupyter镜像构建了 阿里开源 算法平台 alink, 地址:https://github.com/alibaba/alinkjupyter 镜像地址:https://hub.docker.com/r/jupyter/datascience-notebookalink 流/批处理框架使用的是 flink, 因此在镜像中配置 jdk 8环境容器运行下载镜像docker pull hzchendo原创 2021-03-11 12:09:07 · 2930 阅读 · 0 评论 -
Flink Scala Shell:使用交互式编程环境学习和调试Flink 三种模式 local remote yarn
交互式编程环境:REPL当前最著名的交互式编程环境莫属Jupyter Notebook了,程序员可以启动一个交互的Session,在这Session中编写代码、执行程序、获取结果,所见即所得。交互式编程的优势包括:快速启动一个程序:程序员不需要“编译、打包、执行”这一套复杂过程,只需要开启一个交互Session,敲下代码,直接得到结果,非常适合验证一段代码的结果。 直接获得程序反馈:使用print,可以在交互环境中直接得到程序结果,无需将输出导出到文件或其他位置。程序员敲入几行程序命令...原创 2021-03-08 11:48:30 · 3022 阅读 · 0 评论 -
目前颜值最高的开源BI工具-Superset
没有声音,再好的戏也出不来同样,没有可视化,再好的数据分析也不完美数据可视化是大数据的『最后一公里』简介Superset的Airbnb开源的数据可视化工具,目前属于Apache孵化器项目,主要用于数据分析师进行数据可视化工作 PS,Airbnb在数据方面做的很棒,相关的博客B格也很高,他们的博客名字居然叫『Airbnb Engineering & Data Science』,可见对于数据科学的重视 在github上搜索数据可视化,Superset的star...原创 2021-03-08 11:29:41 · 3023 阅读 · 0 评论 -
Hadoop FS 常用命令详解
1、概述Hadoop文件系统(FS)提供了各种shell命令,与shell命令类似,可用于同分布式文件系统(HDFS)进行交互,以管理HDFS集群中的文件和数据。2、Hadoop FS常用命令(1)创建目录用法:hadoop fs -mkdir <paths>示例:创建单个目录:hadoop fs -mkdir /home/myfile/dir1创建多目录:hadoop fs -mkdir /home/myfile/dir1 /home/myfile/dir2(2.原创 2021-03-08 10:42:22 · 5788 阅读 · 0 评论 -
Flink 教程 gitbook 从入门到入土(详细教程)
Flink从入门到入土(详细教程)和其他所有的计算框架一样,flink也有一些基础的开发步骤以及基础,核心的API,从开发步骤的角度来讲,主要分为四大部分1.EnvironmentFlink Job在提交执行计算时,需要首先建立和Flink框架之间的联系,也就指的是当前的flink运行环境,只有获取了环境信息,才能将task调度到不同的taskManager执行。而这个环境对象的获取方式相对比较简单// 批处理环境val env = ExecutionEnvironment.ge原创 2021-03-04 14:57:40 · 2816 阅读 · 1 评论