大数据
文章平均质量分 55
画蛇添足
我是一个人!
展开
-
Flink双流Join 3种解决方案 + 2种优化方案
在流式计算中,左右表的数据都是无界的,而且是实时到来的。这就会引起流式计算中的 2 个问题 + 大数据中的 2 个核心问题转载 2022-06-10 13:58:02 · 3950 阅读 · 0 评论 -
搭建Flink和Hudi本地开发环境
1.版本说明:Flink : 1.2.x, Hudi : 0.8.x, Scala : 2.11;2.创建Flink项目,参考文章;3.pom文件引入对table和sql的支持包,如下:<!-- table start --><dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-table-api-java-bridge_${scala.binary原创 2021-05-22 18:12:32 · 1542 阅读 · 0 评论 -
Spark性能优化指南——高级篇
转载文档:Spark性能优化指南——高级篇 - 美团技术团队 (meituan.com)转载 2020-12-09 17:31:48 · 196 阅读 · 0 评论 -
flink集群部署
flink集群配置:修改flink-conf.yamljobmanager.rpc.address: centos2masters文件:centos2:8081workers文件:centos2centos3原创 2021-05-22 18:20:01 · 185 阅读 · 0 评论 -
Zeppelin安装启动成功后web界面无法访问的解决方法
转到以下链接:https://www.jianshu.com/p/26511efa4aaa转载 2020-11-16 17:46:01 · 1572 阅读 · 0 评论 -
从0搭建hadoop环境
1.首先准备三台机器:centos1centos2centos32.设置从centos1到其他两台机器的免密登录在centos1上执行命令:ssh-keygen -t rsa然后一路回车,接着执行如下命令:ssh-copy-id -i ~/.ssh/id_rsa.pub root@centos2ssh-copy-id -i ~/.ssh/id_rsa.pub root@centos33.下载jdk和hadoop安装包jdk:https://www.oracle.c原创 2020-11-14 22:23:17 · 267 阅读 · 0 评论 -
基于k8s的Flink的application部署模式
Flink的k8s的application部署模式,具体代码如下:import java.util.Collections;import java.util.concurrent.Executors;import org.apache.flink.client.deployment.ClusterDeploymentException;import org.apache.flink.client.deployment.ClusterSpecification;import org.apach原创 2020-08-13 19:07:25 · 1553 阅读 · 2 评论