flink
文章平均质量分 72
@可能
职场小菜鸟
展开
-
Flink数据类型&&序列化&&序列化器
背景:在Java和大数据生态圈中,已有不少序列化工具,比如: 1、Java自带的序列化工具、Kryo等。 2、一些RPC框架也提供序列化功能,比如: (1)最初用于Hadoop的【Apache Avro】 (2)Facebook开发的【Apache Thrift】 (3)Google开发的【Protobuf】 这些工具在速度和压缩比等方面与JSON相比有一定的优势。 但是Flink依然选择了重新开发了自己的序列化框架,因为序列化和反序列化将关乎整个流处理框架个方便的性能,对数据类型了解越多,可以更早地完.原创 2021-01-18 12:36:35 · 1453 阅读 · 0 评论 -
flink开发遇到的问题总结
flink开发遇到的问题总结 问题1: Exception in thread "main" org.apache.flink.table.api.NoMatchingTableFactoryException: Could not find a suitable table factory for 'org.apache.flink.table.factories.TableSinkFactory' in the classpath. org.apache.flink.table.factories.原创 2021-01-04 12:20:39 · 1025 阅读 · 0 评论 -
集群启动脚本
jps集群启动脚本:jpsall.sh #!/bin/bash for ip in flink01 flink02 flink03 do echo "------------------------------[ jps $ip ]-------------------------" ssh root@$ip "source /etc/profile;jps" done zookeeper集群启动脚本:zk.sh #!/bin/bash case $1 in "start"){原创 2020-10-21 11:04:39 · 444 阅读 · 0 评论 -
flink standalone模式部署【高可用】
Common【普通】 ------------------------------------------------------ jobmanager.rpc.address: localhost jobmanager.rpc.port: 6123 jobmanager.memory.process.size: 1600m taskmanager.memory.process.size: 1728m taskmanager.numberOfTaskSlots: 1 parallelism.default:原创 2020-10-21 10:10:16 · 1764 阅读 · 0 评论 -
flink流处理测试程序
<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/mav原创 2020-10-12 10:59:18 · 769 阅读 · 0 评论