flink + Atlas 任务数据血缘调通_atlas flink,阿里、腾讯大厂大数据开发面试必问知识点系统梳理

先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前阿里P7

深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《2024年最新大数据全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
img
img
img
img
img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!

由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新

如果你需要这些资料,可以添加V获取:vip204888 (备注大数据)
img

正文

        ConfigOptions.key("execution.atlas.job-listeners")
                .stringType()
                .asList()
                .noDefaultValue()
                .withDescription("JobListenerFactories to be registered for the execution.");

一点说明:官方Flink1.12.0 版本之后支持配置`execution.job-listeners`,因此自己添加了个配置属性`execution.atlas.job-listeners` 进行区分,  
 `org.apache.flink.configuration.DeploymentOptions`  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/2831f7bfb4cb4ef481820fe6e13acaa1.png)


###### 任务提交



flink run -m yarn-cluster -ys 1 -yjm 1024 -ytm 1024 -c com.nufront.bigdata.v2x.test.AtlasTest /opt/v2x-1.0-SNAPSHOT.jar


###### 测试任务



public class AtlasTest {

public static void main(String[] args) throws Exception {

    //TODO 1.获取执行环境
    StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
    env.setParallelism(1);
    env.disableOperatorChaining();

    // TODO kafka消费
    // 配置 kafka 输入流信息
    Properties consumerprops = new Properties();
    consumerprops.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "10.0.2.67:9092");
    consumerprops.put(ConsumerConfig.GROUP_ID_CONFIG, "group1");
    consumerprops.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "false");
    consumerprops.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "latest");
    consumerprops.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
    consumerprops.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
    // 添加 kafka 数据源
    DataStreamSource<String> dataStreamSource = env.addSource(new FlinkKafkaConsumer<>("atlas-source-topic", new SimpleStringSchema(), consumerprops));

    // 配置kafka输入流信息
    Properties producerprops = new Properties();
    producerprops.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "10.0.2.67:9092");
    // 配置证书信息
    dataStreamSource.addSink(new FlinkKafkaProducer<String>("atlas-sink-topic", new KeyedSerializationSchemaWrapper(new SerializationSchema<String>(){
        @Override
        public byte[] serialize(String element) {
            return element.getBytes();
        }
    }), producerprops));
    env.execute("AtlasTest");
}

}


###### flink on yarn 日志输出


![在这里插入图片描述](https://img-blog.csdnimg.cn/ff8733037df44b4eb0ab7424e107cd31.png)


###### 修改 json 解析方式


`org.apache.atlas.utils.AtlasJson#toJson`



public static String toJson(Object obj) {
String ret;

	if (obj instanceof JsonNode && ((JsonNode) obj).isTextual()) {
		ret = ((JsonNode) obj).textValue();
	} else {
		
		// 修改 json 处理方式:fastjson,原来的ObjectMapper.writeValueAsString() 一度卡住不往下执行
		// ret = mapper.writeValueAsString(obj);
		ret = JSONObject.toJSONString(JSONObject.toJSON(obj));
		LOG.info(ret);
	}
	
    return ret;
}

###### 查看目标 kafka 对应topic


![在这里插入图片描述](https://img-blog.csdnimg.cn/4c24f156590843ce8f9d0c1f3c402efb.png)


![在这里插入图片描述](https://img-blog.csdnimg.cn/5018c31be21b4a22b68a43eff43936e5.png)


###### flinksql



Caused by: java.lang.ClassCastException: org.apache.flink.table.runtime.operators.sink.SinkOperator cannot be cast to org.apache.flink.streaming.api.operators.StreamSink


`org.apache.atlas.flink.hook.FlinkAtlasHook#addSinkEntities`



**网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。**

**需要这份系统化的资料的朋友,可以添加V获取:vip204888 (备注大数据)**
![img](https://img-blog.csdnimg.cn/img_convert/50e6932121d28aabcbab71afe0ac82af.png)

**一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**

链图片转存中...(img-CacpB0hY-1713283676950)]

**一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**

  • 5
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Flink和ClickHouse是目前流行的企业级实时大数据开发工具。Flink是一个分布式流处理器,它可以提供超低延迟和高吞吐量的实时数据处理能力。ClickHouse则是一个高性能的列式数据管理系统,适用于大规模数据存储和分析。 借助Flink,可以轻松构建实时数据管道,从不同的数据源获取数据,并进行流式处理和分析。Flink提供了丰富的算子库,使得开发者能够快速构建复杂的实时处理逻辑。同时,Flink支持Exactly-Once语义,确保数据的精准一次性处理。在处理完数据后,Flink可以将结果发送到ClickHouse进行持久化存储和查询。 ClickHouse是一个高效的数据存储和分析解决方案。它基于列式存储方式,可以有效地处理数十亿条数据。ClickHouse支持常见的SQL查询语句,可以进行快速的数据分析和多维度的聚合查询。ClickHouse还支持水平扩展,可以轻松应对大规模数据的存储和查询需求。 结合使用Flink和ClickHouse,可以构建实时大数据分析平台。首先,Flink可以通过连接不同的数据源(如Kafka、Hadoop等)获取数据,并进行实时处理和数据转换。然后,处理后的数据可以通过Flink的连接器(如ClickHouse连接器)发送到ClickHouse进行存储和查询。这种集成方案能够实现低延迟的数据处理和高效的数据存储,帮助企业实时获得有价值的洞察力。 对于企业级实时大数据开发者而言,掌握Flink和ClickHouse的使用和调优技巧非常重要。可以通过阅读相关文档和教程,加入相关的技术社区(如CSDN)以获取帮助和分享经验。还可以通过参与实际项目,结合实践经验来提升技术水平。总之,利用Flink和ClickHouse,企业可以更好地实现实时大数据处理和分析需求,提升数据驱动的决策能力。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值