consumerprops.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "10.0.2.67:9092");
consumerprops.put(ConsumerConfig.GROUP_ID_CONFIG, "group1");
consumerprops.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "false");
consumerprops.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "latest");
consumerprops.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
consumerprops.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
// 添加 kafka 数据源
DataStreamSource<String> dataStreamSource = env.addSource(new FlinkKafkaConsumer<>("atlas-source-topic", new SimpleStringSchema(), consumerprops));
// 配置kafka输入流信息
Properties producerprops = new Properties();
producerprops.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "10.0.2.67:9092");
// 配置证书信息
dataStreamSource.addSink(new FlinkKafkaProducer<String>("atlas-sink-topic", new KeyedSerializationSchemaWrapper(new SerializationSchema<String>(){
@Override
public byte[] serialize(String element) {
return element.getBytes();
}
}), producerprops));
env.execute("AtlasTest");
}
}
###### flink on yarn 日志输出
![在这里插入图片描述](https://img-blog.csdnimg.cn/ff8733037df44b4eb0ab7424e107cd31.png)
###### 修改 json 解析方式
`org.apache.atlas.utils.AtlasJson#toJson`
public static String toJson(Object obj) {
String ret;
if (obj instanceof JsonNode && ((JsonNode) obj).isTextual()) {
ret = ((JsonNode) obj).textValue();
} else {
// 修改 json 处理方式:fastjson,原来的ObjectMapper.writeValueAsString() 一度卡住不往下执行
// ret = mapper.writeValueAsString(obj);
ret = JSONObject.toJSONString(JSONObject.toJSON(obj));
LOG.info(ret);
}
return ret;
}
###### 查看目标 kafka 对应topic
![在这里插入图片描述](https://img-blog.csdnimg.cn/4c24f156590843ce8f9d0c1f3c402efb.png)
![在这里插入图片描述](https://img-blog.csdnimg.cn/5018c31be21b4a22b68a43eff43936e5.png)
###### flinksql
Caused by: java.lang.ClassCastException: org.apache.flink.table.runtime.operators.sink.SinkOperator cannot be cast to org.apache.flink.streaming.api.operators.StreamSink
`org.apache.atlas.flink.hook.FlinkAtlasHook#addSinkEntities`
private void addSinkEntities(List sinks, AtlasEntity flinkApp, AtlasEntity.AtlasEntityExtInfo entityExtInfo) {
List outputs = new ArrayList<>();
for (StreamNode sink : sinks) {
// StreamSink<?> sinkOperator = (StreamSink<?>) sink.getOperator();
// SinkFunction<?> sinkFunction = sinkOperator.getUserFunction();
// List<AtlasEntity> dsEntities = createSinkEntity(sinkFunction, entityExtInfo);
// outputs.addAll(dsEntities);
if (sink.getOperator().getClass().getName().equals("org.apache.flink.streaming.api.operators.StreamSink")) {
StreamSink<?> sinkOperator = (StreamSink<?>) sink.getOperator();
SinkFunction<?> sinkFunction = sinkOperator.getUserFunction();
List<AtlasEntity> dsEntities = createSinkEntity(sinkFunction, entityExtInfo);
outputs.addAll(dsEntities);
} else if (sink.getOperator().getClass().getName().equals("org.apache.flink.table.runtime.operators.sink.SinkOperator")) {
SinkOperator sinkOperator = (SinkOperator) sink.getOperator();
SinkFunction<?> sinkFunction = sinkOperator.getUserFunction();
List<AtlasEntity> dsEntities = createSinkEntity(sinkFunction, entityExtInfo);
outputs.addAll(dsEntities);
}
}
flinkApp.setRelationshipAttribute("outputs", AtlasTypeUtil.getAtlasRelatedObjectIds(outputs, RELATIONSHIP\_PROCESS\_DATASET\_OUTPUTS));
LOG.info("-------------- flinkApp: -------------" + flinkApp);
}
![在这里插入图片描述](https://img-blog.csdnimg.cn/2cd1af8e09644d8794a3f768396b4676.png#pic_center)
**自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。**
**深知大多数大数据工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!**
**因此收集整理了一份《2024年大数据全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。**
![img](https://img-blog.csdnimg.cn/img_convert/6373cc20bf1904e49f1588a5222525e1.png)
![img](https://img-blog.csdnimg.cn/img_convert/3a04a43d18730595d8e967531889cb1e.png)
![img](https://img-blog.csdnimg.cn/img_convert/335664b107091d565c01e32608d8e35d.png)
![img](https://img-blog.csdnimg.cn/img_convert/b5c3fac8d28436bad8df284e08bfd81e.png)
![img](https://img-blog.csdnimg.cn/img_convert/b4f58cae9253bc226229cc3e9c707f23.png)
**既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上大数据开发知识点,真正体系化!**
**由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新**
**如果你觉得这些内容对你有帮助,可以添加VX:vip204888 (备注大数据获取)**
![img](https://img-blog.csdnimg.cn/img_convert/b5f7fbfa0020d4d40f8f6be67cd5d669.png)
**一个人可以走的很快,但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎扫码加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**
(img-FmzFi2YS-1712961070639)]
**一个人可以走的很快,但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎扫码加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**