最全flink + Atlas 任务数据血缘调通_atlas flink(3)，含答案解析

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

![在这里插入图片描述](https://img-blog.csdnimg.cn/0cc5c366559a4e55871f3e0e0d2dacca.png)  
 `flink-conf.yaml` 注册监听  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/d35333aed6804086a3dc5c4a487e8fb4.png)  
 `org.apache.flink.configuration.ExecutionOptions` 添加配置属性

public static final ConfigOption<List> JOB_LISTENERS =
ConfigOptions.key(“execution.atlas.job-listeners”)
.stringType()
.asList()
.noDefaultValue()
.withDescription(“JobListenerFactories to be registered for the execution.”);

一点说明：官方Flink1.12.0 版本之后支持配置`execution.job-listeners`，因此自己添加了个配置属性`execution.atlas.job-listeners` 进行区分，  
 `org.apache.flink.configuration.DeploymentOptions`  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/2831f7bfb4cb4ef481820fe6e13acaa1.png)


###### 任务提交

flink run -m yarn-cluster -ys 1 -yjm 1024 -ytm 1024 -c com.nufront.bigdata.v2x.test.AtlasTest /opt/v2x-1.0-SNAPSHOT.jar

###### 测试任务

public class AtlasTest {

public static void main(String[] args) throws Exception {

    //TODO 1.获取执行环境
    StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
    env.setParallelism(1);
    env.disableOperatorChaining();

    // TODO kafka消费
    // 配置 kafka 输入流信息
    Properties consumerprops = new Properties();
    consumerprops.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "10.0.2.67:9092");
    consumerprops.put(ConsumerConfig.GROUP_ID_CONFIG, "group1");
    consumerprops.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "false");
    consumerprops.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "latest");
    consumerprops.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
    consumerprops.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
    // 添加 kafka 数据源
    DataStreamSource<String> dataStreamSource = env.addSource(new FlinkKafkaConsumer<>("atlas-source-topic", new SimpleStringSchema(), consumerprops));

    // 配置kafka输入流信息
    Properties producerprops = new Properties();
    producerprops.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "10.0.2.67:9092");
    // 配置证书信息
    dataStreamSource.addSink(new FlinkKafkaProducer<String>("atlas-sink-topic", new KeyedSerializationSchemaWrapper(new SerializationSchema<String>(){
        @Override
        public byte[] serialize(String element) {
            return element.getBytes();
        }
    }), producerprops));
    env.execute("AtlasTest");
}

}

###### flink on yarn 日志输出


![在这里插入图片描述](https://img-blog.csdnimg.cn/ff8733037df44b4eb0ab7424e107cd31.png)


###### 修改 json 解析方式


`org.apache.atlas.utils.AtlasJson#toJson`

public static String toJson(Object obj) {
String ret;

	if (obj instanceof JsonNode && ((JsonNode) obj).isTextual()) {
		ret = ((JsonNode) obj).textValue();
	} else {
		
		// 修改 json 处理方式：fastjson，原来的ObjectMapper.writeValueAsString() 一度卡住不往下执行
		// ret = mapper.writeValueAsString(obj);
		ret = JSONObject.toJSONString(JSONObject.toJSON(obj));
		LOG.info(ret);
	}
	
    return ret;
}

###### 查看目标 kafka 对应topic


![在这里插入图片描述](https://img-blog.csdnimg.cn/4c24f156590843ce8f9d0c1f3c402efb.png)


![在这里插入图片描述](https://img-blog.csdnimg.cn/5018c31be21b4a22b68a43eff43936e5.png)




![img](https://img-blog.csdnimg.cn/img_convert/9fc1b3805e0cf98ea6a1fac477120974.png)
![img](https://img-blog.csdnimg.cn/img_convert/4d469cce30d7f64f8d37bef2a60a4cf5.png)
![img](https://img-blog.csdnimg.cn/img_convert/3942b192aa362c1caca94e0997505f22.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**

，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**