fengjian的博客

本篇文章通过剖析数据血缘的挑战，展示了图数据库，尤其是**Neo4j**，如何凭借其高效的图结构模型和强大的查询能力，解决这些难题。文章涵盖了从Neo4j的基本操作到实际案例中的应用，以及如何利用Cypher查询语言直观管理数据血缘，最后分享了在实际开发中的最佳实践

导读：在这篇文章中，我讨论了如何使用 conda 管理 Python 项目环境，以避免依赖冲突，然后基于 Flask 创建一个简易的 DataX 数据血缘工具。在 requirements.txt 中指定依赖，创建一个简单的 Flask 应用，以 /query 接口通过解析 DataX 的 JSON 和 SQL 配置来获取表的任务信息。核心解析逻辑放在 DataxParser 类中。开发中探讨了提高查询效率的可能性，比如提前解析并存储数据。

影响报表最小的情况想做动态排序

DS的接口如何找，授人以鱼不如授人以渔。

dolphinschedulerg工作流批量导入与上线。

java程序打包成exe在无java环境执行

完整案例，可以直接使用。flinksql 消费kafka整体来说是十分简单好用的，使用时门口较低，实时性又高

使用flink cdc，完成mysql 多库 多表同时同步到doris中

flinkSQL批处理，查询doris 结果还写入doris，使用flink-doris-connector。

持续更新flink on yarn在实际使用中的问题和解决方式，与君共勉

一文搞定多表或单表增量同步到一张表中，详细文档，跟着操作就行

一文了解flink侧输出流的简单应用，以及在实际生产中的使用案例

flinksql doris source 一个案例，快速上手

flink sink doris 简单案例，一文看懂，立刻上手

很久没写过接口了，很多都忘记了，找了找资料都是比较常见的方式，没有直接用sql做参数的。因为业务用数据可能会改，所以写成直接传sql的方式，后期省去了改的活，一劳永逸一、新建工程以上内容也可以手动在pom里添加二、配置用到的pom如下 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-s

Flink案例——kafka、MySQL source一、kafka sourceflink和kafka的连接是十分友好的，毕竟是做流式处理的吧。首先依赖<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.12</artifactId> <version>1.10.1</version>&

使用sparkstreaming消费Kafka的数据，实现word count依赖<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming-kafka-0-10_2.12</artifactId> <version>3.0.0</version></dependency><depe

分别使用RDD和SparkSQL两种方式解决相同的数据分析问题；项目数据项目需求使用RDD和SQL两种方式对数据清洗清洗需求如下：统计每个店铺分别有多少商品统计每个店铺的总销售额统计每个店铺销售额最高的前三商品，输出内容包括：店铺名，商品名和销售额其中销售额为0的商品不进行统计计算，例如：如果某个店铺销售为 0则不进行统计 。涉及到的pom依赖 <properties> <scala.version>2.12.10</scala.versio

RDD小案例object RDD01 { def main(args: Array[String]): Unit = { val sparkConf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("RDD01") val sc: SparkContext = new SparkContext(sparkConf) //从集合中创建RDD，spark提供了两个方法，parallelize和makeRD

redis工具类一、所需pom依赖 <dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> <version>3.7.0</version> </dependency> <dependency> <groupId>org

一、本地模式在本地以多线程的方式模拟Flink中的多个角色。(开发环境不用)下载地址：https://flink.apache.org/downloads.html这里下载的是：flink-1.13.0-bin-scala_2.12.tgz上传到常用的位置，然后解压。启动：切换到flink的bin目录下，执行./start-cluster.sh，然后查看进程。二、Standalone 独立集群模式(如果先做了第一步，记得先停止服务，stop-cluster.sh)上传、解压tar包。

什么是Druid？​ Druid是一个高效的数据查询系统，主要解决的是对于大量的基于时序的数据进行聚合查询。数据可以实时摄入，进入到Druid后立即可查，同时数据是几乎是不可变。通常是基于时序的事实事件，事实发生后进入Druid，外部系统就可以对该事实进行查询。 目前常用的数据源主要有c3p0、dbcp、proxool、druid。Druid特点：​ 亚秒级查询：druid提供了快速的聚合能力以及亚秒级的OLAP查询能力，多租户的设计，是面向用户分析应用的理想方式实时数据注入：druid支持流数据的