案例&踩坑
文章平均质量分 60
实际案例或踩坑解决办法
风_间
不积跬步无以至千里
展开
-
java程序打包成exe在无java环境执行
java程序打包成exe在无java环境执行原创 2023-08-06 15:30:44 · 787 阅读 · 0 评论 -
FlinkSQL kafka完整案例 可直接复制使用
完整案例,可以直接使用。flinksql 消费kafka整体来说是十分简单好用的,使用时门口较低,实时性又高原创 2023-04-23 17:12:05 · 2498 阅读 · 0 评论 -
flink cdc MySQL2Doris 案例分享 解决分库多表同步
使用flink cdc,完成mysql 多库 多表同时同步到doris中原创 2022-11-18 14:28:53 · 2983 阅读 · 2 评论 -
flink doris batch案例
flinkSQL批处理,查询doris 结果还写入doris,使用flink-doris-connector。原创 2022-11-16 17:24:15 · 2540 阅读 · 0 评论 -
flink on yarn常见问题及解决方法汇总
持续更新flink on yarn在实际使用中的问题和解决方式,与君共勉原创 2022-10-26 10:01:16 · 4262 阅读 · 1 评论 -
使用Kettle多表数据增量导入详细文档
一文搞定多表或单表增量同步到一张表中,详细文档,跟着操作就行原创 2022-09-28 18:04:52 · 1069 阅读 · 0 评论 -
Flink侧输出流及案例
一文了解flink侧输出流的简单应用,以及在实际生产中的使用案例原创 2022-07-04 16:30:31 · 669 阅读 · 0 评论 -
flinksql source doris案例
flinksql doris source 一个案例,快速上手原创 2022-05-07 09:59:10 · 1396 阅读 · 0 评论 -
Flink sink doris案例
flink sink doris 简单案例,一文看懂,立刻上手原创 2022-05-06 17:09:37 · 4958 阅读 · 0 评论 -
springboot快速写API,直接传sql作为参数
很久没写过接口了,很多都忘记了,找了找资料都是比较常见的方式,没有直接用sql做参数的。因为业务用数据可能会改,所以写成直接传sql的方式,后期省去了改的活,一劳永逸一、新建工程以上内容也可以手动在pom里添加二、配置用到的pom如下 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-s原创 2022-03-15 11:02:17 · 2225 阅读 · 0 评论 -
Flink案例——kafka、MySQL source
Flink案例——kafka、MySQL source一、kafka sourceflink和kafka的连接是十分友好的,毕竟是做流式处理的吧。首先依赖<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.12</artifactId> <version>1.10.1</version>&原创 2022-01-14 15:27:24 · 1803 阅读 · 0 评论 -
spark小案例——sparkstreaming消费Kafka
使用sparkstreaming消费Kafka的数据,实现word count依赖<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming-kafka-0-10_2.12</artifactId> <version>3.0.0</version></dependency><depe原创 2021-10-12 12:23:29 · 1413 阅读 · 0 评论 -
spark小案例——RDD,sparkSQL
分别使用RDD和SparkSQL两种方式解决相同的数据分析问题;项目数据项目需求使用RDD和SQL两种方式对数据清洗清洗需求如下:统计每个店铺分别有多少商品统计每个店铺的总销售额统计每个店铺销售额最高的前三商品,输出内容包括:店铺名,商品名和销售额其中销售额为0的商品不进行统计计算,例如:如果某个店铺销售为 0则不进行统计 。涉及到的pom依赖 <properties> <scala.version>2.12.10</scala.versio原创 2021-10-10 14:09:00 · 1470 阅读 · 0 评论 -
spark小案例——RDD,broadcast
RDD小案例object RDD01 { def main(args: Array[String]): Unit = { val sparkConf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("RDD01") val sc: SparkContext = new SparkContext(sparkConf) //从集合中创建RDD,spark提供了两个方法,parallelize和makeRD原创 2021-10-10 10:40:08 · 837 阅读 · 0 评论 -
大数据常用工具类——redisUtil
redis工具类一、所需pom依赖 <dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> <version>3.7.0</version> </dependency> <dependency> <groupId>org原创 2021-10-02 15:29:09 · 816 阅读 · 0 评论 -
Flink的安装部署及WordCount测试
一、本地模式在本地以多线程的方式模拟Flink中的多个角色。(开发环境不用)下载地址:https://flink.apache.org/downloads.html这里下载的是:flink-1.13.0-bin-scala_2.12.tgz上传到常用的位置,然后解压。启动:切换到flink的bin目录下,执行./start-cluster.sh,然后查看进程。二、Standalone 独立集群模式(如果先做了第一步,记得先停止服务,stop-cluster.sh)上传、解压tar包。原创 2021-09-19 17:45:30 · 2294 阅读 · 0 评论 -
druid--JDBC工具类案例
什么是Druid? Druid是一个高效的数据查询系统,主要解决的是对于大量的基于时序的数据进行聚合查询。数据可以实时摄入,进入到Druid后立即可查,同时数据是几乎是不可变。通常是基于时序的事实事件,事实发生后进入Druid,外部系统就可以对该事实进行查询。 目前常用的数据源主要有c3p0、dbcp、proxool、druid。Druid特点: 亚秒级查询:druid提供了快速的聚合能力以及亚秒级的OLAP查询能力,多租户的设计,是面向用户分析应用的理想方式实时数据注入:druid支持流数据的原创 2021-09-13 16:38:38 · 2227 阅读 · 0 评论