- 博客(27)
- 收藏
- 关注
RSS订阅原创 DeepSeek+Ollama+AnythingLLM 免费搭建企业级共享知识库
零成本搭建企业级本地知识库，助力员工培训与发展，支持业务决策与问题解决，促进知识共享与传播
2025-03-04 15:01:39
1196
原创 Flink 操作 HDFS 报错 “hadoop is not in the classpath/dependencies“ 解决方法
Flink 操作 HDFS 报错 “hadoop is not in the classpath/dependencies“ 解决方法
2024-12-01 18:43:32
667
原创 Flink 聚合函数（AggregateFunction）和全窗口函数数（full window functions）的结合使用示例
增量聚合函数处理计算会更高效。举一个最简单的例子，对一组数据求和。大量的数据连续不断到来，全窗口函数只是把它们收集缓存起来，并没有处理；到了窗口要关闭、输出结果的时候，再遍历所有数据依次叠加，得到最终结果。而如果我们采用增量聚合的方式，那么只需要保存一个当前和的状态，每个数据到来时就会做一次加法，更新状态；到了要输出结果的时候，只要将当前状态直接拿出来就可以了。增量聚合相当于把计算量“均摊”到了窗口收集数据的过程中，自然就会比全窗口聚合更加高效、输出更加实时。
2024-11-27 21:19:52
658
原创 大数据学习之路--IDEA flink写入 sink到kafka某个主题的数据（Java 版）
大数据学习之路--IDEA flink写入 sink到kafka某个主题的数据（Java 版）
2024-11-26 20:18:59
247
原创 大数据学习之路--IDEA flink读取kafka某个主题的数据并打印输出到控制台（Java 版）
flink读取kafka某个主题的数据并打印输出到控制台（Java 版）
2024-11-24 16:49:44
426
原创 Spark大数据学习之路--IDEA SparkStreaming读取kafka某个主题的数据并打印输出到控制台（Java 版）
IDEA SparkStreaming读取kafka某个主题的数据并打印输出到控制台 Java 版
2024-11-20 22:04:16
246
原创 Spark大数据学习之路八 -- RDD需求实验：根据某平台用户行为分析出Top10热销产品
【代码】Spark大数据学习之路八 -- RDD需求实验：根据某平台用户行为分析出Top10热销产品。
2024-10-09 16:28:57
284
原创 Spark大数据学习之路六 -- RDD的方法两大类转换和行动 11--KV-sortByKey
【代码】Spark大数据学习之路六 -- RDD的方法两大类转换和行动 11--KV-soutByKey。
2024-10-08 12:08:26
192
原创 Spark大数据学习之路六 -- RDD的方法两大类转换和行动 10--KV-reduceByKey
【代码】Spark大数据学习之路六 -- RDD的方法两大类转换和行动 10--KV-reduceByKey。
2024-10-07 15:59:04
235
原创 Spark大数据学习之路六 -- RDD的方法两大类转换和行动 9.0--KV-groupByKey
【代码】Spark大数据学习之路六 -- RDD的方法两大类转换和行动 9.0--KV-groupByKey。
2024-10-07 15:16:49
213
原创 Spark大数据学习之路六 -- RDD的方法两大类转换和行动 8.0--KV-wordCount
【代码】Spark大数据学习之路六 -- RDD的方法两大类转换和行动 8.0--KV-wordCount。
2024-10-07 14:56:06
249
原创 Spark大数据学习之路六 -- RDD的方法两大类转换和行动 7.0--KV 方法 mapValues
【代码】Spark大数据学习之路六 -- RDD的方法两大类转换和行动 7.0--KV 方法 mapValues。
2024-10-07 14:22:01
169
原创 Spark大数据学习之路六 -- RDD的方法两大类转换和行动 6.0--KV 类型数据
【代码】Spark大数据学习之路六 -- RDD的方法两大类转换和行动 6.0--KV 类型数据。
2024-10-07 12:43:57
436
原创 Spark大数据学习之路六 -- RDD的方法两大类转换和行动 5.0--distinct和 sortBy
【代码】Spark大数据学习之路六 -- RDD的方法两大类转换和行动 5.0--distinct和 sortBy。
2024-10-06 10:45:12
239
原创 Spark大数据学习之路六 -- RDD的方法两大类转换和行动4.0--groupby
【代码】Spark大数据学习之路六 -- RDD的方法两大类转换和行动3.0--groupby。
2024-10-03 19:16:32
166
原创 Spark大数据学习之路六 -- RDD的方法两大类转换和行动3.0--flatmap
【代码】Spark大数据学习之路六 -- RDD的方法两大类转换和行动3.0--flatmap。
2024-10-03 19:11:06
341
原创 Spark大数据学习之路六 -- RDD的方法两大类转换和行动2.0--filter
【代码】Spark大数据学习之路六 -- RDD的方法两大类转换和行动2.0--filter01。
2024-10-03 14:48:53
288
原创 Spark大数据学习之路六 -- RDD的方法两大类转换和行动1.0--map03(λ表达式)
【代码】Spark大数据学习之路七 -- RDD的方法两大类转换和行动1.0--map03(λ表达式)
2024-10-03 14:14:15
289
原创 Spark大数据学习之路六 -- RDD的方法两大类转换和行动1.0--map02(λ表达式)
【代码】Spark大数据学习之路七 -- RDD的方法两大类转换和行动1.0--map02(λ表达式)
2024-10-03 13:52:25
347
原创 Spark大数据学习之路六 -- RDD的方法两大类转换和行动1.0--map01
【代码】Spark大数据学习之路六 -- RDD的方法两大类转换和行动1.0--map01。
2024-09-30 09:30:01
601
原创 Spark大数据学习之路五 -- RDD的方法两大类转换和行动1.0
【代码】Spark大数据学习之路五 -- RDD的方法两大类转换和行动1.0。
2024-09-29 20:28:51
217
原创 Spark大数据学习之路一--IDEA java代码Spark环境搭建 SparkConf JavaSparkContext使用示例
【代码】IDEA java代码Spark环境搭建 SparkConf JavaSparkContext使用示例。
2024-09-25 19:33:09
202
原创 超长超详细本地VMware搭建Centos.7.X+Ambari+HDP集群
挂载mount -o loop /usr/local/centos/openEuler-24.03-LTS-x86_64-dvd.iso /var/www/html/centos。初始化成功(下载的connector-java*.jar,要改名为 mysql-connector-java.jar，放到/usr/share/java/目录)永久禁止SELinux 自动启动，编辑/etc/selinux/config 文件， (vi /etc/selinux/config)
2024-09-22 12:30:08
3146
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人