![](https://img-blog.csdnimg.cn/20210625172800245.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Scala
文章平均质量分 86
scala 开发实战
BIT_666
天道酬勤,厚积薄发
展开
-
Java - 获取 Jar 包内的 pom.xml 文件
获取 Java Jar 包内文件。原创 2023-12-28 08:00:00 · 1190 阅读 · 0 评论 -
Spark - 创建 _SUCCESS 文件与获取最新可用文件
Spark 为文件、文件夹生成 _SUCCESS 标识并获取最新可用文件。原创 2023-05-16 14:42:20 · 1015 阅读 · 2 评论 -
Spark - 获取一定时间内的 Hdfs 全部文件并读取
Spark 读取一定范围内的 Hdfs 文件。原创 2023-04-30 18:12:07 · 2193 阅读 · 1 评论 -
Scala / Java - 判断日期是否为 周末 or 节日
判断是否为假期 isHoliday、是否为周末 isWeekend。原创 2023-04-27 15:51:04 · 344 阅读 · 0 评论 -
Scala - 时间工具类 LocalDateTime 常用方法整理
Scala / Java LocalDateTime 常用方法整理。原创 2023-04-11 15:49:16 · 5588 阅读 · 1 评论 -
Spark - AUC、Accuracy、Precision、Recall、F1-Score 理论与实战
Spark AUC、Accuracy、Precision、Recall、F1-Score 理论与实战。原创 2023-04-06 10:50:46 · 1474 阅读 · 0 评论 -
Spark - Isotonic Regression 理论与实战
SparkIsotonic Regression 保序回归理论与实战。原创 2023-03-29 15:11:33 · 635 阅读 · 0 评论 -
Flink / Scala 实战 - 22.readFile with watchType 实战
Flink readFile PROCESS_CONTINUOUSLY 模式测试。原创 2023-03-24 08:00:00 · 225 阅读 · 2 评论 -
Spark - 继承 FileOutputFormat 实现向 HDFS 地址追加文件
Spark 继承 FileOutputFormat 实现向 HDFS 追加存储文件需求。原创 2023-03-22 08:00:00 · 665 阅读 · 1 评论 -
Spark - 数据倾斜实战之 skewness 偏度与 kurtosis 峰度 By ChatGPT4
ChatGPT4 指导下的 Spark Skewness 数据倾斜实战。原创 2023-03-20 08:00:00 · 880 阅读 · 0 评论 -
Scala - Idea 项目报错 Cannot resolve symbol XXX
Idea Scala 项目报错 Cannot resolve symbol XXX。原创 2023-02-09 15:46:26 · 3290 阅读 · 1 评论 -
Flink / Scala - 19.Side Outputs 侧输出流简介与使用
Flink Side Outputs 实现侧边流输出与侧边流的窗口示例。原创 2023-01-18 15:55:54 · 502 阅读 · 2 评论 -
Spark / Java - atomic.LongAccumulator 与 Spark.util.LongAccumulator 计数使用
java.util.LongAccumulator 与 Spark.util.LongAccumulator 使用简介。原创 2023-01-10 19:27:20 · 557 阅读 · 3 评论 -
Spark 3.0 - 18 ML Word2vec 词向量化简介与实战
Spark 3.0 ML Word2Vec 简介与实践。原创 2023-01-05 09:28:58 · 585 阅读 · 0 评论 -
Spark 3.0 - 17 ML PCA 主成分分析理论与实战
Spark 3.0 ML PCA 主成分分析理论与实践。原创 2023-01-03 11:01:12 · 703 阅读 · 0 评论 -
Spark 3.0 - 16.ML SVD 奇异值分解理论与实战
Spark 3.0 ML 奇异值分解 SVD 理论与实战。原创 2022-12-31 10:49:59 · 629 阅读 · 1 评论 -
Spark 3.0 - 15.ML PIC 快速迭代聚类理论与实战
Spark 3.0 ML PIC Power Iteration Cluster 快速迭代聚类理论与实践。原创 2022-12-26 10:27:39 · 947 阅读 · 15 评论 -
Spark 3.0 - 14.ML 高斯混合聚类理论与实战
Spark 3.0 ML 高斯混合模型 GMM 理论与实战。原创 2022-12-22 08:00:00 · 629 阅读 · 13 评论 -
Spark 3.0 - 13.ML Kmeans 聚类理论与实战
Spark 3.0 ML K-means原创 2022-12-19 08:00:00 · 625 阅读 · 6 评论 -
Spark 3.0 - 12.ML GBDT 梯度提升树理论与实战
Spark ML 3.0 GBDT 理论与实践。原创 2022-12-16 08:00:00 · 734 阅读 · 29 评论 -
Spark 3.0 - 11.ML 随机森林实现二分类实战
Spark 3.0 ML 之随机森林实战讲解。原创 2022-12-13 08:00:00 · 1362 阅读 · 19 评论 -
Spark 3.0 - 10.Ml 常用 Sample 采样方法
Spark 3.0 ML 常用采样方法。原创 2022-12-05 10:17:25 · 739 阅读 · 17 评论 -
Spark 3.0 - 9.Ml 朴素贝叶斯中文分类分析与实战
Spark 3.0 ML Naive Bayes 朴素贝叶斯理论与实践。原创 2022-12-02 10:01:28 · 691 阅读 · 4 评论 -
Spark 3.0 - 8.ML Pipeline 之决策树原理与实战
Spark ML 决策树原理分析与实战。原创 2022-11-30 08:00:00 · 895 阅读 · 18 评论 -
Spark 3.0 - 7.LR 多分类实现影评预测电影评分与指标评测
Spark 3.0 ML 通过 LR 多分类实现影评预测电影评分。原创 2022-11-28 08:00:00 · 1031 阅读 · 36 评论 -
Spark 3.0 - 6.ML 自定义 Transformer 踩坑大全
Spark 3.0 ML x Scala 自定义 Transformer 与踩坑大全。原创 2022-11-24 08:00:00 · 474 阅读 · 4 评论 -
Spark 3.0 - 5.ML Pipeline 实战之电影影评情感分析
Pipeline 实战之豆瓣影评情感分析。原创 2022-11-22 08:00:00 · 2189 阅读 · 30 评论 -
Spark 3.0 - 4.Pipeline 管道的工作流程
Spark ML Pipeline 管道的工作流程与示例。原创 2022-11-21 08:00:00 · 686 阅读 · 2 评论 -
Spark 3.0 - 3.ML 基本流程与 LR 参数详解、实战
Spark 3.0 ML 基本流程与 LR 参数详解、实战。原创 2022-11-19 08:00:00 · 428 阅读 · 0 评论 -
Spark 3.0 - 2.机器学习核心 DataFrame 应用 API 与操作详解
Spark 3.0 DataFrame API 详解。原创 2022-11-17 08:10:31 · 914 阅读 · 32 评论 -
Spark 3.0 - 1.Spark 新特性简介与 WordCount Demo 实践
Spark 3.0 新特性介绍与快速搭建 Spark 3.0 项目指南。原创 2022-11-15 08:00:00 · 870 阅读 · 35 评论 -
Flink / SQL - 7.一文搞懂常规 Sql TopN 与 Sql Window TopN
Flink SQL 常规 TopN 与 Window Top 详解与示例。原创 2022-11-13 18:30:55 · 973 阅读 · 10 评论 -
Flink / SQL - 6.Tumble、Slide、Session、Over Window 详解
Flink SQL Table Window 讲解与示例。原创 2022-11-03 16:09:50 · 1039 阅读 · 7 评论 -
Flink / SQL - 5.Table API 与 SQL 配置 ProcessTime 与 EventTime
Flink SQL 通过 DataStream To Table 或 DDL 指定 EventTime 与 ProcessTime 并使用 TimeWindow 聚合计算。原创 2022-11-01 12:59:53 · 1029 阅读 · 11 评论 -
Flink / SQL - 4.DataGen 与 Types 配置
Flink SQL 使用 DataGen 生成数据详解。原创 2022-10-31 11:38:44 · 1019 阅读 · 13 评论 -
Flink SQL - 3.Table 与 DataStream API 集成
Flink SQL DataStream API 集成语法展示。原创 2022-10-26 12:55:42 · 842 阅读 · 0 评论 -
Flink SQL - 2.Table API & SQL 概述与常规 API
Flink SQL Table API 与 SQL 概述以及常规 API 介绍。原创 2022-10-25 15:15:00 · 802 阅读 · 0 评论 -
Flink SQL - 1.Table API && Sql 入门 Demo
Flink Table API 与 Sql 简易入门 Demo 使用与分析。原创 2022-10-24 16:00:52 · 1013 阅读 · 2 评论 -
Flink 异常 - 11.单台 Container 内存异常增加导致 Container 被 kill 排查
Flink running beyond physical memory limits Container 被 kill 问题分析与排查。原创 2022-10-24 11:23:23 · 1810 阅读 · 0 评论 -
Flink / Scala 实战 - 18.一套代码搞懂 KeyedState
Flink - ValueState 、ListState 、 ReducingState 、AggregateState、MapState 实战 demo。原创 2022-10-22 17:31:25 · 519 阅读 · 0 评论